一種基於統計模型的三維場景重建方法

2023-05-16 03:42:06

專利名稱：：一種基於統計模型的三維場景重建方法
技術領域：
：本發明涉及一種基於統計模型的三維場景重建方法，屬於計算機視覺中基於圖像的三維場景重建領域，特別是涉及圖像中特徵點之間匹配關係的建立與優化問題。
背景技術：
：目前在三維重建領域內，NoahSnavely，StevenM.Seiz禾PRichardSzeliski在文獻ModelingtheWorldfromInternetPhotoCollections(IJCV，vol.80，pp.189-210，2008)中提出了一種利用網際網路上大規模圖片進行三維重建的完整算法。該算法對每幅圖像提取局部不變特徵，通過kd樹在兩兩圖像間建立匹配並採用歸一化8點算法計算基本矩陣，然後利用特徵點跟蹤得到所有圖像間的特徵匹配關係，攝像機內參數從圖像EXIF標籤讀取，最後利用bundleadjustment(BA)算法迭代恢復出三維點結構與攝像機參數。但是如果圖像之間視角變化較大，則上述算法匹配結果的精度無法滿足要求，產生的大量錯誤匹配會直接影響三維重建的結果。FrankDellaert在文獻MonteCarloEMforData-AssociationanditsApplicationsinComputerVision(doctoraldissertation,tech.reportCMU_CS_01—153，CarnegieMellonUniversity,September,2001)中引入蒙特卡羅EM算法解決計算機視覺領域中的匹配問題，通過概率方法建立起圖像特徵點與三維點之間的軟匹配並進行迭代優化。但是其馬爾可夫鏈蒙特卡羅(MCMC)算法採樣效率不高，且僅使用局部優化算法BA進行模型求解，致使迭代容易陷入局部極值。
發明內容要解決的技術問題為了避免現有技術的不足之處，本發明提出一種基於統計模型的三維場景重建方法，可以在圖像間匹配關係未知或不準確的條件下有效恢復精確匹配關係與三維場景模型。本發明的思想在於技術方案—種基於統計模型的三維場景重建方法，其特徵在於步驟如下步驟1使用Harris角點檢測算法提取每幅圖像中的角點針對無序數字圖像集合，採用Harris角點檢測算法提取每幅圖像的角點作為圖像特徵點，以角點集合U={uik|kGl"*nj，iGlm}表示，其中k為圖像中的角點序號，i為圖像序號，rii為第i幅圖像中的角點數量，m為圖像數量，uik為第i幅圖像中第k個角點的二維坐標；步驟2生成三維點集合X與攝像機參數集合M:採用滿足高斯分布N(0，1)的隨機函數生成N個三維點，得到三維點集合X二{Xi|iG1…nhxi為第i個三維點的坐標，N的值等於所有圖像中最大的角點數量；所述的攝像機參數集合M，M=hIiGlm}中每幅圖像的攝像機參數初始值formulaseeoriginaldocumentpage5步驟3利用馬爾可夫鏈蒙特卡羅MCMC方法估計圖像角點與三維點之間的匹配概率利用基本投影公式計算得到三維點在所有圖像的重投影點集合H二g1…n，iGl'"m}，hij為第j個三維點在i幅圖像上的投影點；計算圖像角點uik和三維點Xj之間的權重w("rt，x/)=log(V2;rcr)+其中O為幹擾圖像的高斯噪聲的方差，初始取為O°;然後利用MCMC統計模擬方法對圖像角點Uij與三維點Xj之間的匹配概率fw進行概率估計對於任意一幅圖像i的圖像角點與三維點匹配向量Ji二Uik|kG1…nj，匹配向量滿足約束A-&-A#厶2，圖像i的採樣過程如下步驟a:為圖像i中每個角點隨機選擇一個三維點，建立角點與三維點間的匹配邊，得到匹配向量Ji、約束條件為不同角點不可對應同一三維點；步驟b:從圖像i的角點集合Ui中隨機選擇一點Uik，計算Uik與任意三維點之間的轉移概率exp(-w(z^,x》)^'(2^,^)=7'*厶以概率^(",,,、.)從三維點集合X中選擇一點Xj，以點Xj與Uik建立匹配邊；步驟C:選擇Xj的原有匹配邊(Xj，Uik,)對應的角點Uik,作為下一次循環的圖像角點；步驟d:重複步驟b直至某次迭代中選擇的圖像角點在之前已被選擇，得到由圖像角點和三維點形成的閉環；步驟e:刪除在建立閉環過程中不屬於閉環中的臨時邊，得到新的閉環C;步驟f:刪除閉環C中在步驟a的原有匹配關係，得到圖像特徵點與三維點之間新的匹配j'i;重複30005000次步驟af，保存每次採樣生成的匹配向量jj，並計算匹配概率^*4力，其中5為克羅內克函數，若J，S(jik，j)=1;否則S(Jik，j)=0;步驟4:利用圖像角點與三維點之間的匹配概率對圖像角點進行加權平均得到虛擬測量點矩陣V=，其中Vij為V中第i行第j個元素；步驟5採用可處理遮擋的射影因式分解算法對虛擬測量點進行射影重構具體步步驟a:利用歸一化8點算法計算任意兩幅圖像間的基本矩陣與極點e步驟b:計算每個虛擬測量點viD的射影深度信息入ip，在得到所有射影深度信息後，利用VipXV乂p、、計算新的佔驟如下虛擬測量步驟C:對虛擬測量矩陣V中的缺失部分進行線性擬合首先對虛擬測量矩陣V進行T次採樣，每次隨機抽取4列，得到一個列四元組；對每個列四元組求取其生成子空間，得到Bt，tGl…T;對Bt進行SVD分解Bt=StVtDtT，Bt丄取為St的最後4列，其中丄表示線性空間的補集；將每個B/按列組合，對得到的聯合矩陣使用SVD分解JA1^1...^1]-^^/,B取為S的最後四列；將V中存在缺失元素的列表示為B的列的線性組合，即Vj=kA+kA+k^+k丸，利用列中已知元素計算相應係數，進而計算列中未知元素，最終得到完全矩陣V*;步驟d:對V*進行SVD分解求取三維點坐標與攝像機參數對V*進行SVD分解，V*=USVT，取S的前4列得到矩陣i凝像機參數M=W，三維點坐標X=VT;利用BA算法對三維點坐標和攝像機參數進行優化，以得到的優化結果替換掉原有三維點坐標與攝像機參數；步驟6加入確定性退火算法迭代求解全局最優射影重構結果重複步驟35進行循環迭代，o在迭代過程中以等比例策略，將o參數取為原o的0.850.95，在每次迭代中，比較當前O與給定閾值Omin大小，若O《Omin則迭代結束，進行後續步驟。否則置0t+1=AOt，進入下一次迭代過程；步驟7利用基於絕對對偶二次曲面的攝像機自標定算法將射影重構提升為度量矩陣-/K1_其中p為無窮遠平面的前三個坐標，將射影重構變換到度〗中三維場景重建的三維結構MXH與攝像機參數H—1。有益效果本發明提出的基於統計模型的三維場景重建方法的優越性在於目前的三維重建算法在初始步驟中就對各幅圖像的特徵點建立確定的匹配關係，並且其在後續步驟中不再變化。當圖像之間的攝像機視角變化很小時，如視頻序列，這種方法可以取得較好結果。然而對於視角變化較大(30°以上)的圖像，匹配結果誤差較大，存在大量錯誤匹配。而特徵點匹配又是三維場景重建中非常關鍵的一步，匹配質量對重建結果有著非常大的影響，如果存在較多錯誤匹配，將無法得到正確的三維重建結果。基於統計模型的三維場景重建技術不要求初始就建立高精度特徵匹配關係，甚至不要求建立匹配關係。如果匹配關係完全未知，則隨機給定初始三維點坐標與攝像機參數；重構首先計算絕對對偶二次曲面900*，然後將900*分解為^^^(7~=)，得到單應//::重構，得到歐式空間若已有初始匹配估計，則利用傳統S預算法估計相應參數。我們將原本一次性計算的過程轉化為迭代求精的過程。即使匹配關係未知或初始匹配結果較差，通過迭代反饋的方法，最終仍可精確得到三維重建結果。傳統的S預算法直接求解最大似然估計，在匹配關係未知時，需考慮所有可能的匹配關係。若圖像數量為m，三維點個數為n，則總的匹配數目為n!m，其隨m、n的增大呈現爆炸性增長，精確求解最大似然估計變得不可行。而這裡通過引入匹配向量進行迭代求解，解決了上述問題。由於匹配存在互斥，即不存在某點對應多個點的關係，無法得到圖像特徵點與三維點之間匹配概率的準確解析式，這裡利用MCMC統計方法得到其近似解，只要採樣數目足夠大，近似解可無限接近於真實值。然而傳統的MCMC採樣方法存在收斂速度慢且效率低下的缺點，我們通過避免選擇原有匹配邊，使得採樣效率得到明顯提升，在相同精度要求下，原始算法需要5000步左右採樣步數才能達到穩定狀態，而智能交換環僅需2000步左右即可。傳統方法利用BA算法求解三維點坐標與攝像機參數，BA算法是一種局部迭代算法，容易陷入局部最優，需要有良好的初值估計。這裡採用可處理遮擋的射影因式分解算法，具有全局最優特性。通過對遮擋點進行填充，彌補了傳統因式分解算法需要滿足所有圖像點可見的缺陷。從整體引入了確定性退火策略進行全局優化。在迭代初始時MCMC算法能夠在採樣空間中更加均勻採樣，不容易陷入局部極小點。隨著迭代的深入，逐步降低溫度，減小噪聲方差o，最終使得三維重建結果收斂到全局極小點。具體實施例方式現結合實施例、附圖對本發明作進一步描述1、使用Harris角點檢測算法提取圖像的角點對西安鐘樓拍攝48幅圖像，並利用1-48之間的整數對這48幅圖像進行編碼標記，對每幅圖像採用harris角點檢測算法提取角點作為圖像特徵點，以角點集合U={uik|kG1…ni，iG1*"48}表示，其中k為圖像中的角點序號，i為圖像序號，rii為第i幅圖像中的角點數量，uik為第i幅圖像中第k個角點的二維坐標。2、生成三維點集合X與攝像機參數集合M:比較各幅圖像中的角點數量，得到最大角點數量N，這裡N二213。使用滿足高斯分布N(O，l)的隨機函數生成213個三維點，得到三維點集合X，X二{Xi|iG1—213}。48—1000—幅圖像集合中每幅圖像的攝像機參數mi取為1000，得到攝像機參數集合M，M=lniili率1...48}3、利用馬爾可夫鏈蒙特卡羅(MCMC)方法估計圖像特徵點與三維點之間的匹配概設置初始噪聲方差o二20，利用基本投影公式計算213個三維點集合X在48幅圖像上的重投影點集合H，H=&.48，j71-213}。利用式錯誤！未找到引用源。計算每幅圖像中的角點與任意三維點之間的匹配權重。依次對每幅圖像的角點與三維點之間的匹配關係進行MCMC採樣，一次採樣步驟如下步驟a:在213個三維點中為圖像i中每個角點隨機選擇一個三維點，建立角點與三維點間的匹配邊，得到匹配向量jj，約束條件為不同角點不可對應同一三維點；步驟b:從圖像i的角點集合Ui中隨機選擇一點Uik，計算Uik與任意三維點之間的轉移概率exp(-w(w,*,x》)—'0^，;^)=Sexp(-j))乂#厶以概率^'(%,、步驟C:選擇Xj的原有匹配邊(Xj，Uo/=厶213個三維點中選擇一點Xj，以點Xj與uik建立匹配邊；)對應的角點Uik,作為下一次循環的圖像角點；步驟d:重複步驟b直至某次迭代中選擇的圖像角點在之前已被選擇，得到由圖像角點和三維點形成的閉環；步驟e:刪除在建立閉環過程中不屬於閉環中的臨時邊，得到新的閉環C;步驟f:刪除閉環C中在步驟a的原有匹配關係，得到圖像特徵點與三維點之間新的匹配j'i;對於每幅圖像，首先進行100次預採樣，使得圖像角點與三維點間的匹配狀態達到穩定，在此過程中不保存生成的匹配向量。然後繼續採樣2000次，記錄匹配向量，利用4^li;"九j)計算圖像角點與三維點之間的匹配概率fijk。4、利用匹配概率對圖像特徵點進行加權平均得到虛擬測量點矩陣V:根據、=￡,^計算虛擬測量點矩陣。hi5、採用可處理遮擋的射影因式分解算法對虛擬測量點進行射影重構步驟a:計算48幅圖像集合中每兩幅圖像之間的基本矩陣與極點eij步驟b:計算每個虛擬測量點的射影深度入ip賃義，(《).(％>l，則令0=0.93o，轉步驟3進行下一次迭代；否則結束循環。7、利用基於絕對對偶二次曲面的攝像機自標定算法將射影重構提升為度量重構計算絕對對偶二次曲面(^*，通過將Qj分解為i///^，得到單應矩陣H，最終將射影重構變換到度量重構，得到歐式空間中三維場景重建的三維點坐標Wl與攝像機參數H—1。權利要求一種基於統計模型的三維場景重建方法，其特徵在於步驟如下步驟1使用Harris角點檢測算法提取每幅圖像中的角點針對無序數字圖像集合，採用Harris角點檢測算法提取每幅圖像的角點作為圖像特徵點，以角點集合U＝{uik|k∈1...ni，i∈1...m}表示，其中k為圖像中的角點序號，i為圖像序號，ni為第i幅圖像中的角點數量，m為圖像數量，uik為第i幅圖像中第k個角點的二維坐標；步驟2生成三維點集合X與攝像機參數集合M採用滿足高斯分布N(0，1)的隨機函數生成N個三維點，得到三維點集合X＝{xi|i∈1...n}，xi為第i個三維點的坐標，N的值等於所有圖像中最大的角點數量；所述的攝像機參數集合M，M＝{mi|i∈1...m}中每幅圖像的攝像機參數初始值mi取為100001000001;步驟3利用馬爾可夫鏈蒙特卡羅MCMC方法估計圖像角點與三維點之間的匹配概率利用基本投影公式計算得到三維點在所有圖像的重投影點集合H＝{hij|j∈1...n，i∈1...m}，hij為第j個三維點在i幅圖像上的投影點；計算圖像角點uik和三維點xj之間的權重w(uik,xj)=log(2)+||uik-hij||22其中σ為幹擾圖像的高斯噪聲的方差，初始取為σ0；然後利用MCMC統計模擬方法對圖像角點uik與三維點xj之間的匹配概率fijk進行概率估計對於任意一幅圖像i的圖像角點與三維點匹配向量ji＝{jik|k∈1...ni}，匹配向量滿足約束k1≠k2jik1≠jik2，圖像i的採樣過程如下步驟a為圖像i中每個角點隨機選擇一個三維點，建立角點與三維點間的匹配邊，得到匹配向量ji0，約束條件為不同角點不可對應同一三維點；步驟b從圖像i的角點集合ui中隨機選擇一點uik，計算uik與任意三維點之間的轉移概率qji(uik,xj)=exp(-w(uik,xj))jjikexp(-w(uik,xj))ifjjik0ifj=jik以概率從三維點集合X中選擇一點xj，以點xj與uik建立匹配邊；步驟c選擇xj的原有匹配邊(xj，uik′)對應的角點uik′作為下一次循環的圖像角點；步驟d重複步驟b直至某次迭代中選擇的圖像角點在之前已被選擇，得到由圖像角點和三維點形成的閉環；步驟e刪除在建立閉環過程中不屬於閉環中的臨時邊，得到新的閉環C；步驟f刪除閉環C中在步驟a的原有匹配關係，得到圖像特徵點與三維點之間新的匹配ji′；重複3000～5000次步驟a～f，保存每次採樣生成的匹配向量jir，並計算匹配概率fijk1Rr=1R(jikr,j),其中δ為克羅內克函數，若jik＝j，δ(jik，j)＝1；否則δ(jik，j)＝0；步驟4利用圖像角點與三維點之間的匹配概率對圖像角點進行加權平均得到虛擬測量點矩陣Vvij=k=1nfijkuik,其中vij為V中第i行第j個元素；步驟5採用可處理遮擋的射影因式分解算法對虛擬測量點進行射影重構具體步驟如下步驟a利用歸一化8點算法計算任意兩幅圖像間的基本矩陣Fij與極點eij；步驟b計算每個虛擬測量點vip的射影深度信息λipip=(FijTvjp)(eijvip)||eijvjp||2jp,在得到所有射影深度信息後，利用vip＝λipvip計算新的虛擬測量點；步驟c對虛擬測量矩陣V中的缺失部分進行線性擬合首先對虛擬測量矩陣V進行T次採樣，每次隨機抽取4列，得到一個列四元組；對每個列四元組求取其生成子空間，得到Bt，t∈1...T；對Bt進行SVD分解Bt＝StVtDtT，Bt⊥取為St的最後4列，其中⊥表示線性空間的補集；將每個Bt⊥按列組合，對得到的聯合矩陣使用SVD分解B取為S的最後四列；將V中存在缺失元素的列表示為B的列的線性組合，即Vj＝k1b1+k2b2+k3b3+k4b4，利用列中已知元素計算相應係數，進而計算列中未知元素，最終得到完全矩陣V*；步驟d對V*進行SVD分解求取三維點坐標與攝像機參數對V*進行SVD分解，V*＝USVT，取S的前4列得到矩陣攝像機參數M=US^,三維點坐標X＝VT；利用BA算法對三維點坐標和攝像機參數進行優化，以得到的優化結果替換掉原有三維點坐標與攝像機參數；步驟6加入確定性退火算法迭代求解全局最優射影重構結果重複步驟3～5進行循環迭代，σ在迭代過程中以等比例策略，將σ參數取為原σ的0.85～0.95，在每次迭代中，比較當前σ與給定閾值σmin大小，若σ≤σmin則迭代結束，進行後續步驟。否則置σt+1＝λσt，進入下一次迭代過程；步驟7利用基於絕對對偶二次曲面的攝像機自標定算法將射影重構提升為度量重構首先計算絕對對偶二次曲面Q∞*，然後將Q∞*分解為HI~HT(I~=I3300T0),得到單應矩陣H=K0-pTK1其中p為無窮遠平面的前三個坐標，將射影重構變換到度量重構，得到歐式空間中三維場景重建的三維結構M×H與攝像機參數H-1X。F2010100136408C00013.tif,F2010100136408C00022.tif,F2010100136408C00031.tif,F2010100136408C00032.tif全文摘要本發明涉及一種基於統計模型的三維場景重建方法，技術特徵在於步驟為使用Harris角點檢測算法提取每幅圖像中的角點，然後生成三維點集合X與攝像機參數集合M；利用馬爾可夫鏈蒙特卡羅MCMC方法估計圖像角點與三維點之間的匹配概率，利用圖像角點與三維點之間的匹配概率對圖像角點進行加權平均得到虛擬測量點矩陣V；採用可處理遮擋的射影因式分解算法對虛擬測量點進行射影重構，加入確定性退火算法迭代求解全局最優射影重構結果，利用基於絕對對偶二次曲面的攝像機自標定算法將射影重構提升為度量重構。將原本一次性計算的過程轉化為迭代求精的過程。即使匹配關係未知或初始匹配結果較差，通過迭代反饋的方法，最終仍可精確得到三維重建結果。文檔編號G06T7/00GK101751697SQ201010013640公開日2010年6月23日申請日期2010年1月21日優先權日2010年1月21日發明者何周燦,徐炯,楊恆,潘傑,王慶,王雯申請人:西北工業大學