一種從多視圖中得到人造場景主方向及圖像邊緣的方法
2023-09-20 05:42:50
專利名稱：一種從多視圖中得到人造場景主方向及圖像邊緣的方法
技術領域：
本發明屬於計算機視覺和計算機圖形學領域，具體涉及三維稠密點雲重建，圖像邊緣提取以及大規模優化領域。
背景技術：
在計算機視覺領域，三維重建長期以來都是其中的核心問題，並在近年來取得了極大的進展。三維重建作為一個綜合性極強的工程問題，涉及了計算機視覺和圖形學領域的各個主要研究方向，包括計算幾何、特徵提取、特徵匹配、正則化、表面重建和紋理映射等等方面，其本身也被廣泛地運用在地質地貌研究、三維地圖、虛擬實境、文物保護、醫學診斷、自動導航、增強現實等重要的領域。常用的三維重建方法可以分為主動式和被動式兩種。主動式的三維重建主要通過某種特性已知的方式對目標進行投影，根據接收到信息與發射出信息之間的關係來計算深度，主要包括雷射掃描、雷射雷達、掃描線等方法。這類方法的缺陷在於設備昂貴且受空間約束很大，準確度與其利用的介質直接相關。被動式的三維重建則是通過普通的相機在不同的位置對目標進行採樣，通過得到的二維圖像進行重建。這類方法的適用性很強，且成本很低。除此之外，圖像本身所包含的的顏色信息對於得到三維模型後的紋理映射過程也非常重要，這可以使最終的模型擁有更好的視覺效果。而主動式的重建方法則往往需要額外地拍攝照片並與模型配準，這一過程的效率很低而且往往包含誤差，導致模型失真。可是，由於直接獲得的是二維信息，被動式的多視圖重建過程難以避免地會遇到很強的歧義和不確定性。為了解決這些不確定性，各種先驗通過歸一化或優化的方式引入三維重建當中，最常見的 就是表面光滑性約束。對於人造場景而言，這種約束導致的表面往往過於複雜，而在邊緣和角點處又往往過於平滑，因此需要更強的約束。Manhattan-World是在場景重建中常用的約束方式，它假定了目標由三類朝向相互正交的平面構成。大多數的建築都符合這樣的約束，而少數滿足條件的平面也可以通過更細小的平面的組合來擬合，故也保證了模型的通用性。而在這一約束框架下，圖像消影點的識別是最關鍵的一個步驟。圖像的消影點對應了三維中的一族平行線，這些平行線的投影均經過其對應的消影點。在圖像中識別消影點就意味著識別了三維空間中目標的三個主方向，這樣就可以將重建的複雜度降低到一維，為更進一步的重建算法提供了強有力的約束。消影點辨識最常用的方法是Hough變換和RANSAC (隨機抽樣一致性算法)來進行。其中基於Hough變換的方法受離散化程度的影響較大，同時很難加上正交的約束，因為三個主方向往往是依次生成的；而基於RANSAC的方法無法從理論上保證結果的最優性，且由於包含隨機過程，其結果不是確定性的。除了上述兩種方法之外，窮舉和EM(Expectation&Maximization)方法也被運用在消影點辨識中，但是兩種方法都受初始情況的影響很大，容易陷於局部極小。辨識了消影點後，則需要辨識與消影點相一致的直線特徵，這些直線包括了三維中各平面的相交線，可以形成這些平面的邊緣，為模型提供簡潔而準確的描述，因此非常重要。受點雲重建精度和密度的約束，在三維空間中尋找這些直線是非常困難的，因此一般還是需要在圖像上求取，在尋找其間的對應關係從而反投影到三維空間中確定其確切的位置。常用的邊緣提取算法(包括Hough變換)無法保證結果滿足消影點的約束，因此必須在其後進行進一步的篩選和裁剪，這就會導致邊緣在連續性和直線性兩方面難以兼備，即當篩選較為嚴格時只能保留很多間斷的短邊緣，而當篩選較為寬鬆時又無法保證邊緣為與消影點一致的直線。
發明內容
針對現有技術中的缺陷，本發明的目的是提供一種更加準確的從多視圖中得到人造場景主方向及圖像邊緣的方法。為實現上述目的，本發明採用的技術方案:本發明僅依靠多幅普通圖像通過標定和重建得到三維點雲，對點雲進行法向量的計算，在此基礎上通過投票機制和均值漂移計算三個相互正交的主方向，然後將主方向投影到圖像上形成消影點，最後結合雙邊濾波、局部Hough變換等技術提取出與主方向平行的直線邊緣。本發明提供一種從多視圖中得到人造場景主方向及圖像邊緣的方法，包括如下步驟:第一步，使用相機在不同的位置、不同的角度對場景進行拍照，獲得真實場景的二維圖像序列；第二步，使用SIFT算法對第一步圖像進行特徵提取及匹配；第三步，通過光束平差法(Bundle Adjustment)同時進行相機定標以及匹配特徵的三維重建，生成稀疏點雲；第四步，使用PMVS (基於圖像塊的多視圖重建)算法，從稀疏點雲開始，反覆進行擴散和濾波。其中擴散從已確定的點開始，在其附近尋找與各圖像相匹配的三維點，濾波則對擴散後的點進行檢驗，去除不符合可見性約束、圖像一致性約束的點去除。最終的結果為較為稠密的點雲；第五步，在點雲中通過對一個合適的臨域大小內進行主成分分析(PCA)計算每個點的法向量；所述第五步中，臨域的大小與點雲的平均密度成正比，平均密度的定義為每個點與其最近點之間的距離的平均值，將點雲放入Kd樹的數據結構中，對包含在每個臨域中的點計算協方差矩陣後定義對應於最小特徵值的特徵向量為臨域中心點的法向。第六步，在空間上定義若干均勻分布的向量，以法向量投票的方式確定三個相互正交的主方向，並投影到圖像中確定消影點；所述第六步中的投票機制通過與事先定義的在單位球上均勻分布的單位向量計算點乘來進行，已知法向與單位向量的夾角小於一閾值時即計數加一；完成計數後，選取基數最大的三個正交方向為主方向，最後在三個方向上使用窗高斯核進行若干次均值漂移。第七步，對圖像進行多次雙邊濾波簡化，然後以Canny算子提取其邊緣；所述第七步中通過若干次雙邊濾波 ，在保留圖像邊緣的同時使邊緣兩邊的部分儘量平滑；隨後用一般的Canny算子即完整地找出圖像的邊緣(連通)並予以準確的定位(單像素寬度)。第八步，邊緣點通過簡化的局部Hough變換確定其是否與消影點匹配，最後連接相一致的點形成與主方向平行的線段。所述第八步中對之前得到的每個邊緣像素點，在其臨域中採用Hough變換，但直線的方向僅為三個主方向投影，然後通過閾值來判斷該點是否屬於與某主方向平行的直線，這一步可以採用並行計算；最後將所有滿足閾值要求的點分類並連成所需要的直線。本發明的主要優點有:主方向的獲取非常精確，不會陷於局部最小且滿足正交性約束；圖像邊緣與消影點一致，且能夠保證其直線特性和連通性。該發明不需要人工幹預，只需要事先確定若干參數，且結果對於參數的魯棒性很好，能在很大的範圍內保證結果的穩定。本發明為基於Manhattan-World假設的三維重建提供了準確的方向定位以及邊
緣信息。與現有技術相比，本發明具有如下的有益效果:本發明的消影點辨識利用了點雲重建的特性，利用投票機制來避免局部極小，同時通過均值漂移算法自然地包含了主方向的正交性約束。而在邊緣提取階段，用雙邊濾波弱化了噪聲對於結果的影響並增強了弱邊緣，局部Hough變換和Canny算子保證了邊緣為直線並與三個消影點一致。在獲得圖像邊緣後，有很多基於邊緣或圖像一致性的方法可以在此基礎上構造三維模型，而這些方法對於邊緣的完整性和準確性都有很高的要求，本發明相對於已有方法而言，可以顯著地提高這些指標。
通過閱讀參照以下附圖對該算法所作的詳細描述，本發明的其它特徵、目的和優點將會變得更明顯:圖1為輸入的普通圖像集。圖2為從輸入圖像中得到的稠密點雲示意圖。圖3-圖4為本發明的結果示意圖。
具體實施例方式下面結合具體實施例對本發明進行詳細說明。以下實施例將有助於本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬於本發明的保護範圍。本實施例中沒有詳細說明的部分均可以採用現有技術實現。本實施例提供一種從多視圖中得到人造場景主方向及圖像邊緣的方法，包括如下步驟:第一步，使用相機在不同的位置、不同的角度對場景進行拍照，獲得真實場景的二維圖像序列；本實施例中得到的如圖1所示的普通圖像集；根據計算幾何的理論，需要在不同的角度和不同的位置進行拍攝以獲取目標對象的圖像序列；此外需要保證每個關鍵點(邊緣點、角點等)至少出現在三個或以上的視圖中。第二步，使用SIFT算法對圖像進行特徵提取及匹配；
第三步,通過光束平差法(Bundle Adjustment)同時進行相機定標以及匹配特徵的三維重建，生成稀疏點雲；第四步，使用PMVS算法，從稀疏點雲開始，反覆進行擴散和濾波。其中擴散從已確定的點開始，在其附近尋找與各圖像相匹配的三維點，濾波則對擴散後的點進行檢驗，去除不符合可見性約束、圖像一致性約束的點去除。最終的結果為較為稠密的點雲；如圖2所示；由於圖像一致性的約束，確定性較好的表面(紋理明顯、光照一致)會產生較多的三維點，反之則較少，對於平整的表面，每個三維點與其臨域內的點是近似共面的。第五步，在點雲中通過對一個合適的臨域大小內進行主成分分析(PCA)計算每個點的法向量；臨域的大小與點雲的平均密度成正比，平均密度的定義為每個點與其最近點之間距離的平均值，為了加速計算，將點雲放入Kd樹的數據結構中方便查找最近鄰；對包含在每個臨域中的點計算協方差矩陣後定義對應於最小特徵值的特徵向量為臨域中心點的法向。第六步，在空間上定義若干均勻分布的向量，以法向量投票的方式確定三個相互正交的主方向，並投影到圖像中確定消影點；投票機制通過與事先定義的在單位球上均勻分布的單位向量計算點乘來進行，已知法向與單位向量的夾角小於一閾值時即計數加一；完成計數後，選取基數最大的三個正交方向為主方向。最後在三個方向上使用窗高斯核進行若干次均值漂移使結果更加準確。為了使結果滿足正交性的約束,先選擇三個正交而與當前主方向最接近的方向為初值，選擇球殼坐標下與其接近的法向計算均值作為旋轉向量進行均值漂移以更新初值，當迭代穩定後，三個方向作為最終的主方向。第七步，對圖像進行多次雙邊濾波簡化，然後以Canny算子提取其邊緣；對圖像進行雙邊濾波後，圖像的邊緣將得以保留，而其他的孤立噪點會得到抑制。多次的雙邊濾波迭代會使邊緣兩邊的部分變得非常平滑。在此基礎上的Canny算子可以將弱邊界的閾值降低以得到更多的邊緣而不會受到灰度均勻變化或噪聲的影響。第八步，邊緣點通過簡化的局部Hough變換確定其是否與消影點匹配，最後連接相一致的點形成與主方向平行的線段。對第七步中得到的每個邊緣像素點，在其臨域中運用Hough變換(注意只對邊緣點進行計數)，但直線的方向僅為三個主方向投影，然後通過閾值來判斷該點是否屬於與某主方向平行的直線。如果有較大部分的邊緣點與該點所形成的向量指向某個消影點，則認為該點位於與消影點一致的直線上，這一步可以採用並行計算。最後將所有滿足閾值要求的點分類並連成直線即可，一般情況下，對邊緣點判斷後聚類得到的結果已經基本滿足了連通性的要求，因此連線的過程只需要彌補較小的間斷，以防止錯誤的連接。如圖3和圖4所示，本方法成功地檢測出了圖像中與主方向一致的直線邊緣，即使是一些梯度信息非常弱的邊緣也可以成功地發現。這些邊緣信息結合點雲對於三維建模提供了充足的約束，因而有著極其重要的意義。
本發明可以精確地恢復人造場景中常見的結構信息，並在圖像中完整而準確地予以表現。
以上對本發明的具體實施例進行了描述。需要理解的是，本發明並不局限於上述特定實施方式，本領域技術人員可以在權利要求的範圍內做出各種變形或修改，這並不影響本發明的實質內容。·
權利要求
1.一種從多視圖中得到人造場景主方向及圖像邊緣的方法，其特徵在於，包括如下步驟: 第一步，使用相機在不同的位置、不同的角度對場景進行拍照，獲得真實場景的二維圖像序列； 第二步，使用SIFT算法對圖像進行特徵提取及匹配； 第三步，通過光束平差法同時進行相機定標以及匹配特徵的三維重建，生成稀疏點雲; 第四步，使用PMVS算法，從稀疏點雲開始，反覆進行擴散和濾波，其中擴散從已確定的點開始，在其附近尋找與各圖像相匹配的三維點，濾波則對擴散後的點進行檢驗，去除不符合可見性約束、圖像一致性約束的點去除，最終的結果為較為稠密的點雲； 第五步，在點雲中通過對一個臨域內進行主成分分析計算每個點的法向量； 第六步，在空間上定義若干均勻分布的向量，以法向量投票的方式確定三個相互正交的主方向，並投影到圖像中確定消影點； 第七步，對圖像進行多次雙邊濾 波簡化，然後以Canny算子提取其邊緣； 第八步，邊緣點通過簡化的局部Hough變換確定其是否與消影點匹配，最後連接相一致的點形成與主方向平行的線段。
2.根據權利要求1所述的從多視圖中得到人造場景主方向及圖像邊緣的方法，其特徵在於:第一步中，需在不同的角度和不同的位置進行拍攝以獲取目標對象的圖像序列，保證每個關鍵點至少出現在三個或以上的視圖中，所述關鍵點包括邊緣點、角點。
3.根據權利要求1所述的從多視圖中得到人造場景主方向及圖像邊緣的方法，其特徵在於:所述第五步中，臨域的大小與點雲的平均密度成正比，平均密度的定義為每個點與其最近點之間的距離的平均值，將點雲放入Kd樹的數據結構中，對包含在每個臨域中的點計算協方差矩陣後定義對應於最小特徵值的特徵向量為臨域中心點的法向。
4.根據權利要求1所述的從多視圖中得到人造場景主方向及圖像邊緣的方法，其特徵在於:所述第六步中的投票機制通過與事先定義的在單位球上均勻分布的單位向量計算點乘來進行，已知法向與單位向量的夾角小於一閾值時即計數加一；完成計數後，選取基數最大的三個正交方向為主方向，最後在三個方向上使用窗高斯核進行若干次均值漂移。
5.根據權利要求1所述的從多視圖中得到人造場景主方向及圖像邊緣的方法，其特徵在於:所述第七步中通過若干次雙邊濾波，在保留圖像邊緣的同時使邊緣兩邊的部分儘量平滑；隨後用一般的Canny算子即完整地找出圖像的邊緣並予以準確的定位。
6.根據權利要求1所述的從多視圖中得到人造場景主方向及圖像邊緣的方法，其特徵在於:所述第八步中對之前得到的每個邊緣像素點，在其臨域中採用Hough變換，但直線的方向僅為三個主方向投影，然後通過閾值來判斷該點是否屬於與某主方向平行的直線，這一步採用並行計算；最後將所有滿足閾值要求的點分類並連成所需要的直線。
全文摘要
本發明公開一種從多視圖中得到人造場景主方向及圖像邊緣的方法，該方法從多幅人造場景圖像中求取其三個相互正交的主方向並在圖像中找到與之對應的邊緣的，步驟為對圖像採集特徵點，通過特徵點進行標定和點雲的重建；從領域中計算點雲法向並通過投票的方式確定三個主方向；然後在圖像中確定消影點；最後結合雙邊濾波提取邊緣。本發明可以精確地恢復人造場景中常見的結構信息，並在圖像中完整而準確地予以表現。
文檔編號G06T17/00GK103247045SQ20131013519
公開日2013年8月14日 申請日期2013年4月18日 優先權日2013年4月18日
發明者毛潤超, 楊傑 申請人:上海交通大學