一種基於稀疏圖像的真實樹交互式建模方法
2023-05-24 04:47:26
一種基於稀疏圖像的真實樹交互式建模方法
【專利摘要】本發明涉及一種基於稀疏圖像的真實樹交互式建模方法，交互式枝幹提取與重建模塊從輸入的覆蓋樹90°角的n幅圖像序列出發，在圖像1中交互式編輯並存儲各級樹枝結點二維中心位置與直徑數據，建立樹枝層次結構，再以中間圖像2～n-1為參考，尋找圖像1中的主枝在圖像n上的對應位置並標記，然後在圖像n上交互式編輯確定圖像1中各級樹枝結點對應的深度信息；根據提取的樹枝結點二維中心位置、深度與粗度信息，並基於樹枝空間包圍盒進行透視校正；所述樹葉生成模塊根據植物學中的葉序規則，生成最終的三維模型。本發明重建後的樹模型與真實樹形態接近且能夠較好地保持樹枝的拓撲結構，實現一般精確級別的樹的三維重建。
【專利說明】一種基於稀疏圖像的真實樹交互式建模方法【技術領域】
[0001]本發明涉及計算機圖形學領域，尤其涉及一種基於稀疏圖像的真實樹交互式建模方法。
【背景技術】
[0002]樹是地球上最普遍存在的自然景物之一，真實環境中樹的三維建模在虛擬實境、景觀設計、三維動畫與遊戲、數字農業等領域具有廣泛的應用價值。在虛擬實境、景觀設計、三維動畫與遊戲等領域，引入真實樹的三維模型可極大增強場景的真實感與沉浸感；在農林業領域，建立真實樹的三維模型可避免農林業實驗中手工測量樹參數，如胸徑、樹高、拓撲結構等的低效性與低準確性，也可為機器人採摘、機器人噴藥、虛擬修剪等提供重要的空間信息。然而，由於樹幾何結構的複雜性和形態的多樣性，真實環境中樹的三維重建一直是計算機圖形學和虛擬植物研究中的挑戰性問題。
[0003]現有技術中的有效建模方法包括基於規則的方法、交互式建模方法、基於圖像的方法和基於雷射掃描點雲的方法。
[0004]其中，基於規則的方法能簡單快速產生不同樹型的樹，但存在語法規則抽象，模型的產生規則式較難被非專業用戶掌握，且很難得到真實環境中特定樹木的三維模型；交互式建模方法由用戶勾勒出樹模型的二維形狀然後交互式編輯生成樹的三維模型，該方法為用戶提供了便利的編輯控制項，即使對樹的幾何規則不太熟悉的用戶也能建立高質量的樹模型，但提出的方法未考慮在多幅真實樹照片上的交互式編輯；基於圖像的方法即從真實世界拍攝的樹圖像或圖像序列出發重建樹的三維信息，該方法能較好體現真實樹的三維輪廓信息，但對圖像數量O 16幅)和拍攝角度(> 120° )有較嚴格的要求；基於雷射掃描點雲的方法是直接通過雷射掃描儀器獲取樹的點雲數據，然後實現樹的三維重建，該方法重建精度高，但獲取的點雲數據後期需經過去噪、背景消除、配準及拓撲重構等複雜處理流程，此外雷射掃描設備存在價格偏高、對環境光敏感、處理速度慢等缺點。
[0005]鑑於上述缺陷，本發明創作者經過長時間的研究和實踐終於獲得了本創作。
【發明內容】
[0006]本發明的目的在於提供一種基於稀疏圖像的真實樹交互式建模方法，用以克服上述技術缺陷。
[0007]為實現上述目的，本發明提供一種基於稀疏圖像的真實樹交互式建模方法，
[0008]其基於稀疏圖像的交互式樹重建系統，該系統包括交互式枝幹提取與重建模塊、幾何建模與透視校正模塊、樹葉生成模塊；
[0009]所述交互式枝幹提取與重建模塊從輸入的覆蓋樹90°角的η幅圖像序列出發，在圖像I中交互式編輯並存儲各級樹枝結點二維中心位置與直徑數據，建立樹枝層次結構，再以中間圖像2~η-1為參考，尋找圖像I中的主枝在圖像η上的對應位置並標記，然後在圖像η上交互式編輯確定圖像I中各級樹枝結點對應的深度信息；[0010]根據提取的樹枝結點二維中心位置、深度與粗度信息，所述幾何建模與透視校正模塊採用廣義圓柱體繪製各級三維樹枝，並基於樹枝空間包圍盒進行透視校正；
[0011]所述樹葉生成模塊根據植物學中的葉序規則，在各級樹枝上添加樹葉，生成最終的三維模型。
[0012]進一步，該具體過程為:
[0013]步驟a，圖像採集；
[0014]步驟b，交互式枝幹信息的提取與重建，在圖像中提取各級樹枝位置與粗度信息；
[0015]步驟c，幾何重建與透視校正；
[0016]步驟d,樹葉生成。[0017]進一步，上述步驟a的具體過程為:
[0018]步驟al，用IOm鋼捲尺從樹幹底部開始測量相差約90°角且與目標距離相等的位置I和位置n，確保在位置I和位置η處數位相機能捕捉到樹的全貌；
[0019]步驟a2，從位置I到位置η處手持相機間隔一定角度拍攝圖像；
[0020]步驟a3，在後期處理過程中，將主要對圖像I和圖像η進行交互式編輯，提取各級樹枝結點中心位置與粗度信息。
[0021]進一步，在上述步驟b中，交互式枝幹提取過程為:
[0022]步驟bl，繪製關鍵結點；
[0023]步驟b2，捕捉編輯結點；
[0024]步驟b3，結點插入與刪除；在兩個相鄰結點間的線段上可添加新結點；或者刪除某結點；
[0025]步驟b4，編輯直徑；
[0026]步驟b5，分支插入與刪除；選中某一結點後，完成分支的添加，分支上第一個結點的直徑預設與父結點直徑相同，最後一個結點的直徑預設為一個接近O的數值，中間結點直徑採用上述步驟b4中線性法則自動求出；
[0027]步驟b6,樣條插值與顏色設定；採用三次埃爾米特樣條以實現相鄰結點Pi與pi+1間的光滑插值，計算過程如下述公式，
Pjit)= (2^3 - 3?2 +1)p.+ (t3 -2t2 + t)m.-(2t3 -3t2)pj+] +(t3
[0028]^ m.= {pM- p.x)/2
mM=(Pi+2-P 丨)/2
[0029]式中，Ph、Pp pi+1和pi+2表示相鄰4個結點的位置信息，Hii和mi+1表示切線向量，t為[0，1]間的參數值。
[0030]步驟b7，縮放與平移。
[0031]進一步，在上述步驟b中，標記生成與匹配過程為:
[0032]步驟b81,確定圖像I上的某一樹枝結點i的坐標(Xli^li)中的高度yn與圖像η中的高度一致；
[0033]步驟b82，對圖像I中建立的樹結構進行先序遍歷並對離樹幹較近的主枝標記，第I層樹枝標記為"B" +"結點序號"，第k層樹枝標記為"父結點樹枝名"+"-子結點序號"，並在對應樹枝中間結點位置(Xlc^ylc)處顯示，其中c=n/2，n為該樹枝上結點總數；
[0034]步驟b83，基於交互式圖像序列顯示和移動標記，藉助中間圖像，尋找標記枝條在不同圖像上的位置，直到在圖像η上找到該標記對應的新位置(z2c;，y2。)；
[0035]步驟b84，根據圖像I中的主枝位置信息(Xli，yn)和圖像η中主枝標記中心位置(z2c, y2c)採用下述公式預計算圖像η主枝上其餘結點的位置信息(z2i，y2i) (1≤ i≤η,
i≠c):
[0036]
【權利要求】
1.一種基於稀疏圖像的真實樹交互式建模方法，其特徵在於，其基於稀疏圖像的交互式樹重建系統，該系統包括交互式枝幹提取與重建模塊、幾何建模與透視校正模塊、樹葉生成模塊； 所述交互式枝幹提取與重建模塊從輸入的覆蓋樹90°角的η幅圖像序列出發，在圖像I中交互式編輯並存儲各級樹枝結點二維中心位置與直徑數據，建立樹枝層次結構，再以中間圖像2~η-1為參考，尋找圖像I中的主枝在圖像η上的對應位置並標記，然後在圖像η上交互式編輯確定圖像I中各級樹枝結點對應的深度信息； 根據提取的樹枝結點二維中心位置、深度與粗度信息，所述幾何建模與透視校正模塊採用廣義圓柱體繪製各級三維樹枝，並基於樹枝空間包圍盒進行透視校正； 所述樹葉生成模塊根據植物學中的葉序規則，在各級樹枝上添加樹葉，生成最終的三維模型。
2.根據權利要求1所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，該具體過程為: 步驟a,圖像採集； 步驟b，交互式枝幹信息的提取與重建，在圖像中提取各級樹枝位置與粗度信息； 步驟C，幾何重建與透視校正； 步驟d,樹葉生成。
3.根據權利要求1或2所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，上述步驟a的具體過程為: 步驟al，用IOm鋼捲尺從樹幹底部開始測量相差約90°角且與目標距離相等的位置I和位置n，確保在位置I和位置η處數位相機能捕捉到樹的全貌； 步驟a2，從位置I到位置η處手持相機間隔一定角度拍攝圖像； 步驟a3，在後期處理過程中，將主要對圖像I和圖像η進行交互式編輯，提取各級樹枝結點中心位置與粗度信息。
4.根據權利要求3所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，在上述步驟b中，交互式枝幹提取過程為: 步驟bl，繪製關鍵結點； 步驟b2，捕捉編輯結點； 步驟b3，結點插入與刪除；在兩個相鄰結點間的線段上可添加新結點；或者刪除某結佔.步驟b4，編輯直徑； 步驟b5，分支插入與刪除；選中某一結點後，完成分支的添加，分支上第一個結點的直徑預設與父結點直徑相同，最後一個結點的直徑預設為一個接近O的數值，中間結點直徑採用上述步驟b4中線性法則自動求出； 步驟b6，樣條插值與顏色設定；採用三次埃爾米特樣條以實現相鄰結點Pi與pi+1間的光滑插值，計算過程如下述公式，
5.根據權利要求4所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，在上述步驟b中，標記生成與匹配過程為； 步驟b81,確定圖像I上的某一樹枝結點i的坐標(X^yli)中的高度yn與圖像η中的高度一致；步驟b82，對圖像I中建立的樹結構進行先序遍歷並對離樹幹較近的主枝標記，第I層樹枝標記為"B" +"結點序號"，第k層樹枝標記為"父結點樹枝名"+"-子結點序號"，並在對應樹枝中間結點位置Oq。，ylc)處顯示，其中c=n/2，η為該樹枝上結點總數；步驟b83，基於交互式圖像序列顯示和移動標記，藉助中間圖像，尋找標記枝條在不同圖像上的位置，直到在圖像η上找到該標記對應的新位置(z2c;，y2。)； 步驟b84，根據圖像I中的主枝位置信息(Xli，yn)和圖像η中主枝標記中心位置(ζ2。，y2c)採用下述公式預計算圖像η主枝上其餘結點的位置信息(z2i，y2i) (l^i^n,i^c):
6.根據權利要求3所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，在上述步驟C中，結合圖像I樹枝結點位置(Xli，Yli)與圖像η結點位置(z2i，y2i)，最終該結點三維空間位置信息可表示為(Xli，(yii+y2i)/2, z2i)，對應樹枝粗度直接採用圖像I中提取的直徑di ；對應最小點坐標和最大點坐標分別記為bMin(x, y, z)與bMax(x, y, z),基於包圍盒對近處樹枝進行縮小、對遠處樹枝進行放大便可抵消兩次透視變換後造成的畸變，校正後的樹枝三維坐標位置P (x, y, z)與直徑d可表示為:
7.根據權利要求6所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，在上述步驟d中， 在完成樹枝三維結構重建後，基於植物學葉序規則實現樹葉的添加，選擇黃金分割角.137.5°，在某一樹枝從結點pi處添加n-1片樹葉的算法描述如下: 步驟dl，設初始樹葉葉柄端點在原點，葉片初始法向量為LN，葉柄方向向量為LV，樹枝結點Pj處方向向量為PV (i ( j ( η)，樹葉到樹枝結點P」處的變換矩陣為Mj ； 步驟d2，初始化為單位矩陣； 葉柄與樹枝間夾角a =LV.Angle (PV)； 葉柄與樹枝所形成平面法向量LPN=I LVXPV I ； 垂直於樹枝的葉柄投影法向量:
LPV= PVcos( a)-LV | ； 葉片法向量與葉柄投影法向量夾角: β =LN.Angle (LPV)； 葉片法向量與葉柄投影法向量形成平面法向量:
SN=| LNXLPV I ； 葉柄繞樹枝旋轉角度
Y =137.5X τι /180X (j-1) +randomO X ； ji /6, -0.5 < random < 0.5 ； 樹葉繞向量LPN旋轉α度使葉柄與樹枝重合:
Mj=LPN.Rotate ( α )； 繞向量SN旋轉β度使葉片法向量朝向樹枝:
Mj=SN.Rotate ( β ) X Mj ； 繞向量LPN旋轉75度使葉柄與樹枝分開:
Mj=LPN.Rotate (5 π /12) XMj ； 再繞樹枝方向以約137.5°增量旋轉Y度:
Mj=PV.Rotate ( Y ) X Mj ； 最後平移該樹葉至樹枝結點P」處:
Mj=Mj.Translate (Pj)； 步驟d3，根據旋轉矩陣％，在OpenGL中調用glMultMatrixd (Mp完成矩陣變換後繪製樹葉。
8.根據權利要求3所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，上述步驟a2中，所述樹圖像數目η均在6到9之間，拍攝最大覆蓋角度為90°。
9.根據權利要求5所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，在上述步驟b81中， 以圖像I上提取的樹幹結點序列(Xli，yn)為參考，並選取樹幹與樹幹上最大樹枝的交叉點M1 (xn, yn)、M2 (x14, y14)和M3 (xln, yln)作為3個特徵點，圖像I上的樹幹結點坐標映射到圖像η的新坐標設為(221，化)，且滿足:
Z2「X11，y2「yii 則映射後的樹幹位置和高度與圖像η中的樹幹不匹配，通過交互式校正圖像η直到圖像I中的三個特徵點均能在圖像η上找到匹配位置結束。
10.根據權利要求4所述的基於稀疏圖像的真實樹交互式建模方法，其特徵在於，在上述步驟b4中， 每個結點除位置信息外，還對應一個直徑信息，捕捉到綠色標記後可調整兩個綠色標記點的間距，為提高直徑調整效率，在調整某一樹枝第一個結點直徑Cl1或最後一個結點直徑dn時，中間第i個結點的直徑Cli將按照線性關係自動調整為屯+隊-屯)Xdisn/disnl,其中disn和disnl分別對應結點I到結點i之間的線段長度及整個樹枝的長度；若調整中間結點直徑 將不改變其它結點直徑信息。
【文檔編號】G06T17/00GK103839289SQ201410091328
【公開日】2014年6月4日 申請日期:2014年3月7日 優先權日:2014年3月7日
【發明者】胡少軍, 何東健, 秦亞恆, 袁守剛 申請人:西北農林科技大學