一種基於形狀認知的三維建築模型匹配與檢索的方法
2023-09-10 00:39:15
專利名稱：一種基於形狀認知的三維建築模型匹配與檢索的方法
技術領域：
本發明涉及一種基於形狀認知的三維建築模型匹配與檢索的方法，屬於空間信息技術領域。
ニ背景技術：
三維數字城市在軍事、城市導航、旅遊等方面都有重要的應用，建築模型作為城市特質的重要體現，是城市實體重要的組成部分。當前城市建築模型的通常是1)通過野外數據採集，然後建模渲染而成，如果涉及的模型較多，則費時費力、費用很高；2)從航片或高解析度影像上獲取，但基於航片的建模方法難以構建高解析度、逼真的模型。雖然GoogleStreet-View> Microsoft Live Street-Side和基於固定視點的ニ維全景圖能彌補這種缺陷，但是很多應用(如三維城市導航、城市景點可視化)需要真實感的三維城市模型，Google Street-View及傳統的建模、渲染方法和手段顯然不能滿足要求。目前網際網路上三 維空間模型數目增長很快，很多網站(如Google 3D Warehouse)和平臺共享模型，供用戶免費下載。相信隨著空間技術和信息技術的進一歩發展，網際網路上的三維城市模型的數量、類型和逼真性會日臻完善，會更加開放。基於網際網路的三維空間模型構建城市場景的ー個核心問題是三維模型的精確匹配和捜索。目前的搜尋引擎技術仍然局限在文本檢索方面，對圖像、三維模型等的捜索通常是檢索其相關文本信息，故搜索這類數據和模型的精確性很低。雖然有關學者針對三維模型捜索提出了不同的算法，但是城市三維模型捜索和匹配的精確性仍然亟待提聞。藉助建築模型自身的上方向特徵以及水平面上的主方向，本發明對經典的LightField描述算子獲取和匹配方法進行了改進。通過簡化渲染標準化建築模型的光場，從簡化光場對應的系列模型影像中提取只需進行水平方向旋轉匹配的HorizontalLightField描述算子，實現了一種新的模型標準化方法。與以往方法相比，本發明能夠在更短的時間內獲取模型的形狀特徵，實現三維城市建築模型間的匹配。本發明實現了ー種快速、廉價、自動構建三維數字城市可視化系統的途徑。
發明內容
I、目的如何有效進行三維城市模型的匹配和檢索成為當前空間信息領域研究和應用的熱點。為了克服傳統基於文本檢索的缺點，本發明實現了利用形狀定性描述算子與形狀定量描述算子匹配建築模型的方法，具有很高的匹配和檢索準確性和效率。2、技術方案一種基於形狀認知的三維建築模型匹配與檢索的方法，該方法的步驟流程如圖I所示。對於三維建築模型檢索來說，給定一個輸入的三維模型或ニ維形狀作為匹配的參照標準。對輸入對象標準化，提取標準化後對象的相應特徵，將這些特徵與三維建築模型庫中預先提取的模型特徵匹配。匹配過程中相似性的判定分為兩步定性分類和定量排序。定性分類根據簡化外形的特徵和全局拓撲的特徵對建築模型進行分類；定量排序根據原始外形提取的形狀描述算子在類內對建築模型進行相似性排序。為了彌補可能出現的錯誤分類造成的對象遺漏，對同類和異類中的對象分別做相似性排序，並將整個異類排序的結果添加在同類排序的結果之後。具體實現過程如下步驟ー標準化三維建築模型具有旋轉不變性的形狀描述算子很可能將不是同一類但旋轉後具有相似性的物體匹配為同一類型，這種旋轉不變性的缺陷容易造成建築模型匹配的錯誤，本發明通過標準化模型擺放方式消除這一匹配錯誤。模型的正確擺放一般可由豎直平面和水平面的主方向確定，分別稱為上方向和右方向。由於資料庫中模型的擺放方式並不總是和邏輯上正確的擺放方式吻合，豎直向上的方向並不一定等同於上方向，右方向通常依賴於上方向的確定，定義為和上方向垂直的水平面上的主方向，因此，上方向的確定對標準化模型擺放方式具有重要意義。為了規範化建築模型的擺放方式，首先將模型庫中上方向錯誤的模型調整為上方向正確的姿勢，然後用直方圖統計法提取水平面上的長軸方向作為右方向，完成平 移和旋轉後，將建築模型放縮至單位球內以實現放縮標準化。步驟ニ 提取建築模型特徵特徵的選取和提取方法直接關係到模型的匹配質量。本發明利用HorizontalLightField描述算子(HLFD)進行形狀匹配，結合認知理論和建築模型標準化的設定，HLFD改進了 LightField描述算子。通過簡化標準化的建築模型光場，從簡化光場對應的系列模型影像中提取只需進行水平方向旋轉匹配的HLFD描述算子，實現了適合建築模型匹配的形狀特徵描述算子的新組合。選取ー個設置有10個相機的十二面體，為每個標準化後的模型生成10張影像，同時，模型匹配吋，由於上方向的固定使得旋轉方式限定在上方向的水平旋轉，而十二面體中該旋轉方式只有5種，因此，只通過這5種影像配對尋找模型間的最佳對應，匹配速率大大提高。從10個不同視角為每個建築模型獲取深度圖，用來刻畫模型表面的形狀變化，分別提取每張深度圖影像的Unevenness描述算子，以及LightField描述算子中的角徑向變換區域描述算子、傅立葉邊界描述算子和基本形狀描述算子(圓度、離心率)。對於標準化後的建築模型，提取它的最小包圍框並記錄最小包圍框的長寬高比例作為外形(Shell)描述算子。一般的建築模型形狀比較規則，考慮到模型簡化的效率以及描述算子的維度，直接使用簡單的模型最小包圍框描述建築模型的簡化外形特徵。Unevenness描述子的主要功能是用來刻畫模型的全局拓撲特徵。它能夠表現模型表面的凹凸特性，對於多洞建築(如羅馬建築)、中空建築(如涼亭、體育場)、尖頂建築(如塔、蒙古包)等具有優良的鑑別能力。Unevenness描述子的計算方法如圖2所示，深度圖可以在一定程度上重構特定視角下的模型可見表面。深度圖中所有的深度值限定在O到255之間，深度值越大表示該面元離觀察者越遠，最大的深度值用Dmax表示，表示該模型當前視角狀態下的基底高度。基於Dmax可以計算出三個體積實際體積(Va)、凸體積(Vc)和實心體積(Vs)。Va通過累計前景區域(面積記為Aa)的實際深度值Da與Dmax的深度差絕對值可得。Vc不是針對整個前景區域累計深度，而只是針對前景區域中深度值小於前景區域平均深度值的部分區域(面積記為Ac)。Vs定義在由整個深度圖的外邊界確定的實心區域(面積記為As)上，Vs的值等於實心區域的面積乘以深度圖上最大深度值和最小深度值的差。在計算完這三個體積後，Unevenness定義為凹、凸體積(凹體積等於實際體積與凸體積的差值)中佔優勢的一方與Vs的比值。步驟三建築模型特徵的匹配在特徵匹配之前，提供一個三維模型作為待匹配的參照物，或者自定義ー個包含模型的最小外邊界、表面拓撲、表面凹凸等細節信息的模型草圖。對輸入對象進行相應的形狀特徵提取之後，將這些特徵與建築模型庫中預先提取的建築模型特徵進行匹配。所有的特徵均定量化到O到255的範圍內，Shell和Unevenness描述算子組成了一個多維的向量，向量的方向用於模型的預分類，設定ー個角度差的閾值，可將模型庫中的建築模型分為參照物的同類和異類兩大類。模型庫中每個模型的HLFD描述算子向量的LI距離與輸入模型(或ニ維對象)HLFD描述算子向量的LI距離的差值作為模型間的差異度。在5種不同的影像配對方式下，每組模型的距離計算過程中，選取最小的距離計算值作為最佳對應狀態下兩個模型的差異度，按照差異度的大小對同類和異類中的模型分別進行升序排序，將異類中的排序結果整體加在同類的排序結果後返回，得到最終的匹配結果。本發明基於認知的匹配方法很好了消除基於旋轉不變性描述算子的匹配錯誤。 3、優點及功效以往的匹配與搜素方法應用在三維建築模型匹配上存在ー些缺陷首先，對於大多數具有旋轉不變性的描述算子來說，一個嚴重的錯誤在於無法區分旋轉後形狀相似但原始主軸方向不同的建築；其次，適用於絕大多數模型的描述算子在區分不同外形的三維建築時存在不足。本發明考慮了建築模型自身的上方向以及自動提取的模型水平方向的主軸，通過模型標準化方法，將認知理論與經典的LightField描述算子相結合，利用形狀定性描述算子與形狀定量描述算子實現三維建築模型的匹配與檢索。與以往方法相比，本發明能更好顧及人類對空間地物的認知，且能兼顧匹配的準確性和高效性。
四
圖I三維城市建築模型匹配與檢索的流程示意2利用深度圖計算Unevenness描述子圖3不同匹配方法的精度評價圖4不同描述算子匹配拓撲特性明顯的建築模型
五具體實施例方式基於形狀認知的三維建築模型匹配與檢索的方法，該方法的步驟流程如圖I所
/Jn ο對於三維建築模型檢索來說，給定一個輸入的三維模型或ニ維形狀作為匹配的參照標準，對輸入對象標準化，提取標準化後對象的相應特徵，將這些特徵與三維建築模型庫中預先提取的模型特徵匹配。匹配過程中相似性的判定分為兩步定性分類和定量排序。定性分類根據簡化外形的特徵和全局拓撲的特徵對建築模型進行分類；定量排序根據原始外形提取的形狀描述算子在類內對建築模型進行相似性排序。為了彌補可能出現的錯誤分類造成的對象遺漏，對同類和異類中的對象分別做相似性排序，並將整個異類排序的結果添加在同類排序的結果之後。具體實現過程如下具有旋轉不變性的形狀描述算子很可能將不是同一類但旋轉後具有相似性的物體匹配為同一類型，這種旋轉不變性的缺陷容易造成建築模型匹配的錯誤，本發明通過標準化模型擺放方式消除這一匹配錯誤。模型的正確擺放一般可由豎直平面和水平面的主方向確定，分別稱為上方向和右方向。由於資料庫中模型的擺放方式並不總是和邏輯上正確的擺放方式吻合，豎直向上的方向並不一定等同於上方向，右方向通常依賴於上方向的確定，定義為和上方向垂直的水平面上的主方向，因此，上方向的確定對標準化模型擺放方式具有重要意義。為了規範化建築模型的擺放方式，首先將模型庫中上方向錯誤的模型調整為上方向正確的姿勢，然後用直方圖統計法提取水平面上的長軸方向作為右方向，完成平移和旋轉後，將建築模型放縮至單位球內以實現放縮標準化。步驟ニ 提取建築模型特徵特徵的選取和提取方法直接關係到模型的匹配質量。本發明利用HorizontalLightField描述算子(HLFD)進行形狀匹配，結合認知理論和建築模型標準化的設定，HLFD改進了 LightField描述算子。通過簡化標準化的建築模型光場，從簡化光場對應的系列模型影像中提取只需進行水平方向旋轉匹配的HLFD描述算子，實現了適合建築模型匹配的形狀特徵描述算子的新組合。選取ー個設置有10個相機的十二面體，為每個標準化後的模型生成10張影像，同時，模型匹配吋，由於上方向的固定使得旋轉方式限定在上方向的水平旋轉，而十二面體中該旋轉方式只有5種，因此，只通過這5種影像配對尋找模型間的最佳對應，匹配速率大大提高。從10個不同視角為每個建築模型獲取深度圖，用來刻畫模型表面的形狀變化，分別提取每張深度圖影像的Unevenness描述算子，以及LightField描述算子中的角徑向變換區域描述算子、傅立葉邊界描述算子和基本形狀描述算子(圓度、離心率)。對於標準化後的建築模型，提取它的最小包圍框並記錄最小包圍框的長寬高比例作為外形(Shell)描述算子。一般的建築模型形狀比較規則，考慮到模型簡化的效率以及描述算子的維度，直接使用簡單的模型最小包圍框描述建築模型的簡化外形特徵。Unevenness描述子的主要功能是用來刻畫模型的全局拓撲特徵。它能夠表現模型表面的凹凸特性，對於多洞建築(如羅馬建築)、中空建築(如涼亭、體育場)、尖頂建築(如塔、蒙古包)等具有優良的鑑別能力。Unevenness描述子的計算方法如圖2所示，深度圖可以在一定程度上重構特定視角下的模型可見表面。深度圖中所有的深度值限定在O到255之間，深度值越大表示該面元離觀察者越遠，最大的深度值用Dmax表示，表示該模型當前視角狀態下的基底高度。基於Dmax可以計算出三個體積實際體積(Va)、凸體積(Vc)和實心體積(Vs)。Va通過累計前景區域(面積記為Aa)的實際深度值Da與Dmax的深度差絕對值可得。Vc不是針對整個前景區域累計深度，而只是針對前景區域中深度值小於前景區域平均深度值的部分區域(面積記為Ac)。Vs定義在由整個深度圖的外邊界確定的實心區域(面積記為As)上，Vs的值等於實心區域的面積乘以深度圖上最大深度值和最小深度值的差。在計算完這三個體積後，Unevenness定義為凹、凸體積(凹體積等於實際體積與凸體積的差值)中佔優勢的一方與Vs的比值。步驟三建築模型特徵的匹配在特徵匹配之前，提供一個三維模型作為待匹配的參照物，或者自定義ー個包含模型的最小外邊界、表面拓撲、表面凹凸等細節信息的模型草圖。對輸入對象進行相應的形 狀特徵提取之後，將這些特徵與建築模型庫中預先提取的建築模型特徵進行匹配。
所有的特徵均定量化到O到255的範圍內，Shell和Unevenness描述算子組成了一個多維的向量，向量的方向用於模型的預分類，設定ー個角度差的閾值，可將模型庫中的建築模型分為參照物的同類和異類兩大類。模型庫中每個模型的HLFD描述算子向量的LI距離與輸入模型(或ニ維對象)HLFD描述算子向量的LI距離的差值作為模型間的差異度。在5種不同的影像配對方式下，每組模型的距離計算過程中，選取最小的距離計算值作為最佳對應狀態下兩個模型的差異度，按照差異度的大小對同類和異類中的模型分別進行升序排序，將異類中的排序結果整體加在同類的排序結果後返回，得到最終的匹配結果。本發明基於認知的匹配方法很好了消除基於旋轉不變性描述算子的匹配錯誤。實施例I :建立了三維建築模型庫對本發明的方法進行了實施。構建的資料庫中共包含了13，502個三維建築模型，模型種類包括倉庫、普通房屋、摩天大樓、塔式建築、城堡、圓頂建築、哥特建築、羅馬建築、亭子、橋、體育場、帳篷和一些其它類型的建築設施。利用該建築模型庫，對不同的形狀描述算子和相似度度量方法進行了對比。 本發明基於認知的形狀匹配方法使用了 Shell和Unevenness描述子作為模型預分類過程中的全局特徵分類依據，並進ー步使用Horizontal LightField描述算子的LI距離帶權和對分類後的結果進行更細緻的相似度計算以及排序。為了比較不同的描述算子選取方法對匹配的影響，如圖3,分別對使用LightField描述算子(LF)、HorizontalLightField 描述算子(HLF)、Horizontal LightFieId+SHELL 描述算子(HLF+SHL)、Horizontal LightField+Shell+Unevenness 描述算子(HLF+SHL+EVN)四種情形下的建築模型匹配精度進行了統計。無論從所有建築模型還是從各建築模型子類角度來看，使用了Shell描述算子進行預分類後的匹配精度整體高於不預分類直接進行相似度排序得到的匹配精度。Unevenness對於某些拓撲特徵突出的建築類型(如橋、亭子、羅馬建築)具有相對較高的匹配精度(如圖4所示)。和LF匹配方法相比，本發明的基於認知的形狀匹配方法能有效地過濾全局形狀特徵差異明顯的建築模型，使得更相似的建築模型能優先在檢索結果中出現。本發明建築模型庫中的13，502個建築模型精度不一，最高精度的模型具有19098個頂點和35104個面片。本發明的方法提取單個模型的特徵平均只需0. 139秒，遠快於LightField描述算子特徵提取方法所需的I. 423秒。對於形狀匹配捜索，使用本發明的匹配方法檢索平均只需0. 016秒的反應時間，而使用LightField描述算子匹配方法檢索平均需要0. 297秒的時間。
權利要求
1.一種基於形狀認知的三維建築模型匹配與檢索的方法，其特徵在於，包括如下步驟 步驟ー標準化三維建築模型 模型的正確擺放一般可由豎直平面和水平面的主方向確定，由於資料庫中模型的擺放方式並不總是和邏輯上正確的擺放方式吻合，豎直向上的方向並不一定等同於上方向，右方向又通常依賴於上方向的確定，定義為和上方向垂直的水平面上的主方向，為了規範化建築模型的擺放方式，首先將模型庫中上方向錯誤的模型調整為上方向正確的姿勢，然後用直方圖統計法提取水平面上的長軸方向作為右方向，完成平移和旋轉後，將建築模型放縮至單位球內以實現放縮標準化。
步驟ニ 提取建築模型特徵 選取ー個設置有10個相機的十二面體，為每個標準化後的模型生成10張影像，同吋，模型匹配時，由於上方向的固定使得旋轉方式限定在上方向的水平旋轉，而十二面體中該旋轉方式只有5種，因此，只通過這5種影像配對尋找模型間的最佳對應，匹配速率大大提高，從10個不同視角為每個建築模型獲取深度圖，用來刻畫模型表面的形狀變化，分別提取姆張深度圖影像的Unevenness描述算子，以及LightField描述算子中的角徑向變換區域描述算子、傅立葉邊界描述算子和基本形狀描述算子(圓度、離心率)，對於標準化後的建築模型，提取它的最小包圍框並記錄最小包圍框的長寬高比例作為建築外形描述算子，考慮到模型簡化的效率以及描述算子的維度，直接使用最小模型包圍框描述建築模型的簡化外形特徵。
步驟三建築模型特徵的匹配 在特徵匹配之前，提供一個三維模型作為待匹配的參照物，或者自定義ー個包含模型的最小外邊界、表面拓撲、表面凹凸等細節信息的模型草圖，對輸入對象進行相應的形狀特徵提取之後，將這些特徵與建築模型庫中預先提取的建築模型特徵進行匹配。
對模型庫中姆個模型的Horizontal LightField描述算子向量的LI距離與輸入模型(或ニ維對象)Horizontal LightField描述算子向量的LI距離的差值作為模型間的差異度，每組模型的距離計算過程中，在5種不同的影像配對方式下，選取最小的距離計算值作為最佳對應狀態下兩個模型的差異度，按照差異度的大小對同類和異類中的模型分別進行升序排序，將異類中的排序結果整體加在同類的排序結果後返回，得到最終的三維建築模型匹配結果。
全文摘要
本發明涉及一種基於形狀認知的三維建築模型匹配與檢索的方法。目前較成熟的信息搜索技術仍然局限在基於文本檢索方面，對圖像、三維模型等的搜索通常是檢索其相關文本信息，故搜索這類數據、模型的精確性很低。本發明藉助三維建築模型自身的上方向特徵以及水平面上的主方向，通過模型歸一化方法，將認知理論與經典的LightField描述子相結合，通過簡化渲染標準化建築模型的光場，從簡化光場對應的系列模型影像中提取只需進行水平方向旋轉匹配的Horizontal LightField描述算子，利用形狀定性描述算子與形狀定量描述算子實現三維建築模型的匹配與檢索。與以往方法相比，本發明能更好顧及人類對空間地物的認知，且能兼顧匹配的準確性和高效性。本發明為快速、廉價、自動構建三維數字城市系統提供了一種新方法。
文檔編號G06K9/64GK102693285SQ201210143910
公開日2012年9月26日 申請日期2012年5月11日 優先權日2012年5月11日
發明者張立強, 張良, 鄧浩 申請人:北京師範大學