一種網際網路圖像驅動的三維模型最優視圖自動選擇方法

2023-09-12 07:00:20

一種網際網路圖像驅動的三維模型最優視圖自動選擇方法【專利摘要】本發明公開了一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，包括以下步驟：三維模型集預處理；圖像視角分類器訓練：得到一個用以估計圖像的觀察視角的分類器，包括訓練集生成、圖像視角分類器訓練兩個步驟；網際網路圖像採集：通過圖像搜尋引擎和社交網絡中用戶上傳的大量圖像，採集網際網路中相應模型的圖像，包括網際網路圖像抓取、無關圖像過濾以及前景物體圖像提取三個步驟；視圖投票評價：通過網際網路圖像對三維模型相應的視圖投票，選擇排序靠前的視圖為最優視圖，包括網際網路圖像視角估計以及視圖排序兩個步驟。本發明可以適用於包括剛體和非剛體在內的多種類別的三維模型，符合人們的視覺習慣。【專利說明】一種網際網路圖像驅動的三維模型最優視圖自動選擇方法【
技術領域：
】[0001]本發明涉及一種網際網路圖像驅動的計算機圖形形狀分析的處理方法，屬於計算機圖形學【
技術領域：
】，具體地說是一種網際網路圖像驅動的三維模型最優視圖自動選擇方法。【
背景技術：
】[0002]根據成像原理以及視覺計算理論，三維模型需要在人類的視網膜或者顯示屏幕上映射到二維視圖後，才能被人類瀏覽和認知。人類對物體的認知依賴於視點位置，而使得人類能夠最好地認知和理解三維模型的視點位置，稱之為該三維模型的最優視點，從該視點映射得到的二維視圖為最優視圖。最優視圖選擇問題的目標在於找到能夠表示三維模型主要特點的代表性視圖。計算機技術的發展使得三維模型在計算機輔助設計、數字娛樂、醫學、生物學等諸多領域得到了廣泛的應用，為了有效地利用由此產生的大量三維模型，需要高效的瀏覽與認知手段。三維模型數據集的瀏覽過程中，應該選用具有代表性的最優視圖作為縮略圖來展示三維模型。人類能夠合理地選擇視點位置，得到三維模型的最優視圖，但是對於大量的三維模型來說，完全由人工選擇是不可行的，因而需要自動選擇三維模型最優視圖的方法。[0003]由於最優視圖和人類的感知有關，難以確切地給出最優視圖嚴格的數學定義，因此近年來出現了多種最優視圖的定義以及相應方法。這些方法都基於不同的最優視圖的定義來量化人類觀察物體的視覺習慣，將二維視圖的優劣定義為一個三維模型與視圖相關的函數，使得該函數取得最大值的視圖就是最優視圖。[0004]一種是基於資訊理論的框架，最優視圖是包含最多信息的視圖，一個視圖的信息量由熵函數來評價，例如文獻I:FeixasM,delAceboE,BekaertP,etal.Aninformat1ntheoryframeworkfortheanalysisofscenecomplexity[J].ComputerGraphicsForum18(3)，95-106(1999).定義了基於互信息的場景複雜性評價，來度量場景中點或者面片之間的相關性；文獻2:楊利明，王文成，吳恩化.基於視平面上特徵計算的視點選擇[J].計算機輔助設計與圖形學學報，2008,20(9):1097-1103.在視平面上分析曲率特徵度量模型的幾何特徵在視平面上的分布狀況，以此計算熵值作為衡量視點優劣的標準；文獻3:曹偉國，胡平，李華，等.基於距離直方圖的最優視點選擇[J].計算機輔助設計與圖形學學報，2010，22(9):1515-1521.提出基於距離直方圖的三維模型最優視點選擇方法，計算距離直方圖的香農熵並作為衡量視點優劣的標準，又如文獻4:JoshuaP，PhilipS，AlekseyG,etal.Aplanar-reflectivesymmetrytransformfor3Dshapes[J].ACMTransact1nsonGraphics,2006,25:549-559.提出的對稱性方法、文獻5:YamauchiH,SaleemW,YoshizawaS,Karni,etal.Towardsstableandsalientmult1-viewrepresentat1nof3Dshapes.1nProceedingsoftheIEEEInternat1nalConferenceonShapeModelingandApplicat1ns2006(SMI』06),2006:40.提出的相似性方法等等使得視覺冗餘信息最小化。[0005]雖然基於這種定義，有著眾多的評價標準及相應方法，但是三維模型隨著人們的需求有各種類別，使得難以有適用於所有種類三維模型的通用評價標準。此外，這些方法並不考慮在視覺上能夠對模型加以區別，然而同類三維模型也會有幾何變化，這樣也就難以保證同類模型具有人類感官上相似的最優視圖，因此，這些方法不適用於對三維數據集的高效瀏覽。[0006]此外，這些定義都試圖量化人類的對於三維模型的視覺認知。但是這些量化標準都相對主觀。一種更好的方法是引入人們對他們感覺的最優視圖的投票和選擇，以往這種人工標記需要很多的人力成本來調查人們的觀點。但是，人們在拍攝照片的時候往往帶有對於物體視角的喜好，這可以反映出人們對於三維模型最優視圖的選擇。而且隨著網際網路的和圖片共享服務的興起，人們願意在網際網路上發布自己拍攝的圖像。這樣可以利用在網際網路上的大量圖像直接獲取人們對於三維模型最優視圖的選擇。此外，這種定義是在類別層次上的，只需要對於一類三維模型進行計算和選擇，不需要對每個模型的每個視圖進行計算，從而可以節省計算代價。文獻6:中國發明專利，CN102163343，基於網際網路圖像的三維模型最佳視角自動獲取方法，使用了這種定義來獲得三維模型最優視圖，但是僅僅利用了網際網路圖像和三維模型視圖之間一些簡單特徵的匹配，對於人體等非剛體以及其他較為複雜的模型的效果不佳，而且需要對於每個模型的每個視圖進行處理，需要很大的計算開銷。【
發明內容】[0007]發明目的:本發明所要解決的技術問題是針對現有技術的不足，提供一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，利用網際網路圖像來支持對三維模型最優視圖的自動選擇。[0008]為了解決上述技術問題，本發明公開了一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，包括以下步驟:[0009]步驟一，三維模型集預處理:對輸入的三維模型集中的各個三維模型進行預處理，得到所有三維模型的類別，包括姿態校正、尺度歸一化以及三維模型類別判斷三個步驟，所述三維模型集中每個三維模型設有類別或者描述標記；[0010]姿態校正過程調整三維模型的坐標系，將三維模型的姿態校正為直立狀態；[0011]尺度歸一化過程將三維模型的大小歸一化為單位長度；[0012]三維模型類別判斷過程根據已有三維模型集來確定不在三維模型集中未分類三維模型的所屬類別；[0013]步驟二，圖像視角分類器訓練:得到一個用以估計圖像的觀察視角的分類器，包括訓練集生成以及圖像視角分類器訓練兩個步驟；[0014]訓練集生成過程渲染帶有貼圖和紋理的三維模型，並採集各個角度的圖像和視角標記；[0015]圖像視角分類器訓練過程使用之前生成的訓練集，來訓練得到一個對於某類物體圖像的視角分類器；[0016]步驟三，網際網路圖像採集:通過圖像搜尋引擎和社交網絡中用戶上傳的大量圖像，採集網際網路中相應模型的圖片，包括圖像抓取、無關圖像過濾以及前景物體圖像提取三個步驟:[0017]網際網路圖像抓取過程以三維模型類別描述為關鍵詞，通過爬蟲抓取圖像搜索弓I擎和社交網絡中用戶上傳的大量圖像；[0018]無關圖像過濾過程過濾掉與三維模型類別描述無關的圖像，保留相關的圖像；[0019]前景物體圖像提取過程將圖像中背景去除，提取出前景物體及其包圍盒，並放置於純白色背景的新圖像之中，構建相應三維模型的候選網際網路圖像集合；[0020]步驟四，視圖評價:通過網際網路圖像對三維模型相應的視圖投票，選擇排序靠前的視圖為最優視圖，包括網際網路圖像視角估計以及視圖排序兩個步驟；[0021]網際網路圖像視角估計過程使用圖像視角分類器對於網際網路圖像集合的所有圖像的視角進行估測和計算；[0022]視圖排序過程中，三維模型對應的網際網路圖像集合中每幅圖像對相應的視角進行投票，按視圖得到的票數降序排列，排序最靠前視圖的為該模型的最優視圖。[0023]本發明步驟一中所述姿態校正部分還包括以下步驟:步驟111計算三維模型的中心，將三維模型平移至以該模型的中心為原點的坐標繫上。步驟112通過PCA(主成分分析，PrincipalComponentAnalysis)方法(文獻7:PearsonK.0nlinesandplanesofclosestfittosystemsofpointsinspace[J].PhilosophicalMagazine,1901,2(6):559-572.)計算模型的主軸方向。步驟113將模型所在坐標系的各個坐標軸方向調整為PCA方法得到的主軸方向。[0024]本發明步驟一中所述尺度歸一化部分還包括以下步驟:步驟121計算三維模型的中心以及三維模型上的各個頂點到中心的距離。步驟122，以最長的距離作為單位長度對各個頂點進行歸一化。[0025]本發明步驟一中所述三維模型類別判斷部分還包括以下步驟:步驟131對每個三維模型進行特徵提取，得到三維模型的特徵。步驟132利用已有三維模型集每個模型的特徵和類別標記作為訓練集進行有監督學習，得到三維模型類別的分類器。步驟133對於不在步驟132中已有三維模型集裡的三維模型，使用步驟132得到的分類器該三維模型確定所屬類別，並加入三維模型集相應類別中，得到完全分好類的三維模型集M=(M1,...,MJ,其中η為三維模型的數量。[0026]本發明步驟二中所述三維模型視圖採樣部分還包括以下步驟:步驟211從帶有貼圖和紋理的三維模型資料庫中，利用三維模型類別或描述標籤檢索相應的三維模型，資料庫中的所有三維模型都經過了預先的校正。步驟212，將相應的三維模型放入坐標軸原點，附上貼圖和紋理，並加入在紅綠藍阿爾法顏色(redgreenbluealpha,RGBA)空間中的亮度值為(0.4，0.4，0.4，1)的均一白色全局環境光照。步驟213，利用預先定義的正二十面體的坐標生成初始包圍三維模型的正二十面體，對正二十面體進行曲面細分得到離散化的視點位置。步驟214，在每個視點上渲染三維模型，得到三維模型的多個視角合成的圖像、視角標記和前景物體包圍盒。[0027]本發明步驟二中所述圖像視角分類器訓練部分還包括以下步驟:步驟221，對於某類三維模型，提取之前步驟得到的合成的圖像的方向梯度直方圖(Histogramoforientedgradient,HOG)特徵(文獻8:DalaiN,TriggsB.Histogramsoforientedgradientsforhumandetect1n[C]//ComputerVis1nandPatternRecognit1n,2005.CVPR2005.1EEEComputerSocietyConferenceon.1EEE,2005,1:886-893.)。步驟222，以方向梯度直方圖特徵、圖像視角標記以及前景物體包圍盒作為輸入，使用文獻9:P.Felzenszwalb,R.Girshick,D.McAllester,D.Ramanan,ObjectDetect1nwithDiscriminativelyTrainedPartBasedModelsIEEETransact1nsonPatternAnalysisandMachineIntelligence,Vol.32,N0.9,Sep.2010提出的可變形部件模型(Deformablepartmodels,DPM)訓練得到圖像視角分類器。[0028]本發明步驟三中所述網際網路圖像抓取部分還包括以下步驟:步驟311以三維模型類別描述作為關鍵詞，利用基於文本的圖像搜索在網際網路和社交網絡上進行檢索。步驟312，對於檢索結果，構建一個網際網路資源爬蟲下載檢索結果中的圖像，構建各類三維模型的網際網路圖像集。[0029]本發明步驟三中所述無關圖像過濾部分還包括以下步驟:步驟321，採用顯著性測試算法衡量圖像集中每幅圖像的顯著性並過濾掉顯著性物體過多、背景複雜的圖像。[0030]本發明步驟三中所述前景物體圖像提取部分還包括以下步驟:步驟331，採用文獻10:BoykovY,VekslerO,ZabihR.Fastapproximateenergyminimizat1nviagraphcuts[J].PatternAnalysisandMachineIntelligence,IEEETransact1nson,2001,23(11):1222-1239.提出的GraphCuts算法分割出網際網路圖像的前景物體並得到前景物體的包圍盒。步驟332，依據包圍盒裁剪圖像，僅保留前景物體。[0031]本發明步驟四中所述網際網路圖像視角估計部分還包括以下步驟:步驟411，從網際網路圖像集中選擇屬於同類型物體的圖像，使用訓練得到的圖像視角分類器估計網際網路圖像的視角。[0032]本發明步驟四中所述圖像投票部分還包括以下步驟:步驟421，三維模型對應的網際網路圖像集合中每幅圖像對相應的視角進行投票。步驟422，按視圖得到的票數降序排列，輸出排序最靠前的視圖的為該類三維模型的最優視圖。[0033]本發明不同於已有的最優視圖幾何度量標準的大量研究，本發明採用另外一種評價標準:採用網際網路圖像獲取人們對於三維模型最優視圖的評價並對三維模型的各個視圖進行投票，票數最多的視圖為三維模型的最優視圖。這樣，三維模型的最優視圖選擇問題就可以劃歸為網際網路圖像收集和網際網路圖像視角估計的機器學習問題，而這些在圖像識別的問題中得到了大量的研究。採用網際網路圖像投票作為最優視圖的選擇標準以及使用帶有紋理和貼圖的三維模型作為訓練集構建圖像視角分類器，是本發明區別於以往傳統的主觀選擇方法之處，使得本發明的選擇方法建立在客觀量化的評價標準上，實現了技術上的可重複再現性，滿足了工業計算機領域圖形圖像處理的基本要求。[0034]有益效果:本發明具有以下優點:首先，本發明是一種通用的最優視圖選擇方法，可以適用於多種類別的三維模型；其次，本發明依據對於網際網路圖像的視角估計，是一種較為可觀的度量方式；再次，本發明利用帶有紋理和貼圖的三維模型來訓練圖像視角分類器，不需要大量人工標註；最後，本發明是在三維模型類別層面上的，具有較高的計算速度，且同類別三維模型的最優視圖具有較高的姿態一致性。【專利附圖】【附圖說明】[0035]下面結合附圖和【具體實施方式】對本發明做更進一步的具體說明，本發明的上述和/或其他方面的優點將會變得更加清楚。[0036]圖1是本發明的處理流程示意圖。[0037]圖2是輸入的一個無標記的汽車模型。[0038]圖3是生成三維模型採樣視點的示意圖。[0039]圖4是對帶有紋理和貼圖的三維模型採樣得到的多個二維視圖圖像。[0040]圖5是可變形部件模型在模型上檢測到的部件。[0041]圖6是訓練得到的各個視角下可變形部件模型的部件構成。[0042]圖7是谷歌搜尋引擎上關於轎車類別的三維模型的描述標記搜索結果的示意圖。[0043]圖8a?8d是對轎車類別的三維模型選擇得到的最優視圖的示意圖。【具體實施方式】:[0044]如圖1所示，本發明公開的一種三維模型最優視圖的自動選擇方法，具體包括以下步驟:[0045]步驟一，三維模型集預處理:對輸入的三維模型進行預處理以減少三維模型不同姿態以及縮放尺度的影響，並得到所有模型的類別，包括姿態校正、尺度歸一化以及三維模型類別判斷三個步驟，所述三維模型集中每個三維模型設有類別或者描述標記。[0046]步驟二，圖像視角分類器訓練:得到一個用以估計圖像的觀察視角的分類器，包括訓練集生成以及圖像視角分類器訓練兩個步驟。[0047]步驟三，網際網路圖像採集:通過圖像搜尋引擎和社交網絡中用戶上傳的大量圖像，採集網際網路中相應模型的圖片，包括圖像抓取、無關圖像過濾以及前景物體圖像提取三個步驟。[0048]步驟四，視圖評價:通過網際網路圖像對三維模型相應的視圖投票，選擇排序靠前的視圖為最優視圖，包括網際網路圖像視角估計以及視圖排序兩個步驟。[0049]本發明的輸入三維模型集為含有已分好類且有類別標記的三維網格模型集合以及帶有紋理和貼圖的三維模型集合。[0050]下面具體介紹各個步驟的主要流程:[0051]1.三維模型集預處理[0052]三維模型集預處理:對輸入的三維模型進行預處理以減少三維模型不同姿態以及縮放尺度的影響，並得到所有模型的類別，包括姿態校正、尺度歸一化以及三維模型類別判斷三個步驟。[0053]1.1.姿態校正[0054]姿態校正過程調整三維模型的坐標系，將三維模型的姿態校正為直立狀態，減少三維模型不同姿態的影響。過程如下[0055]步驟I通過對三維模型頂點坐標進行排序，得到三維模型在原坐標系上X軸方向上的最大值Xmax及最小值xmin，y軸方向上的最大值ymax及最小值ymin，以及z軸方向上的最大值Znlax及最小值Znlintl得到三維模型的中心的坐標(Xcenter?^center?^center)=((Xmax-Xmin)/2,(y_-ymin)/2，(Zmax-Zmin)/2)，將三維模型每個頂點的坐標減去中心坐標，頂點之間的連接關係保持不變，設原頂點的坐標為(X，y,z)，那麼對應的新的頂點的坐標為y-ycenter,z-zcenter)。這樣就使得三維模型平移至以該模型的中心為原點的坐標繫上。[0056]步驟2通過主成分分析方法計算模型的主軸方向，設三維模型頂點坐標組成的矩1-\rλ/.*v*I人11x12x13陣X=;『..=，其中n為三維模型頂點個數，然後計算X中每列坐標的平均值XnlΧη2^η3.[0057]Xi=~^k=ixki^[0058]其中為i為列號i=1，2，3，將X中每列減去相應的平均值Xi得到新的矩陣ΓV_VrV"_VV_rV"I人11?人11IH人I[0059]B=:.::.χη?~xIxH~xixIi~x1.[0060]得到協方差矩陣[0061]S=~~Σ)1^ιΒ,Β!，Μ._丄[0062]對協方差矩陣S進行對角化[0063]Sqi=λ凡，i=1，2，3，[0064]得到3個特徵向量q1；q2,q3和特徵值λλ2，λ3，特徵向量q1;q2,q3分別對應調整後的坐標系的X軸、y軸、z軸方向。[0065]步驟3將模型所在坐標系的各個坐標軸方向調整為主成分分析方法得到的三個主成分軸方向，新的頂點坐標組成的矩陣V=X*[QirQ2^Q3]。[0066]1.2.尺度歸一化。[0067]尺度歸一化過程將三維模型的大小歸一化為單位長度，減少三維模型不同縮放尺度的影響。過程如下:[0068]步驟I當前坐標系下三維模型的中心即為坐標原點，三維模型上的各個坐標為(xi；yi；Zi)的頂點到中心的距離為[0069]dt=Jx^+yf+zf,?=1,2...η。[0070]步驟2以Cli中最長的距離dmax作為單位長度，將三維模型上各個頂點的坐標除以該距離，進行尺度歸一化，新的頂點坐標組成的矩陣X"=V./dmax。[0071]1.3.三維模型類別判斷[0072]三維模型類別判斷過程根據已有三維模型集來確定不在該集合中未分類三維模型的所屬類別，對於已在在該集合中的三維模型則略過此步驟。過程如下:[0073]步驟I對每個三維模型進行特徵提取，得到三維模型的特徵，所提取特徵為文獻11:VranicDV,SaupeD.3DModelRetrieval.Proc.0ftheSpringConferenceonComputerGraphicsanditsApplicat1ns(SCCG2000),Budmerice,2000:89?93.提出的由186維的深度視圖特徵、150維的輪廓特徵、136維的射線特徵組成的混合描述子，將這些特徵組合起來成為每個三維模型的特徵向量。[0074]步驟2利用三維模型集每個已分類模型的特徵和相應的類別標記作為訓練集，應用AdaBoost算法進行有監督學習，由於三維模型集中有較多類別，因此使用一對多分類策略將多分類問題轉為多個二分類問題，在訓練時當前類別的樣本歸為一類，其他剩餘的樣本歸為另一類，得到三維模型類別的分類器。[0075]步驟3對於不在數據集裡的新模型，向分類器輸入步驟I中提取的特徵，使用步驟2中得到的分類器確定模型所屬類別，並加入三維模型集中相應類別。[0076]2.圖像視角分類器訓練[0077]圖像視角分類器訓練:得到一個用以估計圖像的觀察視角的分類器，包括訓練集生成以及圖像視角分類器訓練兩個步驟。[0078]2.1.訓練集生成[0079]訓練集生成過程渲染帶有貼圖和紋理的三維模型，並採集各個角度的圖像和視角標記。過程如下:[0080]步驟I從帶有貼圖和紋理的三維模型資料庫中，利用三維模型類別或描述標籤Li為關鍵詞，通過Li與三維資料庫中模型文本描述的匹配來檢索相應的三維模型，資料庫中的所有三維模型都經過了預先的校正。[0081]步驟2將與Li相匹配的三維模型逐一放入坐標軸原點，依照三維模型文件提供的貼圖和紋理圖像和位置給三維模型貼圖、附上紋理、設置材質，設置背景為純白色，加入均一白色全局環境光照，其在紅綠藍阿爾法顏色(redgreenbluealpha,RGBA)空間中紅色通道的值為0.4，綠色通道的值為0.4，藍色通道的值為0.4，阿爾法通道的值為I，這樣構成(0.4,0.4,0.4，I)的環境光照亮度值，環境光照充滿著整個場景，使得場景中的物體被環境光從各個方向照射，場景和物體上幾乎不存在陰影。[0082]步驟3採用偽均勻法來離散化視點位置，根據文獻11:M.ffoo,J.Neider,T.Davis,D.Shreiner.0penGLProgrammingGuide,Addison-ffesley,1999:2.10.中正二十面體的生成方法，首先依照預先定義的正二十面體的12個頂點的坐標位置(O,土I,±(1+V^)/2),(±1,±(1+V5)/2,0),(±(l+λ/5)/2,0,±1)，生成一個體心位於原點(0,0,0)的正二十面體。通過擴張這個正二十面體體心到每個頂點的距離，可以生成初始能夠包圍三維模型的正二十面體，對正二十面體進行Loop曲面細分，在三角形面片每邊的中點處插入新頂點，並將其兩兩相連，使每個三角形面片剖分為4個三角形面片，Loop曲面細分算法對每個頂點及其相鄰頂點計算權重得到新的頂點位置，通過執行Loop曲面細分，得到離散化的均勻分布的視點位置。[0083]步驟4在每個視點上，以視點到模型中心即坐標系原點作為相機的方向，渲染三維模型，截取多個視點下的二維彩色圖像得到三維模型的多個視角合成的圖像；以這些視點的參數作為圖像的視角標記；從圖像中找到非白色的像素在圖像坐標系中的坐標，並得到其中X軸方向的最大值Xmax和最小值xmin，y軸方向的最大值ymax和最小值ymin，得到圖像中前景物體包圍盒的四個頂點的坐標分別為(Xniil^yniin),(xmin，ymJ，(x_，ymin)，(x_，ymJ。[0084]2.2.視角分類器訓練[0085]步驟I對於類別或描述標籤為Li的三維模型，提取其多個視角圖像的方向梯度直方圖特徵，將視角圖像分成固定尺寸的小的連通區域，每個連通區域稱為細胞；計算細胞單元中各像素點梯度或邊緣的局部方向直方圖；把這些局部直方圖多個細胞單元內，進行對比度歸一化；將這些直方圖組合到一起構成金字塔形的視角圖像特徵描述。[0086]步驟2採用可變形部件模型將圖像中的物體表示為根濾波器(rootfilter)和一系列部件濾波器(partfilter)的星形連接而成的組合。根濾波器覆蓋整個物體以獲取全局的整體信息，部件濾波器置於方向梯度直方圖特徵金字塔的底部，用以覆蓋物體更小的部件，獲取局部信息。然後通過一系列形變參數β={F0,Fl,,Fn,Cl1,,dn，b}和部件假設為L時的特徵特徵向量少(L)={Φ(Ιο),Φ(Ιι),—,Φ(Ιη)>~Φ?(}?~〖O),—>~Φ?(.^η~《O)}來描述整個模型，其中β為模型的參數向量，F1,...，FnS各部件濾波器的參數向量，(I1,...,dn為各部件的形變向量，b為偏移向量，Φ(In)為部件Vn放置在位置In時的方向梯度直方圖特徵向量，-Φ^?η-?ο)為部件之間相對位置的特徵向量。這些參數描述了檢測中部件的實際位置相對其訓練位置的偏移程度，以β和P的點積，作為當前部件位置的得分。對於一類三維模型，以2.1中以生成的該模型各個視角下的二維視圖作為訓練正樣本，以其他視角以及隨機圖像作為負樣本，以每幅二維圖像的視角作為標記。通過隱支持向量機(latentsupportvectormachine,Latent-SVM)進行訓練，初始化參數向量β，利用當前的參數β，採用動態規劃對訓練集中正樣本和負樣本中的每張圖像進行掃描檢測，找到每張圖像上得分最高的部件位置假設，然後採用梯度下降最小化目標函數Fd(P)=0Μβ\\2+CZL.max(0,1—奶)，其中φ是第i個樣本根據得分最高的部件位置向量得到得特徵向量，N為訓練集中剩餘樣本的總數，yie{1,-1}為樣本正負標記，從而得到當前循環的最優參數向量β。不斷利用新的最優參數向量β進行檢測並對β進行修正，循環500萬次，得到最終的參數向量β，從而得到圖像視角的分類器。[0087]3.圖像視角分類器訓練[0088]3.1.圖像抓取[0089]步驟I以三維模型類別或描述標籤Li作為關鍵詞，利用基於文本的圖像搜索在谷歌、百度以及必應等網際網路搜尋引擎和社交網絡上進行檢索，對於谷歌圖片搜索來說使用HTTPGET請求進行圖像檢索，GET請求的查詢參數為q=Li以及tbm:isch,即生成類似於https://www.google,com/search?q=Lj&tbm=isch的HTTPURL來請求檢索結果；[0090]步驟2對於檢索結果，通過分析頁面的框架構建一個網際網路資源爬蟲來下載圖像，對於頁面中類別為rg_di的div塊中使用正則表達式提取出檢索到的圖像的HTTP地址；然後根據這些HTTP地址下載所有的圖像。[0091]3.2.無關圖像過濾[0092]步驟I米用文獻12ZhaiY,ShahM.Visualattent1ndetect1ninvideosequencesusingspat1temporalcues[C]//Proceedingsofthel4thannualACMinternat1nalconferenceonMultimedia.ACM,2006:815-824.中圖像顯著度區域計算的方法得到每幅圖像的高顯著性的區域，首先計算圖像像素級的顯著度為每個像素點顏色與圖像中所有其他像素點的歐式距離與其他像素點顏色直方圖頻率的乘積，然後，根據得到的顯著性高的像素點對顯著性區域進行初始化，以其為中心生成種子區域，通過計算區域邊緣的能量進行迭代區域增長，最終得到一個矩形的顯著區域。擴展的區域重疊時，將重疊的區域合併到一起作為一個連通區域，如果這些塊的總數超過5塊，認為這張圖像太複雜而進行排除。這樣，僅保留了前景物體明晰的圖像，過濾掉了無關的圖像。[0093]3.3.前景物體圖像提取[0094]步驟I採用圖割算法把圖像分割問題轉化為二值分類問題，然後利用圖論重的最大流原理進行解決，假設圖的構成為G=，其中y為節點集，E為邊緣集，通過最小化Gibbs能量，給y中所有節點附上值，從而分割出網際網路圖像的前景物體並得到圖像中前景物體包圍盒的四個頂點的坐標分別為(Xniil^yniin),(xmin，ymJ，(χ_，ymin)，(χ_，ymJ。[0095]步驟2依據包圍盒的坐標，裁剪圖像中位於包圍盒之外的部分，得到僅保留前景物體的圖像。[0096]4.視圖排序[0097]4.1.網際網路圖像視角估計[0098]步驟I從網際網路圖像集中選擇與類別或描述標籤Li匹配的圖像Ii,使用訓練得到的圖像視角分類器估計網際網路圖像Ii得到其拍攝時的視角\。[0099]4.2.圖像投票[0100]步驟I給一類三維模型的每個視角Vi設置一個計數器Ci,並將Ci初始化為0，如果使用圖像視角分類器得到的網際網路圖像Ii的視角Vi,那麼對視角Vi投一票，使得Vi對應的計數器Ci加一。最終Ci表示網際網路上這類模型視角為Vi的圖像數量。[0101]步驟2按每個視圖得到的票數Ci降序排列，輸出排序最靠前的視圖作為該類三維模型的最優視圖。[0102]實施例[0103]本實施例中，輸入三維模型集合，通過本發明所述的三維模型最優視圖的自動選擇方法，可以得到每個三維模型的最優視圖。以一個無標記的汽車模型為例，其三視圖如圖2所示，具體實施過程如下:[0104]步驟一中，該三維模型經過姿態校正過程、尺度歸一化過程後，判斷出這個三維模型的類別為轎車，添加相應類別的中文標記「轎車」和英文標記「Car」。[0105]步驟二中，訓練集生成過程首先生成包圍模型的二十面體，對這個二十面體進行一次曲面細分，以生成的多面體頂點作為視點，如圖3所示，在每個視點上取得訓練集中每個三維模型的二維投影，得到這組訓練集中三維模型各個視角下帶有紋理和貼圖的二維圖像和視角標記，如圖4所示。圖像視角分類器訓練過程中提取這些圖像的特徵，並利用圖像附帶的視角標記訓練得到基於可變形部件模型的圖像視角分類器，可變形部件模型在模型上檢測到的部件如圖5所示，訓練得到的各個視角下每個部件的構成如圖6所示。[0106]步驟三中，網際網路圖像抓取過程使用三維模型的類別標記「轎車」和「Car」作為關鍵詞在谷歌圖片搜尋引擎上進行搜索，得到的搜索結果圖像如圖7所示，下載搜索結果中的圖像，對這些圖像進行無關圖像過濾排除掉與轎車整體外觀無關的圖像，再對這些圖像提取存在於前景中的轎車，刪除背景，從而構建這一類三維模型的網際網路圖像集。[0107]步驟四中，通過網際網路圖像視角估計和圖像投票過程後，對於轎車相關的圖像，從前側視角拍攝的圖像最多，因此前側視角得到的票數最多，選擇這個視角作為三維模型最優視圖，得到三維模型的最優視圖如圖8a?圖8d所示。[0108]本發明提供了一種網際網路圖像驅動的三維模型最優視圖自動選擇方法的思路，具體實現該技術方案的方法和途徑很多，以上所述僅是本發明的優選實施方式，應當指出，對於本【
技術領域：
】的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。本實施例中未明確的各組成部分均可用現有技術加以實現。【權利要求】1.一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，包括以下步驟:步驟一，三維模型集預處理:對輸入的三維模型集中的各個三維模型進行預處理，得到所有三維模型的類別，包括姿態校正、尺度歸一化以及三維模型類別判斷三個步驟，所述三維模型集中每個三維模型設有類別或者描述標記；姿態校正過程調整三維模型的坐標系，將三維模型的姿態校正為直立狀態；尺度歸一化過程將三維模型的大小歸一化為單位長度；三維模型類別判斷過程根據已有三維模型集來確定不在三維模型集中未分類三維模型的所屬類別；步驟二，圖像視角分類器訓練:得到一個用以估計圖像的觀察視角的分類器，包括訓練集生成以及圖像視角分類器訓練兩個步驟；訓練集生成過程渲染帶有貼圖和紋理的三維模型，並採集各個角度的圖像和視角標記；圖像視角分類器訓練過程使用之前生成的訓練集，來訓練得到一個對於一類物體圖像的視角分類器；步驟三，網際網路圖像採集:採集網際網路中相應三維模型的圖片，包括網際網路圖像抓取、無關圖像過濾以及前景物體圖像提取三個步驟:網際網路圖像抓取過程以三維模型類別描述為關鍵詞，通過爬蟲抓取圖像搜尋引擎和網際網路中用戶上傳的圖像；無關圖像過濾過程過濾掉與三維模型類別描述無關的圖像，保留相關的圖像；前景物體圖像提取過程將圖像中的背景去除，提取出前景物體及其包圍盒，並放置於純白色背景的新圖像之中，構建相應三維模型的網際網路圖像集合；步驟四，視圖評價:通過網際網路圖像對三維模型相應的視圖投票，選擇排序靠前的視圖為最優視圖，包括網際網路圖像視角估計以及視圖排序兩個步驟:網際網路圖像視角估計過程使用圖像視角分類器對於網際網路圖像集合的所有圖像的視角進行估測和計算；視圖排序過程中，三維模型對應的網際網路圖像集合中每幅圖像對相應的視角進行投票，按視圖得到的票數降序排列，排序最靠前視圖的為該三維模型的最優視圖。2.根據權利要求1所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟一中所述姿態校正部分包括以下步驟:步驟111，計算三維模型的中心，將三維模型平移至以該三維模型的中心為原點的坐標系上;步驟112，通過主成分分析方法計算三維模型的主軸方向；步驟113，將三維模型所在坐標系的各個坐標軸方向調整為PCA方法得到的主軸方向。3.根據權利要求2所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟一中所述尺度歸一化部分包括以下步驟:步驟121，計算三維模型的中心以及三維模型上的各個頂點到中心的距離；步驟122，以最長的距離作為單位長度對各個頂點進行歸一化。4.根據權利要求3所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟一中所述三維模型類別判斷部分包括以下步驟:步驟131，對每個三維模型進行特徵提取，得到三維模型的特徵；步驟132，利用已有三維模型集中每個三維模型的特徵和類別標記作為訓練集進行學習，得到三維模型類別的分類器；步驟133，對於不在步驟132中已有三維模型集裡的三維模型，使用步驟132得到的分類器該三維模型確定所屬類別，並加入三維模型集相應類別中，得到完全分好類的三維模型集M=(M1,...，MJ，其中η為三維模型的數量。5.根據權利要求4所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟二中訓練集生成部分包括以下步驟:步驟211，從帶有貼圖和紋理的三維模型資料庫中，利用三維模型類別或描述標籤檢索相應的三維模型；步驟212，將相應的三維模型放入坐標軸原點，附上貼圖和紋理，並加入均一白色全局環境光照；步驟213，利用預先定義的正二十面體的坐標生成初始包圍三維模型的正二十面體，對正二十面體進行曲面細分得到離散化的視點位置；步驟214，在每個視點上渲染三維模型，得到三維模型的多個視角合成的圖像、視角標記和前景物體包圍盒。6.根據權利要求5所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟二中圖像視角分類器訓練部分包括以下步驟:步驟221，對於一類三維模型，提取之前步驟得到的合成的圖像的方向梯度直方圖特徵；步驟222，以方向梯度直方圖特徵、圖像視角標記以及前景物體包圍盒作為輸入，使用可變形部件模型訓練得到圖像視角分類器。7.根據權利要求6所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟三中所述網際網路圖像抓取部分包括以下步驟:步驟311，以三維模型類別描述作為關鍵詞，利用基於文本的圖像搜索在網際網路上進行檢索；步驟312，對於檢索結果，構建一個網際網路資源爬蟲下載檢索結果中的圖像，構建各類三維模型的網際網路圖像集。8.根據權利要求7所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟三中所述無關圖像過濾部分包括以下步驟:步驟321，採用顯著性測試算法衡量圖像集中每幅圖像的顯著性並過濾掉顯著性物體多且背景複雜的圖像。9.根據權利要求8所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟三中前景物體圖像提取部分包括以下步驟:步驟331，採用圖割算法分割出網際網路圖像的前景物體並得到前景物體的包圍盒；步驟332，依據包圍盒裁剪圖像，僅保留前景物體。10.根據權利要求9所述的一種網際網路圖像驅動的三維模型最優視圖自動選擇方法，其特徵在於，步驟四中網際網路圖像視角估計部分包括以下步驟:步驟411，從網際網路圖像集中選擇屬於同類型物體的圖像，使用訓練得到的圖像視角分類器估計網際網路圖像的視角；步驟四中圖像投票部分包括以下步驟:步驟421，三維模型對應的網際網路圖像集合中每幅圖像對相應的視角進行投票；步驟422，按視圖得到的票數降序排列，輸出排序最靠前的視圖的為該類三維模型的最優視圖。【文檔編號】G06K9/46GK104182765SQ201410415993【公開日】2014年12月3日申請日期:2014年8月21日優先權日:2014年8月21日【發明者】孫正興,李晨曦,宋沫飛,王爽申請人:南京大學