重建三維表面模型的方法

2023-10-10 04:25:24 7

專利名稱：重建三維表面模型的方法
技術領域：
本發明涉及一種重建三維表面模型的方法，特別是一種關於半透明物體與鏡射物體的三 維表面模型的重建方法。
背景技術：
近年來，由於立體電視與計算機動畫的發展，三維掃描重建模型技術已被廣泛應用到計 算機製圖(computer graphic)或是計算機視覺(computer vision)等領域中。三維掃描重建模型技 術大致上可以分作以下幾類被動式立體重建(passive stereo)、主動式立體重建(active stereo)、 光影重建表面(shape from shading)與光度立體重建(photometric stereo)。
其中，被動式立體重建法是藉由交叉比對多個來自不同視角的實體影像且利用三角幾何 來推算實體的三維表面。被動式立體重建法主要的好處在於容易實行以及只需要兩臺或多臺 的照相機即可完成，但是在紋理(texture)較少處，其影像對應點(correspondpoints)比對不易， 在此部分正確性較低。
主動式立體重建法則是利用額外的光源或是雷射投射器(laser projector)來對要重建三維 影像的物體作掃描，相較於被動式立體顯現法，主動式立體重建法對於影像中對應點的M"算 較容易，並且其影像的正確性也較高。但是換個角度來看，主動式立體重建法的系統通常需 要額外的投射裝置，所以重量較大且成本昂貴。另外，由於被動式或是主動式立體重建法所 演算出的非朗伯表面(non-lambertian surface)物體的三維影像細微部分，相較於物體實際影像 的細微部分較為粗略，並且推算的過程中也沒有將反射特性對影像的影響考慮進去，因此非 朗伯表面物體的三維立體影像是較無法藉由被動式或是主動式立體重建法來演算。
上述所謂的朗伯表面(lambertian surface)可由以下性質得知其意義。當朗伯表面與表面法 向量固定時，在所有的觀測方向都是呈現相同輝度，即輝度是與觀測方向無關的常數。但是 實際上，世界上大部分的物體除了朗伯(lambertian)反射特性外，還具部分鏡射反射(specular reflection)或次表面反射(subsurface scattering)特性。
光影重建表面法與光度立體重建法是利用物體的反射亮度變化數據來重建物體的三維影 像形狀。光度立體重建法通常是在多個方向照光，從單一方向的觀察角度來觀察物體反射亮 度的變化，並且其演算過程大都使用朗伯模型(lambertian model),也就是將物體假設為朗伯 表面物體，因此法向量(normal)的推估方式就成為簡單的線性最小平方問題(linear least-square problem)。但是因為實際物體並非都僅具有朗伯反射特性(lambertian reflection properties),所 以傳統光度立體重建法對於鏡射材質的物體有較大誤差。光影重建表面法則是利用單一影像的強度變化與己知的照光條件來重建三維立體表面。然而藉由光影重建表面法所重建的深度 影像(range image)形狀會因為輸入幹擾或是簡化的反射模型的影響，造成重建的影像會有被幹 擾的狀況。
因此，習知的三維重建模型技術受限於掃描系統無法提供物體精細部分的幾何信息，使 得物體的三維幾何影像的解析度也隨的受到限制。另外，習知技術也無法處理具有鏡反射特 性(specular reflection)的物體或是物體本身的成分為多種層狀構造所組成的半透明材質，也就 是具有次表面反射(sub-surface scattering)特性的物體。

發明內容
本發明的目的在於克服現有技術的不足，提供一種重建三維表面模型的方法，該方、法可 以重建具有部分鏡射材質或部分半透明材質特性的物體的三維表面模型。
另外，本發明還提供一種重建三維表面模型參數的方法，該方法可以合併考慮物體的鏡 射材質部分或半透明材質部分，進而合成出具有鏡反射特性與次表面反射特性的合成影像。
為實現上述目的，本發明提出了一種重建三維表面模型的方法，其步驟包括 (1 )以三維結構光系統取得物體的三維立體位置與對應於所述物體的複數個反射參數；
(2) 根據所述三維立體位置與所述複數個反射參數建立合成影像；
(3) 調整反射參數以調整所述合成影像，直到最佳化參數小於默認值。
其中，所述最佳化參數對應於調整後的所述合成影像中對應位置的複數個像素的亮度 (intensity)與實際影像中的複數個像素的亮度的差值。
在本發明一實施例中，上述最佳化參數包括一第一項與一第二項，所述第一項對應於所 述合成影像中的像素的亮度與實際影像中的對應像素的亮度的差值的平方，所述第二項對應 於所述合成影像中的每一像素的估計深度(depth)與相對應的複數個周圍像素的深度的差值。
在本發明一實施例中，上述最佳化參數的方程式表示如下
其中，Q^表示所述最佳化參數；5"表示所述合成影像中的像素的亮度；W表示所述實 際影像中像素的亮度；Z,表示所述合成影像中的像素的深度；。表示對應於Z,的周圍像素的 像素的深度；"表示所述合成影像中的像素總數；m表示複數個周圍像素的總數；i表示所述 合成影像中的像素的索引值；J'表示所述複數個周圍像素的索引值；w為最佳化參數中的第二 項的權值(比重)。
在本發明一實施例中，在步驟(1)中，更包括利用朗伯反射模型與光影重建表面技術取 得物體的三維立體位置與複數個反射參數的初始值。在本發明一實施例中，上述反射參數包括散射係數與法向量兩者至少其中之一。 在本發明一實施例中，在步驟(2)中，更包括利用一鏡射材質模型與所述複數個反射參 數建立所述合成影像。其中反射參數包括散射係數、鏡射係數以及光澤係數(shiness;i。 在本發明一實施例中，上述鏡射材質模型為Phong模型，其方程式表示為
其中，&為像素的亮度；&為散射係數(diffiise coefficient); &為鏡射係數(specular coefficient): iV,為所述點表面法向量，可由鄰近^的斜率獲得；Z為入射光向量；F/為完全鏡 反射向量，可由M、 ￡獲得；F為視角向量；"為光澤係數(shine coefficient)。
在本發明一實施例中，在步驟(2)中，更包括利用一半透明材質模型與所述複數個反射 參數建立所述合成影像。其中反射參數包括分散係數、吸收係數以及折射率。
在本發明一實施例中，上述半透明材質模型為雙向次表面散射反射分布函數模型，其方 程式如下 ；
^(a,5,，x。,^) = l^Cc,，<5,)A(||《—x。 ||2)^(x。,5。)
其中，&為像素的亮度；F,為Fresnel轉換函數；^為光線進入物體的入射位置；；c。為光 線的離開物體的折射位置；^為入射角度；r3。為折射角度；&為物體的散射量變曲線函式。
在本發明一實施例中，在步驟(3)中，更包括根據調整後的合成影像重新計算最佳化參 數以重新調整反射參數。
在本發明一實施例中，上述重建三維表面模型的方法更包括，根據調整後的反射參數調 整三維立體位置的深度參數(depth)，直到最佳化參數小於默認值。
在本發明一實施例中，上述重建三維表面模型的方法更包括，重複調整反射參數與三維 立體位置，直到合成影像與實際影像的差小於默認值。
本發明還提出了另一種重建三維表面模型的方法，包括以下步驟
(1) 以三維結構光系統取得物體的三維立體位置；
(2) 根據三維立體位置與Phong模型建立合成影像；
(3) 調整Phong模型中的複數個第一反射參數以調整合成影像，直到最佳化參數小於第 一默認值；
(4) 根據調整後的第一反射參數調整三維立體位置中的深度參數，直到最佳化參數小於 第二默認值；
(5 )根據調整後的三維立體位置與雙向次表面散射反射分布函數模型調整合成影像； (6)調整所述雙向次表面散射反射分布函數模型中的第二反射參數以調整合成影像，直到最佳化參數小於第三默認值；
(7)根據調整後的第二反射參數調整三維立體位置中的深度參數，直到最佳化參數小於 第四默認值。
其中，最佳化參數包括第一項與第二項，其中第一項對應合成影像中的像素的亮度與實 際影像中的像素的亮度的差值的平方，而第二項對應於合成影像中的每一像素的深度與相對 應的複數個周圍像素的深度的差值。上述另一種重建三維表面模型的方法的其餘細節如同上 述，在此不再贅述。
本發明的有益效果是提出了新的最佳化方程式，並利用Phong模型與BSSRDF模型來進 行影像重建，分別考慮物體散射鏡射以及子表面散射(sub-surfacescattering)的性質，因此本發 明不需在掃描前對物體的表面分上油漆或是使用石灰加以覆蓋物體表面，也不需要昂貴儀器， 而可以得到非朗伯(Non-lambertian)以及子表面散射物體較正確的幾何信息。
下面結合附圖及具體實施例對本發明作進一步的詳細說明。


圖1為根據本發明一實施例的物體的三維表面模型重建的方法流程圖。 圖2為根據本發明另一實施例的物體的三維表面模型重建的方法流程圖。
具體實施例方式
第一實施例
圖1為本發明一實施例的重建三維表面模型的方法流程圖。請參照圖l，首先如步驟SllO 所述，利用三維結構光系統(structure light system)取得物體的初始三維立體位置，並且取得物 體在真實場景中的光影信息、攝影機位置及燈光位置。接著如步驟S120所述，透過光影重建 表面(shape from shading)的技術與朗伯反射模型(lambertain reflectance model)來取得合成的三 維立體位置與反射參數的初始值，上述取得的反射參數可以為畫素的位置與其初步的反射參 數值(例如散射係數與其表面法向量)、亮度(intensity)或影像深度(imagedepth)等參數。
接下來則依據使用者所要合成的物體部分的材質特性，來決定利用適合的模型來合成影 像。例如步驟S130中，所利用的Phong材質模型適用於如銀盤這種較具有鏡射成分的物體， 而上述的Phong材質模型包含朗伯(lamertianmodel)與鏡射模型(specular)。另外，若是半透明 物體(translucent materials),例如為米飯、麵包、大理石與皮膚，則需要如步驟S140所述的半 透明材質模型來建立合成影像，以下先以具鏡射(specular)與散射(diffuse)材質模型為例，來敘 述建立合成影像與影像最佳化的過程。若為混合不同材質的物體則可以先採用其中一種影像 模型(如鏡射材質模型)進行最佳化，然後再利用另一種影像模型(如半透明材質模型)來進行局 部影像的最佳化。如步驟130所述，利用鏡射材質模型與反射參數建立合成影像，在本實施例中，我們利 用Phong模型(關於Phong模型，請參照B.T. Phong, Illumination for computer generated pictures, Communications of the ACM, v18, n8， p311-317， 1975.)的鏡射材質模型來合成影像。Phong模型 的方程式表示如下
其中，&為畫素的亮度；&為散射係數(diffiise coefficient); &為鏡射係數(specular coe伍cient); M為所述點表面法向量，可由鄰近z,的斜率獲得；z,表示合成影像中像素的深度； 丄為入射光向量;K為完全鏡反射向量，可由JV,、丄獲得；F為視角向量；a為光澤係數(shineness coefficient) o
而散射係數& 、鏡射係數^與亮度a即為Phong Model的反射參數，因此由散射系 數^與鏡射係數&便可以清楚的了解Phong模型為一種將物體的散射與鏡射特性考慮入合成 三維影像的非朗伯(non-lambertina)模型，所以利用Phong Model所模擬出來的合成三維影像， 其影像細微部分的鏡反射特性是可以呈現出來的，因此更可以提高合成三維影像的擬真性。 而藉由Phong模型所合成出來的影像，可以表示為
r、《,力s、
其中s'為合成影像的像素的亮度，^的值會相關於反射模型的反射參數iv，也就是相
關於散射係數&、鏡射係數&與亮度"，x、 y表示水平與垂直坐標，可用來標示影像中的 像素位置，z'表示畫素的索引值。
在獲得合成影像後，假設實際影像為&，其可以表示為
其中W為實際影像的像素的亮度。接著便可以定義最佳化參數C(Z卩，最佳化參數C(Z,
的方程式可以表示為
formula see original document page 9
其中em^(^,0!;為合成影像f與實際影像O'的差值，因此em^(7^,C^亦可表示為兩影像 的像素的亮度的差值^7^^,^=^』')。所以最佳化參數QZj另可表示為
另外，為了使物體的合成影像更具連續性，所以將最佳化參數QZj加上平滑項(smooth term):formula see original document page 10
因此，最佳化參數QZ)包括第一項與第二項，其中第一項為對應於合成影像的多個像素 的亮度S'與實際影像的多個像素的亮度W'之間差值的平方，而第二項對應於合成影像的每 一像素的深度與相對應的複數個周圍像素的深度的差值。
上述最佳化參數QZ,，其中Z,表示所述合成影像中的深度；。表示對應於Z,的複數周圍 像素的深度；"表示所述合成影像中的一像素總數；m表示所述複數個周圍像素的總數；,'對 應於所述合成影像中的像素；y對應於所述複數個周圍像素。
接下來，在步驟S132中，調整反射參數iV,包括散射係數&、鏡射係數^與亮度"， 以調整合成影像與最佳化參數QZ入然後，判斷最佳化參數Q^是否小於第一默認值(步驟 S134)，若最佳化參數QZj大於第一默認值，則重複步驟S132,繼續調整反射參數/V。若最 佳化參數QZ)小於第一默認值，則確定所述反射參數iV為最佳的，接著進入步驟S136，根 據所述最佳的反射參數iV調整三維立體位置深度參數與最佳化參數QZJ。接著在步驟S318 中，判斷最佳化參數是否小於第二默認值，若否，則重複步驟S136，繼續調整深度參數；若 是，則確定所述深度參數為最佳的。然後，進入步驟S139，判斷合成影像與實際影像之差值 是否小於第三默認值，若是，則表示獲得最佳鏡射材質的物體合成影像(步驟S150);若否， 則回到步驟S132，重複調整Phong模型中的反射係數與畫素深度等步驟直到合成影像與實際 影像的差小於第三默認值為止。
另外，上述步驟中，獲得最佳的反射參數/V與深度參數的調整過程，其最佳化參數C(ZJ 的調整概念為藉由調整反射參數iV與深度參數，使得合成影像能夠更逼近實體影像，因此便 希望cyzj的值能越小越好，但是合成影像的擬真性越高，其所需要的調整時間相對的會越長， 因此本發明相關領域的使用者，可依據個人對合成影像擬真性的要求程度與合成影像的速度， 來設定第一默認值與第二默認值與第三默認值。
在最佳化反射參數iV與深度參數方面，可利用Broyden-Fletcher-Goldfarb-Shanno (BFGS) 方法來取得CfZJ最佳化的解，BFGS方法為一種擬牛頓法(quasi-NewtonMethod)並且是最常用 的一種變度量法(variable metric method)。 BFGS方法主要分為數個步驟，首先，取初始點以 及初始矩陣，然後對目標矩陣進行偏微分以取得梯度向量，若其結果小於預設精度要求則可 以停止計算，其解便是最佳解，若否，則計算搜尋方向以逐次取得最佳解。關於BFGS方法 的算法細節請參照Applied Optimization with MATLAB Programming, P. Venkataraman， Wiley InterScience。
利用BFGS的方法，本實施例可先將QZj進行偏微分來推算出的最佳解的反射參數PM與深度參數，其演算方程式為
;屮/v、知，(r'，o')
臺 ,
藉此獲得符合使用者要求的反射參數iV與深度參數，進而獲得最佳的鏡射材質的物體合 成影像。值得注意的是，本發明不僅可以BFGS來計算最佳解，其它如共軛梯度(conjugate gradient)等方法皆可應用於此問題。
另外，若是合成物體的部分為半透明材質，則可選擇半透明材質模型來對影像進行最佳 化，即步驟S140 SI60，首先，利用半透明模型來建立合成影像7^步驟S140):
r =
本實施例的半透明模型可以為雙向次表面散射反射分布函數(Bidirectional surface scattering distribution fUnction, BSSRDF)模型(關於BSSRDF模型請參照H. Jensen, S. Marschner, M. Levoy, and R Hanrahan, "A Practical Model for Subsurface Light Transport", Proceedings of SIGGRAPH， pages 511-518, 2001),其中雙向次表面散射反射分布函數模型的方 程式如下
d5,.,x。，^) = 《—x。 ||2)F(0。，<5。)
&K A jc。 <y。
其中&為像素的亮度，K為Fresneltransmittance; x,為光線進入物體的入射位置；x。為光 線的離開物體的折射位置；^為入射角度；^為折射角度；A為物體的散射量變曲線函式。
在本實施例中我們參考H.W. Jensen, S.R. Marschner, M Levoy and P. Hanrahan在"APractical Model for Subsurface Light Transport", Proceedings of ACM SIGGRAPH'01這篇論文所提出的 diffiision dipole (Rd)的概念來近似/^這個函式以減少計算時間。
4斌3 4賦
其中^ = i3 CT'為有效傳遞係數(effective transport coe伍cient)，巧=CT。 + °"為減損系 數(reduced extinction coefficient), °"。和 分另ij為吸收係數(absorption coefficient)禾口分散係數 (scattering coe迅cient); r —1 x。 — ^ 11;《=^+《和《=V一+《為給予物體表面磁力的點受到兩個磁極的影響力；；=1/<7;為真實光源(正極)到物體表面的正相關係數；Zv=Zr+4^°
為虛擬光源(負極)到物體表面的負相關係數，° = ^為散射常數，並且定義力=(1 + ^V(1
其中FA為散射部分的Fresnel光反射值(diffuse Fresnel reflectance),我們用下列式子去近似
formula see original document page 12
其中"為物體材質的折射比率(indexofrefraction)。最後，在BSSRDF模型中，我們可以
歸納出合成半透明材質物體的像素深度&所需要的反射參數iV為ff。(吸收係數)、《(分散 係數)及C(材質的折射比率)。因此藉由上述反應參數iV，可以更清楚的了解藉由半透明模型， 例如為雙向次表面散射反射分布函數模型，可以使得合成影像的半透明部分更逼近於實體影 像。
接下來的最佳化過程步驟S142 S149，則相似於合成鏡射材質模型的步驟132~139,其 主要的差異在於所使用的模型不同以及其調整的反射參數不同，至於最佳化的過程與算法原 理則與步驟132 139相似，在此不加贅述，在經由最佳化過程後，便可以得到最佳半透明材 質的合成影像(步驟S160)。
此外，值得注意的是，Phong模型(步驟S132 S139)與BSSRDF模型(步驟S132 S139)的 最佳化步驟可重複進行，利用更小的默認值或更嚴格的標準來最佳化影像，使其影像更接近 實際影像。值得注意的是，不論是採用Phong模型或BSSRDF模型來建立合成影像，均會比 對合成影像與實際影像的差，若兩者相差大於默認值則會重新進行最佳化的過程以建立較為 逼真的合成影像。此外，對於具有多種材質(包括鏡射材質與半透明材質)的物體，則可依序 使用兩種模型來進行最佳化，先採用Phong模型進行最佳化，然後再使用BSSRDF模型進行 最佳化，反之亦可，本實施例並不限制其最佳化順序。進一步的說明請參照第二實施例。
第二實施例
圖2為本發明另一實施例的物體的三維表面模型重建的方法流程圖。由於實際物體通常 同時具有鏡射部分與半透明部分，因此相較於第一實施例，第二實施例為同時考慮物體的鏡 射材質部分與半透明材質部分，依序對於要合成影像的物體作最佳化的調整。值得注意的是， 由於在不同模型中，用來描述物體的反射參數可能代表不同的參數，因此為區分在不同模型 中欲調整的反射參數。在以下的說明中，本實施例將Phong模型中欲調整的反射參數(如散射係數fa、鏡射係數&與亮度")稱為第一反射參數，將BSSRDF模型中欲調整的反射參數
(如吸收係數)CT。、分散係數 及材質的折射比率77)以第二反射參數稱之。
首先，如步驟S210所述，使用三維結構光系統取得物體的初始三維立體位置，在步驟 S220中，透過光影重建表面的技術與朗伯反射模型來取得合成的三維立體位置與反射參數的 初始值，接下來如歩驟S230所述，依據三維立體位置與Phong模型來合成物體鏡射材質部分， 以建立合成影像。藉由合成影像與實際影像，可以定義最佳化參數為
C(Z)=— i ')2 + z,)2]
此最佳化參數相同於第一實施例，其細節部分在此不加累述。接著，在步驟240中，調 整Phong模型的第一反射參數與最佳化參數QZ人上述第一反射參數則例如為散射係數fo、 鏡射係數&與亮度a。接下來，在步驟S250中，判斷最佳化參數QZj是否小於第一默認值， 若否，則重複步驟S240，繼續調整第一反射參數；若是，則確定所述第一反射參數為最佳的， 接著進入步驟S260，根據最佳化後的Phong模型中的第一反射參數調整三維立體位置的深度 參數與最佳化參數QZ入然後，在步驟S270中，判斷最佳化參數是否小於第二默認值，若 否，則回到步驟S260，繼續調整深度參數若是，則確定所述深度參數為最佳的，並根據上 述調整過程中所獲得最佳的反射參數與最佳深度參數來獲得鏡射材質物體的合成影像(步驟 S280)。
在調整物體的鏡射部分後(即步驟S21(^S280)，接著要調整物體的半透明部分。在步驟 S231中，根據調整後具有鏡射特性的三維立體位置與雙向次表面散設分布函數模型調整合成 影像。然後，在步驟S241中，調整BSSRDF模型中的反射參數，以調整合成影像與最佳化
參數，BSSRDF模型中的反射參數則例如為 (吸收係數)、 < (分散係數)及77 (材質的折射 比率)。
接下來，在步驟S251中，判斷最佳化參數QZ卩是否小於第三默認值，若否，則重複步 驟S250，繼續調整BSSRDF模型中的反射參數；若是，則確定所述第二反射參數為最佳的， 接著進入步驟S261，根據最佳的第二反射參數調整三維立體位置深度參數與最佳化參數 QZ入然後，在步驟S271中，判斷最佳化參數是否小於第四默認值，若否，則重複步驟S261， 繼續調整深度參數；若是，則進入步驟S281中，則確定所述深度參數為最佳的，進一步判斷 合成影像與實際影像之差是否小於第五默認值。若是，則進入步驟S282，根據上述調整過程 中所獲得最佳的第二反射參數與最佳深度參數，來獲得具有鏡射材質特性與半透明材質特性 的物體合成影像。上述第一、第二、第三與第四默認值主要是對應於使用者對於合成影像擬真度的需求， 其設定值可照使用者所需要的規格而定，本實施例並不受限。
綜上所述，本發明將結構光定位系統所取得的物體幾何信息與光影重建法的技術所得到 的精細幾何信息加以結合，並利用鏡射模型與半透明模型來解決習知無法精確重建的具部分 鏡射與半透明物體三維表面模型。除了重建物體的三維模型，本發明也可以獲得物體最佳化 的反射參數特性，對於實體對象數位化與計算機視覺的科技發展有相當大的幫助。同時，利 用本發明的最佳化參數可以縮短影像最佳化的時間並取得高擬真度的物體模型與影像。
以上是本發明的較佳實施例，凡依本發明技術方案所作的改變，所產生的功能作用未超 出本發明技術方案的範圍時，均屬於本發明的保護範圍。
權利要求
1、一種重建三維表面模型的方法，其特徵在於包括以下步驟(1)以一三維結構光系統取得一物體的一三維立體位置與對應於所述物體的複數個反射參數；(2)根據所述三維立體位置與所述複數個反射參數建立一合成影像；(3)調整所述複數個反射參數以調整所述合成影像，直到一最佳化參數小於一第一默認值；其中，所述最佳化參數對應於調整後的所述合成影像中的複數個第一像素的亮度與一實際影像中的複數個第二像素的亮度的差值。
2、 根據權利要求1所述的重建三維表面模型的方法，其特徵在於所述最佳化參數包括一第一項與一第二項，所述第一項對應所述合成影像中的複數個第一像素的亮度與所述實際影像中的複數個第二像素的亮度的差值的平方，所述第二項對應於所述合成影像中的每一第一像素的深度與相對應的複數個周圍像素的深度的差值，所述最佳化參數的方程式表示如下formula see original document page 2其中，QZ)表示所述最佳化參數；^表示所述合成影像中的第一像素的亮度；及'表示所述實際影像中的第二像素的亮度；^表示所述合成影像中的第一像素的深度；r,表示對應於Zi的周圍像素的深度;/7表示所述合成影像中的像素總數;m表示所述複數個周圍像素的總數；z'表示於所述合成影像中的像素的索引值；y表示所述複數個周圍像素的索引值；w表示一權值。
3、 根據權利要求1所述的重建三維表面模型的方法，其特徵在於在步驟(1)中，還包括利用一朗伯反射模型與一光影重建表面技術取得所述物體的三維立體位置與複數個反射參數的初始值；所述反射參數包括一散射係數與一法向量兩者至少其中之一。
4、 根據權利要求1所述的重建三維表面模型的方法，其特徵在於在步驟(2)中，還包括利用一鏡射材質模型與所述複數個反射參數建立所述合成影像；所述反射參數包括一散射係數、 一鏡射係數以及一光澤係數，所述鏡射材質模型為一 Phong模型，所述Phong模型的方程式表示如下formula see original document page 2其中，S,為像素的亮度；^為散射係數；^為鏡射係數；iV,.為該點表面法向量，可由鄰近&的斜率獲得；Z為入射光向量；^為完全鏡反射向量，可由M、 ￡獲得；r為視角向量；"為光澤係數。
5、 根據權利要求1所述的重建三維表面模型的方法，其特徵在於在步驟(2)中，還包括利用一半透明材質模型與所述複數個反射參數建立所述合成影像；所述反射參數包 括一分散係數、 一吸收係數以及一折射率，所述半透明材質模型為一雙向次表面散射反射分 布函數(Bidirectional surface scattering distribution ftinction, BSSRDF)模型，所述雙向次表面散 射反射分布函數模型的方程式如下-&",A，i。，6。) = l^(X，A)A(lk -工。ll2)^0。,6。)其中，&為像素的亮度；F,為Fresnd轉換函數；^為光線進入物體的入射位置；；c。為光 線離開物體的折射位置；4為入射角度；A為折射角度；屍rf為物體的散射量變曲線函式。
6、 根據權利要求1所述的重建三維表面模型的方法，其特徵在於在步驟(3)中，還 包括根據調整後的所述合成影像重新計算所述最佳化參數以重新調整所述複數個反射參數。
7、 根據權利要求1所述的重建三維表面模型的方法，其特徵在於還包括 根據調整後的所述複數個反射參數調整所述三維立體位置中的一深度參數，直到所述最佳化參數小於一第二默認值；以及重複調整所述複數個反射參數與所述三維立體位置直到所述合成影像與所述實際影像之 差小於一第三默認值。
8、 一種重建三維表面模型的方法，其特徵在於包括以下步驟(1) 以一三維結構光系統取得一物體的一三維立體位置；(2) 根據所述三維立體位置與一 Phong模型建立一合成影像；(3) 調整所述Phong模型中的複數個第一反射參數以調整所述合成影像，直到一最佳化 參數小於一第一默認值；(4) 根據調整後的所述複數個第一反射參數調整所述三維立體位置中的一深度參數，直 到所述最佳化參數小於一第二默認值；(5) 根據調整後的所述三維立體位置與一雙向次表面散射反射分布函數模型調整所述合 成影像；(6) 調整所述雙向次表面散射反射分布函數模型中的複數個第二反射參數以調整所述合 成影像，直到所述最佳化參數小於一第三默認值；(7) 根據調整後的所述複數個第二反射參數調整所述三維立體位置中的所述深度參數， 直到所述最佳化參數小於一第四默認值；其中，所述最佳化參數包括一第一項與一第二項，所述第一項對應所述合成影像中的復 數個第一像素的亮度與一實際影像中的複數個第二像素的亮度的差值的平方，所述第二項對 應於所述合成影像中的所述複數個第一像素的深度與相對應的複數個周圍像素的深度的差值。
9、 根據權利要求8所述的重建三維表面模型的方法，其特徵在於在步驟(1)中，還包括利用一朗伯反射模型與一光影重建表面技術取得所述物體的三 維立體位置、 一散射係數以及一法向量；所述複數個第一反射參數包括一散射係數、 一鏡射係數以及一光澤係數； 所述複數個第二反射參數包括一分散係數、 一吸收係數以及一折射率； 所述最佳化參數的方程式表示如下/=1 戶l其中，Q^表示所述最佳化參數；^表示所述合成影像中的第一像素的亮度；W表示所 述實際影像中的第二像素的亮度；Zi表示所述合成影像中的第一像素的深度；。表示對應於 4的周圍像素的深度;W表示所述合成影像中的像素總數;m表示所述複數個周圍像素的總數；/表示於所述合成影像中的像素的索引值；y表示所述複數個周圍像素的索引值；vv表示一權值；所述Phong模型的方程式表示如下-其中，&為像素的亮度；^/為散射係數；fe為鏡射係數；m為該點表面法向量，可由鄰 近Z,的斜率獲得；丄為入射光向量；F,為完全鏡反射向量，可由iV,、 Z獲得；F為視角向量； a為光澤係數；所述雙向次表面散射反射分布函數模型的方程式如下&(^,^,1。，<5。) = 1《0,,^)6(|| a — x。 ||2)^0。,6。) 其中，&為像素的亮度；F,為Fresnel轉換函數；c,為光線進入物體的入射位置；x。為光 線離開'物體的折射位置；5,為入射角度；^為折射角度；Prf為物體的散射量變曲線函式。
10、 根據權利要求8所述的重建三維表面模型的方法，其特徵在於還包括 重複調整所述第一反射參數、第二反射參數、深度參數以及三維立體位置，直到所述合成影像與所述實際影像之差小於一第五默認值。
全文摘要
本發明涉及一種重建三維表面模型的方法，特別是一種關於半透明物體與鏡射物體的三維表面模型的重建方法，其步驟包括以三維結構光系統取得物體的三維立體位置與對應於所述物體的複數個反射參數；接著根據所述三維立體位置與所述複數個反射參數建立合成影像；以及調整所述複數個反射參數以調整所述合成影像，直到最佳化參數小於一默認值。本發明提出一種表面最佳化的算法，當對真實的物體做重建動作且最佳化表面的同時亦可以取得其反射特性。
文檔編號G06T15/50GK101533521SQ200910111348
公開日2009年9月16日 申請日期2009年3月26日 優先權日2009年3月26日
發明者張文星, 林奕成, 林家如, 邱顯鈞 申請人:華映光電股份有限公司;中華映管股份有限公司