基於圖像的編輯方法及裝置的製作方法

2023-10-09 08:01:24

專利名稱：基於圖像的編輯方法及裝置的製作方法
技術領域：
本發明涉及一種用於編輯三維(3D)模型的方法及裝置，更特別地，涉及用於編輯3D模型的方法及裝置，該方法及裝置可以更快地編輯3D模型。
背景技術：
由於對3D圖形的第一研究，3D圖形的一個最根本的目標通常總是更精確和更快速地著色3D模型。近來，多媒體應用需要用戶設備，例如行動裝置，以在網絡環境中能夠更快和更精確地著色3D模型。然而使用多邊網格的常規基於網格的著色技術已經無法更好地滿足這種需要。例如在使用常規基於網格的著色技術在終端設備的小屏幕上著色複雜的3D模型的情況下，頂點之間的連結上的一些信息可能會產生冗餘。為了能夠進行交互的3D模型著色，必須將複雜的網格簡化。然而為了簡化這種複雜的網格，複雜的算法是必須的。另外，複雜的算法也需要壓縮網格並將壓縮的網格逐漸地發送。
常規基於圖像的著色技術通過使用具有深度信息的圖像(即深度圖像)能夠以高解析度著色基於圖像或基於點的3D模型，該技術可以與常規基於網格的著色技術替換。該基於圖像的著色技術也可以適當地處理或編輯圖像數據，並可以對3D模型實時地進行著色。
然而常規基於圖像的著色技術對3D模型的著色沒有考慮到這樣的事實，即3D模型的參考圖像可以包括簡單紋理模型的冗餘數據，該數據從不同的視點對3D模型的相同部分著色，從而就相當大地降低了著色的速度和質量。
另外，常規基於圖像的著色技術不能夠對3D模型的各個表面特徵進行滿意的著色，例如隨著視點不同而變化的光澤(glitter)或陰影。因此，通過常規基於圖像的著色技術著色的3D模型是不逼真的。
此外，常規基於網格的著色技術需要複雜的算法，這是因為為了修改基於圖像的3D模型，除了修改基於圖像的3D模型的每一個參考圖像之外，沒有其它的選擇，在這種情況下，需要編輯的圖像數據量是很可觀的。

發明內容
本發明提供一種用於刪除簡單紋理模型的冗餘數據的方法和裝置，該數據從不同的視點對3D模型的相同部分著色，該方法和裝置可以提高著色速度和質量。
本發明也提供一種著色方法和裝置，其可以成功地對3D模型的表面特徵進行著色，例如隨著視點不同而變化的光澤和陰影。
本發明也提供一種基於圖像的編輯方法和裝置，其用於對使用基於圖像的著色方法著色後的3D模型進行編輯。
根據本發明的一方面，提供一種刪除簡單紋理模型的冗餘數據的方法。該方法包括(a)通過使用多個簡單紋理圖像之中的深度圖像來計算投影到三維(3D)空間中的像素的法向矢量，該多個簡單紋理圖像對3D模型的不同方面進行著色；(b)通過使用在步驟(a)中得到的法向矢量來計算每一簡單紋理圖像的像素的可靠性；和(c)比較來源於不同簡單紋理圖像的但對3D模型的相同部分進行著色的像素的可靠性，並刪除分別來源於不同的簡單紋理圖像中的具有低可靠性的像素。
在步驟(a)中，可以通過根據每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上，並計算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，就可以計算每一簡單紋理圖像像素的法向矢量。
步驟(a)可以包括根據每一深度圖像的像素值將每一簡單紋理圖像的像素投影到3D空間上，並檢測與投影到3D空間上的每一像素相鄰的像素；使用投影到3D空間上的像素和它們各自的兩個相鄰的像素形成三角平面，並計算該三角平面的法向矢量；和將該三角平面的法向矢量進行平均。
在步驟(b)中，可以使用每一簡單紋理圖像的像素的法向矢量和與用於產生該簡單紋理圖像的相機的視角平面相垂直的向量，來計算每一簡單紋理圖像的像素的可靠性。
在步驟(b)中，可以根據每一簡單紋理圖像的像素的法向矢量的內投影和與用於產生該簡單紋理圖像的相機的視角平面相垂直的向量，來確定每一簡單紋理圖像的像素的可靠性。
步驟(b)可以包括計算3D空間中每一簡單紋理的像素彼此之間的相鄰性(proximity)，並確定位於預定臨界距離或彼此之間更近的像素，來用作著色3D模型的相同部分。
在步驟(c)中，對3D模型的相同部分進行著色的、但來源於不同的簡單紋理圖像的所有像素，除了具有最高可靠性的像素之外，都可以從分別產生所有這些像素的不同簡單紋理圖像中刪除。
在步驟(c)中，具有低可靠性的每個深度圖像的像素可以被設為背景圖像的像素。
根據本發明的另一方面，提供了一種用於刪除簡單紋理模型的冗餘數據的裝置。該裝置包括法向矢量計算單元，用於通過使用對3D模型的不同方面進行著色的多個簡單紋理圖像之中的深度圖像，來計算投影到三維(3D)空間上的像素的法向矢量；可靠性計算單元，用於通過使用由法向矢量計算單元所得到的法向矢量來計算每一簡單紋理圖像的像素的可靠性；和冗餘數據刪除單元，用於比較來自不同的簡單紋理圖像的、但對3D模型的相同部分進行著色的像素的可靠性，並從分別產生這些像素的不同簡單紋理圖像中刪除具有低可靠性的像素。
根據本發明的另一方面，提供了一種著色方法。該著色方法包括(a)接收對3D模型的不同方面進行著色的簡單紋理圖像和3D模型的屬性信息，並通過使用該簡單紋理圖像和該屬性信息來產生擴展深度圖像，其中該擴展深度圖像是用於表示隨著視點不同而變化的3D模型的色彩和深度以及3D模型的屬性的二維(2D)圖像；(b)根據3D模型的屬性信息來為擴展深度圖像的每一像素設置預定的反射模型係數；(c)計算包括在擴展深度圖像中的每一深度圖像的像素的法向矢量；和(d)通過使用預定的反射模型係數和法向矢量來確定3D模型的色彩，其中該3D模型的色彩根據3D模型的屬性而變化，以及通過使用所確定的色彩來對該3D模型進行著色。
屬性信息可以包括鏡面分量，用於指示3D模型反射光線和隨著視點不同而變化的程度，和發光分量，用於指示3D模型發光和隨著3D模型表面的紋理而變化的程度。
預定的反射模型可以是Phong反射模型。
在步驟(c)中，可以通過根據每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上，並計算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，就可以計算每一簡單紋理圖像的像素的法向矢量。
步驟(c)可以包括根據每一深度圖像的像素值將每一簡單紋理圖像的像素投影到3D空間上，並檢測與投影到3D空間上的每一像素相鄰的像素；使用投影到3D空間上的像素和它們各自的兩個相鄰的像素來形成三角平面，並計算該三角平面的法向矢量；和將該三角平面的法向矢量進行平均。
根據本發明的另一方面，提供了一種著色裝置。該著色裝置包括擴展深度圖像形成單元，用於接收對3D模型的不同方面進行著色的簡單紋理圖像和3D模型的屬性信息，並使用該簡單紋理圖像和該屬性信息來產生擴展深度圖像，該擴展深度圖像是表示隨著視點不同而變化的3D模型的色彩和深度以及3D模型的屬性的二維(2D)圖像，；反射模型係數設置單元，用於根據3D模型的屬性信息為擴展深度圖像的每一像素設置預定的反射模型係數；法向矢量確定單元，用於計算包括在擴展深度圖像中的每一深度圖像的像素的法向矢量；和著色單元，用於通過使用預定的反射模型係數和法向矢量來確定3D模型的色彩，其中該3D模型的色彩根據3D模型的屬性而變化，和使用所確定的色彩對該3D模型進行著色。
根據本發明的另一方面，提供了一種基於圖像的編輯方法。該基於圖像的編輯方法可以包括(a)捕獲使用多個簡單紋理圖像的、包括色彩圖像和深度圖像對3D模型進行著色的圖像，每一個該簡單紋理圖像對3D模型的不同方面進行著色；(b)編輯所捕獲的圖像的像素，並存儲該編輯的圖像；和(c)使用該編輯的圖像來更新參考圖像(多個簡單紋理圖像的色彩和深度圖像)。
步驟(c)可以包括(c1)選擇要使用編輯圖像進行編輯的一個參考圖像和其中一部分；(c2)選擇與該編輯圖像的編輯像素相對應的所選參考圖像的像素，和根據該編輯圖像對所選參考圖像的所選像素進行編輯；和(c3)存儲該編輯的參考圖像。
在步驟(c)中，可以根據該編輯參考圖像對每一參考圖像的所有像素進行編輯，其中該像素對與該編輯參考圖像的編輯像素相同的部分進行著色。
步驟(b)可以包括(b1)選擇所捕獲圖像中著色的3D模型的一部分，並計算該所選擇部分的法向矢量；(b2)設置光源，該光源具有由用戶在步驟(b1)中所計算的法向矢量的方向上的無窮遠點處設置的屬性；(b3)計算該捕獲圖像的像素的法向矢量；(b4)根據光源的屬性和在步驟(b3)中所計算的法向矢量來計算3D模型的色彩；和(b5)使用所計算的色彩來創建編輯的參考圖像。
在步驟(b4)中，可以使用Phong反射模型的係數來計算3D模型的色彩。
步驟(b)可以包括選擇要進行編輯的一個參考圖像和其中一部分；通過將與所選參考圖像的所選部分相對應的像素值設置為預定值，來從所選參考圖像中刪除該所選的部分；和將作為結果得到的參考圖像存儲為編輯參考圖像。
根據本發明的另一方面，提供了一種基於圖像的編輯裝置。該基於圖像的編輯裝置包括圖像捕獲單元，用於捕獲使用多個簡單紋理圖像對3D模型進行著色的圖像，該圖像包括對3D模型的不同方面進行著色的色彩和深度圖像；圖像編輯單元，用於編輯所捕獲的圖像的像素，並存儲該編輯的參考圖像；和向後投影單元，用於使用該編輯的參考圖像來更新參考圖像，其中該參考圖像為多個簡單紋理圖像的色彩和深度圖像。


通過參考附圖對本發明的示範性實施例進行詳細的描述，本發明的上述和其它特徵和優點將會變得更為明顯，其中圖1是說明簡單紋理模型的圖；圖2是說明門(gate)模型和在捕獲門的參考圖像的位置處的相機位置的圖；圖3是說明依靠相機位置的解析度變化的圖；圖4是根據本發明的一個優選實施例的用於刪除簡單紋理模型的冗餘數據的裝置的方框圖；圖5A和5B是根據本發明的一個優選實施例的、用於刪除簡單紋理模型的冗餘數據的方法的流程圖；圖6是說明在本發明中的像素的可靠性的圖；圖7(a)和7(b)說明還沒有應用根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法的色彩圖和深度圖；圖7(c)和7(d)說明已經應用了根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法的色彩圖和深度圖；圖8展示了圖7(b)和7(d)的放大視圖；圖9是根據本發明的優選實施例的、使用擴展深度圖像的著色裝置的方框圖；圖10是根據本發明的優選實施例的、使用擴展深度圖像的著色方法的流程圖；圖11是說明使用擴展深度圖像進行著色的3D模型的圖；圖12是說明根據本發明的優選實施例的向後傳播(back-propagation)處理的原理的圖；圖13是根據本發明的優選實施例的基於圖像的編輯裝置的方框圖；圖14A和14B是根據本發明的優選實施例的基於圖像的編輯方法的流程圖；圖15A是根據本發明的優選實施例的光線描繪(light paint)編輯方法的流程圖；圖15B是根據本發明的優選實施例的刪除編輯方法的流程圖；圖15C是根據本發明的優選實施例的拷貝編輯方法的流程圖；圖16(a)、16(b)和16(c)說明了通過使用根據本發明的優選實施例的描繪編輯方法進行著色的3D模型；圖17(a)、17(b)和17(c)說明了通過使用根據本發明的優選實施例的光線描繪編輯方法進行著色的3D模型；和圖18(a)、18(b)和18(c)說明了分別使用根據本發明的優選實施例的選擇編輯方法、根據本發明的優選實施例的刪除編輯方法、和根據本發明的優選實施例的拷貝編輯方法進行著色的3D模型。
具體實施例方式
在本發明中，使用簡單紋理模型對三維(3D)模型進行著色。簡單紋理模型包括對3D模型的不同方面進行著色的參考圖像。每一參考圖像包含幾何信息(即深度信息)，關於相機的信息(諸如相機的位置、方向和視野(field-of-view)、以及近剪切板和遠剪切板上的信息。圖1所示為簡單紋理模型的一個範例。更具體地說，在圖1的上半部所示為簡單紋理模型的色彩圖像，在圖1的下半部所示為簡單紋理模型的深度圖像，在圖1的最右邊所示為使用簡單紋理模型著色的3D模型。在使用正投影(orthographic)相機的情況下，存儲正投影相機的視野寬度和高度。每一深度圖像的像素用灰度級表示，該像素投影到3D模型表面的不同部分。根據預定相機與它們所分別投影到3D模型表面的部分之間的距離來確定每一深度圖像的像素值。參照圖1，3D模型靠近預定相機的部分在每一深度圖像中比3D模型遠離預定相機的部分被著色得更亮。
可以使用例如小波(wavelet)壓縮方法的方法來存儲參考圖像，從而壓縮的參考圖像可以通過網絡被逐漸地發送。最好，色彩圖像和深度圖像具有相同的大小。可以使用每像素8比特或16比特，將每一深度圖像有選擇性編碼成色彩圖像的α信道。然而，8比特並不足夠以高解析度精確地著色3D模型。
每一深度圖像著色3D模型的一個方面，並且它們一起著色3D模型的每個方面。圖2所示為門模型和在捕獲門的圖像的位置處的相機位置。參照圖2，對每一參考圖像的大小和每一相機的位置和方向沒有作任何限制。為需要更精細著色的3D模型的表面部分準備高解析度圖。如圖3所示，捕獲恐龍頭圖像的相機比捕獲恐龍背圖像的相機產生更加精製的簡單紋理模型。
根據本發明，3D模型著色的靜態版本可以通過著色3D距離數據或離線合成對象而得到，並且如果需要，對離線著色的結果進行優化。
本發明採用了一種使用色彩流和深度流的基於動畫圖像的著色技術。動畫對象圖像是色彩流和深度流的集合。這裡，使用它們各自的深度流合成色彩流。基於動畫圖像的著色技術對於諸如3D電影的應用可能會非常有用。基於動畫圖像的著色技術對動畫的類型沒有任何限制。另外，基於動畫圖像的著色技術是一個複雜性獨立的著色技術，該著色技術通過使用MPEG-4視頻壓縮方法壓縮圖像數據，可以將大的圖像數據變小。在這一點上，基於動畫圖像的著色技術比常規的關鍵幀動畫技術效率更高，特別是當應用到複雜模型時。
現在參照附圖，更加全面地描述根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法和裝置。
簡單紋理模型包括參考圖像，該參考圖像包括色彩信息和深度信息。每一參考圖像也包括在3D模型的部分與預定視點之間的距離信息。簡單紋理模型中不同的參考圖像可以著色3D模型的相同部分，在這種情況下，簡單紋理模型具有冗餘數據。來源於不同深度圖像的但是對3D模型的相同部分著色的採樣幾乎投影到3D空間中相同的點上。如此的冗餘採樣會引起下列問題。
第一，冗餘採樣不合乎理想地增加了簡單紋理模型的大小，並且由此對著色速度產生負面影響。
第二，可以將3D模型的表面部分著色成具有不同數目像素的不同輸出圖像，即3D模型的表面部分可以以不同的採樣速率被捕獲成不同的深度圖。在這種情況下，在每一輸出圖像中，低採樣速率的採樣比高採樣速率的採樣被著色更大。因此，可以用不可靠的像素，即低採樣速率的採樣來代替可靠的像素，即高採樣速率的採樣，這樣會導致著色質量的降低。
第三，原理上，對3D模型的相同表面部分進行著色的採樣最好具有相同的色彩、或至少相似的色彩，儘管它們來源於不同的深度圖。然而由於簡單紋理模型中的冗餘數據，這些採樣可以有不同的顏色，這就會導致著色噪聲。
本發明可以通過使著色3D模型的相同的表面部分、但是在不同的深度圖中被恢復的採樣的數目最小化來解決上述問題。在本發明中，如果著色3D模型的相同的表面部分的採樣多於一個，就認為它們是冗餘。
圖4為根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的裝置的方框圖。參照圖4，該裝置包括法向矢量計算單元410、可靠性計算單元420、鄰近計算單元430和冗餘數據刪除單元440。
圖5A為根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法的流程圖。參照圖4和5A，在步驟S510中，將著色預定3D模型並包括色彩圖(色彩圖像)和深度圖(深度圖像)的多個簡單紋理圖像輸入到法向矢量計算單元410中。恢復每一深度圖的像素投影在3D空間中的像素的位置，並計算每一深度圖的像素的附加屬性，諸如在每一深度圖上的像素的位置(x，y)、每一深度圖的像素的採樣大小和法向矢量和可靠性。法向矢量計算單元410在步驟S520中計算每一深度圖的像素的法向矢量，後面將參照圖5B更詳細地描述該過程。
在步驟S530中，可靠性計算單元420使用每一深度圖的像素的法向矢量來計算每一深度圖的像素的可靠性。深度圖的預定區域中的像素的可靠性確定了該深度圖的該預定區域中的採樣質量。可靠性計算單元420使用下面的等式(1)計算每一深度圖的像素的可靠性。
r＝|(Np，Ns)| …(1)
在等式1中，Np表示垂直於相機視野平面的法向矢量，Ns表示預定採樣s的法向矢量，其垂直於由該預定採樣s著色的3D模型的表面的預定部分的表面，(Np·Ns)是法向矢量NP和NS的內積，以及|Np·Ns|是(Np·Ns)的絕對值。
在步驟S540中，鄰近計算單元430計算每一深度圖的像素彼此之間的三維鄰近性(proximity)，以便查找對3D模型的相同部分進行著色的一組像素。更具體地說，鄰近計算單元430將每一深度圖的每一像素映射到3D坐標系，並確定在該3D坐標系中彼此之間位於預定距離之內的像素，來作為著色3D模型的相同部分的像素。
在步驟S550中，冗餘數據刪除單元440接收被確定作為著色3D模型的相同部分的像素，從這些接收的像素之中丟棄一些低可靠性的像素，並輸出一組已經從中刪除冗餘數據的簡單紋理圖像。更具體地說，冗餘數據刪除單元440比較像素的可靠性，該像素被確定作為著色3D模型的相同部分的但來源於不同的深度圖，冗餘數據刪除單元440選擇具有最高可靠性的像素，並丟棄其餘的像素，從而將它們從它們各自的深度圖中刪除。這些被刪除的像素，即冗餘像素在它們各自的深度圖上被設置為0值。
參照圖6，預定採樣s當投影到第二平面P2時比當投影到第一平面P1時具有更高的可靠性，這是因為由(Np1，Ns)形成的角度比由(Np2，Ns)形成的角度要大。這裡Ns表示預定採樣s的法向矢量。因此，投影到第二平面P2上的採樣可以比投影到第一平面P1上的採樣更令人滿意地對3D模型的幾何信息進行著色。於是，投影到第一平面P1上的採樣被從它們各自的深度圖中刪除，這是因為它們的可靠性比投影到第二平面P2上的採樣要低。
圖5B是說明法向矢量計算單元410的操作的詳細流程圖。參照圖5B，在步驟S522中，法向矢量計算單元410通過參照每一深度圖的像素的值來將每一深度圖的像素投影到3D空間上，並且檢測與投影到3D空間上的每一像素相鄰的兩個像素。在步驟S524中，法向矢量計算單元410通過使用投影到3D空間上的像素以及它們各自相鄰的兩個像素來形成多個三角平面。在步驟S526中，法向矢量計算單元410計算與三角平面垂直的法向矢量。在步驟S528中，法向矢量計算單元410通過將在步驟S526中得到的法向矢量進行平均，來計算每一深度圖的每一像素的法向矢量。
根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的裝置考慮到採用的大小可以不同的這樣的一個事實，並且因此一個大的採樣完全可以阻塞(block)多個小的採樣。在本發明中，在兩個具有不同大小的採樣相互阻塞(block)時，兩個中間的較大的那個被刪除。
在本發明中，法向矢量用於計算採樣的可靠性。然而，由於這種法向矢量圖會不必要地增加用於將3D模型傳送到用戶終端的頻道帶寬，它就不被包括在要發送給用戶終端的3D模型中。在本發明中，法向矢量只是用於預先處理過程，並使用3D信息來從深度圖中恢復該法向矢量。
在冗餘採樣被從它們各自的深度圖中刪除之後，需要進行特殊的處理以改善深度圖的精度。如上所述，其中已經刪除了冗餘採樣的深度圖會產生著色噪音。換言之，即使從不同深度圖的相同採樣中過濾出來的法向矢量也不太可能相互匹配。本發明通過下面的方式解決該問題。在本發明中，彼此之間的可靠性相差預定的臨界值或更少的採樣被認為是具有相同的可靠性。如果分別從不同的深度圖恢復出來的冗餘像素具有相同的可靠性，那麼可以任意選擇一些要刪除的像素。
通過按照上述方式從它們各自的深度圖中刪除冗餘採樣，得到包括從不同的深度圖中捕獲的像素的無冗餘3D模型是可能的。
圖7(a)和7(b)所示為機器人模型的色彩圖和深度圖，其還沒有應用根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法。並且圖7(c)和7(d)所示為機器人模型的色彩圖和深度圖，其已經應用了根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法。參照圖7(a)至7(d)，通過刪除相當多的冗餘數據，來顯著地降低機器人模型的尺寸。機器人模型尺寸的降低導致高著色速度。
圖8展示了圖7(b)和7(d)的放大視圖。參照圖8，在對應於圖7(d)的圖8的右邊上的機器人模型的表面上的字母比在對應於圖7(b)的圖8左邊上的要清楚。因此，通過使用根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法來增強著色質量是可能的。
如上所述，使用簡單紋理模型的常規的基於圖像的著色方法通過使用包括色彩圖和深度圖的簡單紋理模型來著色3D模型。因此，使用簡單紋理模型的常規基於圖像的著色方法能夠比使用3D網格模型的常規著色方法獲得更好的著色質量和更高的著色速度。然而，使用簡單紋理模型的常規的基於圖像的著色方法仍然不能對3D模型的表面紋理進行滿意的著色。
為了克服使用簡單紋理模型的常規的基於圖像的著色方法的局限，本發明提供一種使用擴展的簡單紋理模型的基於圖像的著色方法和裝置。通過向典型的簡單紋理模型增加關於3D模型紋理的數據來獲得擴展的簡單紋理模型。擴展的簡單紋理模型包括關於著色3D模型表面的每一像素的附加信息。
在下面的段落中，將更加全面地描述根據本發明的優選實施例的使用擴展的簡單紋理模型的基於圖像的著色方法和裝置。
在使用擴展的簡單紋理模型的基於圖像的著色方法中，使用多個深度圖來著色3D模型。每一深度圖包括一組信息，諸如關於簡單紋理模型的信息和關於用於產生該簡單紋理模型的相機的信息。在本發明中，每一深度圖被重定義為擴展的深度圖像(XDI)，其包括深度圖、色彩圖和3D模型的特徵1、2……。3D模型的這些特徵被存儲為2D圖像，諸如簡單紋理模型的色彩圖和深度圖。因此通過存儲表示3D模型的特徵的值對3D模型的屬性進行著色是可能的，其中這些屬性為例如對象的表面上的亮區和暗區以及發光區域。
根據用戶對對象的視點不同，可以不同地對對象的3D模型進行著色。油彩色(splat color)是在對對象的3D模型進行著色的處理過程中使用的基本元件之一，該油彩色(splat color)可以根據預定的用戶視點、從預定的視點著色的3D模型表面的紋理、去從預定的視點著色的3D模型表面的法向矢量、用戶的位置以及3D模型和光源的位置來確定。
在本發明中，對3D模型的著色是通過使用Phong反射模型來對光線從3D模型的表面反射的程度進行著色來實現的。Phong反射模型包括用於著色3D模型特徵的六個係數和一個光源，即從深度圖中恢復的像素的法向矢量、發射係數、陰影(ambient)係數、漫反射係數、鏡面係數和光澤係數。可以省略或用預定默認值代替六個係數中的某些，例如，環境係數和發射係數。色彩圖像被認為是漫反射圖。
在本發明中，使用OpenGL著色3D模型，OpenGL是2D/3D圖形的標準。在對3D模型著色的過程中，通過圖形管道(pipeline)發送像素的法向矢量、對象參數和光學參數。當前硬體加速器(例如Nvidia GeForce)可以通過硬體迅速地計算Phong反射模型。在本發明中，硬體著色處理可以利用OpenGL著色管道來實現。在硬體加速器由於某些原因而失效的情況下，可以用軟體著色處理來代替實現。
圖9所示的方框圖為根據本發明的優選實施例的使用擴展的深度圖像的著色裝置，和圖10所示的流程圖為根據本發明的優選實施例的使用擴展的深度圖像的著色方法。參照圖9和10，該著色裝置包括XDI形成單元910、反射模型係數設置單元920、法向矢量計算單元930和著色單元940。在步驟S1010中，XDI形成單元910接收簡單紋理模型和對象的3D模型的屬性信息。輸入到XDI形成單元910中的簡單紋理模型包括色彩圖和深度圖。輸入到XDI形成單元910中的對象的屬性信息包括3D模型的發射、陰影(ambient)、鏡面和光澤分量。鏡面分量根據用戶對3D模型的視點，對從3D模型表面反射的光線的程度的變化進行著色，以及光澤分量根據3D模型的表面紋理，對從3D模型表面反射的光線反射程度的變化進行著色。鏡面和光澤分量通過使用圖像編輯程序，例如Photoshop以2D圖的形式來產生，並且將2D圖像映射輸入到XDI形成單元910中。
在步驟S1020中，XDI形成單元910使用簡單紋理模型和3D模型的屬性信息來形成擴展深度圖像。如上所述，XDI包括深度圖像、色彩圖像和3D模型的特徵1、2、…。XDI形成單元910將XDI輸出到反射模型係數設置單元920和法向矢量計算單元930中。
反射模型係數設置單元920設置預定係數，其用於在下面的等式(2)中計算Phong反射模型。
color=E+IaKa+Si1kc+kl*d+kqd2(IaiKa+max{(l,n),0}IdiKd+(max{(r,v),0})pIsiKs)...(2)]]>在等式(2)中，Ks、Ka和Kd分別表示鏡面、陰影(ambient)和漫反射分量，p表示XDI的預定像素的光澤值，r表示從3D模型反射的光的方向，v表示3D模型被觀看的方向，l表示光源方向，n表示預定像素的法向向量，Si表示從光源所發出的光的強度，Kc、Kl和Kq表示從光源所發出的光的衰減係數，d表示在3D模型與光源之間的距離，以及Iai、Isi和Idi分別表示第i個光源的陰影、鏡面和漫反射色彩。
反射模型係數設置單元920根據預定的規則或算法為XDI的每一像素設置Ks、Ka、Kd、p、Iai、Isi和Idi。反射模型係數設置單元920將具有相同變量值的XDI的像素分組，使得它們可以被一起處理。
法向矢量計算單元930根據XDI的深度信息確定XDI的每一像素的法向矢量n，該過程已經在上面參照圖5B進行了描述。
在步驟S1050中，著色單元940通過根據反射模型係數Ks、Ka、Kd、p、Iai、Isi和Idi和XDI的每一像素的法向矢量n，使用上面的等式(2)計算XDI的每一像素的色彩值，來對3D模型進行著色。著色單元940通過調節油彩(splat)尺寸計算Phong反射模型，並將反射模型係數Ks、Ka、Kd、p、Iai、Isi和Idi和XDI，每一像素的法向矢量n、XDI的每一像素的3D位置輸入到3D圖形加速器，例如OpenGL，並使用計算得到的Phong反射模型來著色對象的3D模型。在這種硬體圖形加速器失效的情況下，著色單元940能夠通過軟體，而不是使用硬體來實現上面的著色處理。
圖11所示為使用單個XDI的4組件圖所著色的3D模型。參照圖11，可以成功地對隨著視點不同而變化的金屬對象的屬性，諸如反射光線和金屬對象表面上的閃光(glitter)進行著色。
現在更加全面地描述根據本發明的優選實施例的基於圖像的圖像編輯裝置和方法。用於修改有紋理的3D模型表面的常規圖像編輯技術比較複雜和不方便，特別是當並需要對有紋理的3D模型的表面上色，或需要對對象的有紋理的3D模型的表面應用置換映射技術(displacement mapping technique)的時候。為了克服常規圖像編輯技術的上述限制，本發明提供一種基於圖像的編輯裝置和方法。
在本發明中，用戶能夠通過編輯組成3D模型的參考圖像之一，三維地構成每一其它參考圖像的採樣，並將三維地構成的該每一其它參考圖像的採樣投影到該編輯的參考圖像上，來對3D模型進行編輯。如果投影到編輯參考圖像上的每一其它參考圖像的採樣距離它們的編輯參考圖像的各自像素的位置小於預定的臨界距離，那麼就編輯它們。通過這樣做，就得到3D模型的參考圖像之中的連貫性。在本發明中，最好不要產生諸如3D網格的附加數據結構。因此，在本發明中不需要執行複雜的計算來形成中間模型。換言之，對3D模型的一個參考圖像進行的修改被自動地應用到3D模型的其它參考圖像中。另外，在著色3D模型的時候，可能捕獲3D模型的圖像並編輯該捕獲的圖像，並可能根據對捕獲的圖像作出的修改來編輯3D模型的參考圖像。
這種類型的編輯方法被稱為向後傳播編輯方法，因為它包括編輯3D模型的參考圖像之一，然後通過將其它的參考圖像與第一個編輯的參考圖像進行比較來編輯該其它的參考圖像。圖12所示為向後傳播編輯方法的原理。參考圖12，水平圖是一個已編輯參考圖像，以及垂直圖A是將要根據已編輯的參考圖像進行編輯的參考圖像。垂直圖A的像素是三維構成的並被向後投影到水平圖上，使得它們分別與水平圖上的像素相對應。投影到水平圖上的垂直圖A的像素的、距離水平圖上它們各自的像素的距離小於預定的臨界距離的那些像素被編輯，該編輯是通過用水平圖上它們各自像素的色彩信息置換它們的色彩信息來進行的。
在本發明中，用戶通過適當地設置臨界值，可以調節將對3D模型的參考模型之一所做的修改向後傳播給其它參考圖像的程度。這對於具有低解析度的參考圖像非常重要，特別是因為分配給量化(quantization)的這種少量比特可以導致從對象表面的不同參考圖像中恢復的採樣具有不同的深度值，儘管它們對3D模型的相同部分進行著色。為了解決該問題，本發明提供一種選擇編輯方法，其中可以通過設置預定的臨界值來調節要被編輯的3D模型的數量。例如，如果預定的臨界值被設置為它的最大值，就確定投影到該編輯參考圖像上的3D模型的每一參考圖像的所有採樣都會被編輯。
圖13為根據本發明的優選實施例的基於圖像的編輯裝置的方框圖，以及圖14A和14B為根據本發明的優選實施例的基於圖像的編輯方法的流程圖。參考圖13，該基於圖像的編輯裝置包括捕獲單元1310、編輯單元1320、和向後投影單元1330。參照圖14A，在步驟S1410中，通過利用使用簡單紋理模型的常規著色方法來得到一組3D模型的參考圖像，並將其輸入到圖像捕獲單元1310中，以及該捕獲單元1310停止著色3D模型並捕獲要被編輯的3D模型的參考圖像中的一個。
在步驟S1420中，編輯單元1320使用下列編輯方法之中的一種方法來編輯該捕獲的參考圖像繪畫編輯方法、光線繪畫方法、刪除繪畫方法和拷貝編輯方法，此後將更詳細地對其進行描述。
向後投影單元1330將關於編輯參考圖像的信息，即對捕獲的參考圖像作出的修改向後投影到其它參考圖像上，使得可以與該編輯的參考圖像相一致地編輯其它的參考圖像。
圖14B是圖14A的步驟S1430的詳細流程圖。參照圖14B，在步驟S1432中，向後投影單元1330根據對所捕獲的參考圖像做出的修改來選擇要被編輯的參考圖像，並確定每一所選參考圖像的哪些部分需要被編輯。在步驟S1434中，向後投影單元1330選擇每一所選參考圖像的像素，該像素對應於所捕獲的參考圖像的已經編輯的部分，並通過將對所捕獲的參考圖像做出的修改向後投影到每一所選參考圖像的所選像素上，來編輯每一所選參考圖像。在步驟S1436中，向後投影單元1330中存儲向後投影的結果，並使用該向後投影結果來更新該簡單紋理模型。
現在將參照圖15A至15C更詳細地描述步驟S1420。本發明提供一種用於編輯非壓縮的簡單紋理模型的紋理的繪畫編輯方法。該繪畫編輯方法使用典型的圖像編輯程序，例如PaintBrush或Photoshop，並是基於上述向後投影編輯方法的原理的。
根據下面的算法來執行該繪畫編輯方法。在著色3D模型的過程中，用戶選擇3D模型的一個參考圖像來作為一個要繪畫編輯的圖像，並捕獲所選的參考圖像。使用圖像編輯程序，例如Photoshop來編輯所捕獲的參考圖像。將關於對所捕獲的參考圖像做出的修改的信息向後傳播到其它的參考圖像。如果投影到所捕獲的參考圖像上的每一其它參考圖像的採樣與它們的所捕獲的參考圖像的對應像素具有不同的色彩，那麼需要根據它們的所捕獲的參考圖像的對應像素的色彩來編輯它們的色彩。
圖16(a)至16(c)所示為使用根據本發明的優選實施例的繪畫編輯方法進行編輯的3D模型。如圖16(c)所示，所捕獲的參考圖像上寫有字母，該字母然後被向後傳播到另一參考圖像，如圖16(c)所示。在該向後傳播處理之後，仍然可以對對應的3D模型進行著色。如圖16(a)至16(c)所示，對通過使用根據本發明的優選實施例的繪畫編輯方法在一點處捕獲的3D模型的一個參考圖像作出的修改，該修改僅被向後傳播到此後進行著色的3D模型的參考圖像上。
圖15A為根據本發明的優選實施例的光線繪畫編輯方法的流程圖。例如，在進一步安裝一個附加光源的情況下，需要編輯3D模型的簡單紋理模型以反射照明強度的改變。最終，本發明提供一種光線繪畫編輯方法。使用上述的Phong反射模型來計算由於照明的改變所引起的3D模型的紋理中的改變，其中Phong反射模型需要用於著色3D模型的表面的採樣的法向矢量。然而，該簡單紋理模型並不包括法向矢量圖。於是，應該從簡單紋理模型的深度圖中獲得該法向矢量。
參照圖15，在步驟S1510中，用戶選擇3D模型的一個參考圖像來作為作為將要進行光線繪圖編輯的一個參考圖像並且捕獲在著色3D模型中間所選擇的參考模型，並設置與照明屬性相關的變量，例如要新加入的光源的位置、方向和顏色。在步驟S1511中，選擇3D模型的預定部分，並且從該所選部分中提取法向矢量。在步驟S1512中，光源被放置在所提取的法向矢量方向上的無限遠點處，使得在所捕獲的參考圖像中的3D模型被進一步照亮。
在步驟S1513中，使用上述方法參照圖5B來計算所捕獲的參考圖像的像素的法向矢量。在步驟S1514中，使用上述的Phong反射模型來計算3D模型的色彩，該3D模型進一步被新增加的光源照亮。在步驟S1515中，根據在步驟S1514中得到的3D模型的色彩來改變所捕獲的參考圖像的每一像素的色彩。
圖17(a)至17(c)所示為使用圖15A和15B的光線繪畫編輯方法進行編輯的3D模型。如圖17(a)和17(b)所示，通過使用根據本發明的優選實施例的光線繪畫編輯方法來編輯參考圖像，在該參考圖像中被著色的3D模型進一步被照亮。在光線繪畫編輯處理之後，3D模型仍然可以被著色。因此，通過使用根據本發明的優選實施例的光線繪畫編輯方法在一點處捕獲對3D模型的參考圖像作出的修改，該修改僅被向後傳播到此後進行著色的3D模型的參考圖像上。
在下面的段落中，將要簡要描述說明根據本發明的優選實施例的選擇編輯方法、刪除編輯方法和拷貝編輯方法。
一組簡單紋理模型的參考圖像包括關於對象的3D模型的信息。用戶可以使用根據本發明的優選實施例的選擇編輯方法來從模型中分離任何想要的部分。在選擇編輯方法中，位圖分別與參考圖像相關聯，以及預定參考圖像的像素分別對應於與該預定參考圖像相對應的位圖的比特位。因此，如果將對應於預定參考圖像的位圖的一個比特位設置為值1，則考慮選擇它對應的預定參考圖像的像素。用戶可以使用可變大小的刷子來選擇任意參考圖像的一組像素。一旦編輯了任意參考圖像，則對任意參考圖像所做的修改被向後傳播到其它參考圖像，從而可以與已編輯的任意參考圖像相一致地來編輯其它參考圖像。每一其它參考圖像的採樣被三維地構造，並被投影到該已編輯的任意參考圖像上。此後，在投影到該已編輯的任意參考圖像上的每一其它參考圖像的採樣之中選擇那些距離它們對應的該已編輯的任意參考圖像的像素小於預定距離的那些像素，並且分別對應於其它參考圖像的位圖的它們的對應比特位值設置為值1。
通過使用根據本發明的優選實施例的刪除編輯方法可以刪除3D模型的每一其它參考圖像的所選像素，其中3D模型的所選部分被刪除。使用根據本發明的優選實施例的拷貝編輯方法可以拷貝3D模型的所選部分。使用從不同參考圖像中選擇的部分可以創建新的完整圖像，其中通過使用預定的參考相機，使用根據本發明的優選實施例的選擇編輯方法至少選擇每一參考圖像的一部分。通過使用根據本發明的優選實施例的拷貝編輯方法，預定參考圖像的所選像素全部被拷貝到一個新拷貝的參考圖像上，並且將該預定參考圖像的剩餘像素的深度值設置為0，從而它們著色背景圖像。以上述方式新創建的參考圖像被分開存儲，從而它可以被保存為新的簡單紋理模型。
現在將參照圖15B和15C更全面地描述根據本發明的最優實施例的刪除編輯方法。
參照圖15B，在刪除3D模型的一部分的情況下，在步驟S1520中，選擇參考圖像，以及在步驟S1521中，選擇所選參考圖像要刪除的一部分。在步驟S1522中，所選參考圖像的所選部分被刪除，在前面已經描述了該過程。在步驟S1523中，將關於對所選參考圖像作出的改變的信息向後傳播到其它參考圖像上。
參照圖15C，在拷貝3D模型的一部分的情況下，在步驟S1530中，選擇參考圖像，以及在步驟S1531中，選擇所選參考圖像要被拷貝的部分。使用在步驟S1532中從所選參考圖像中拷貝的所選部分，來創建新的參考圖像，並在步驟S1533中將其存儲。圖18(a)至18(c)所示分別為使用根據本發明的優選實施例的選擇編輯方法、刪除編輯方法、和拷貝編輯方法進行編輯的3D模型。
本發明可以作為寫在計算機可讀記錄介質上的計算機可讀代碼來實現。該計算機可讀記錄介質包括所有類型的記錄設備，其中數據可以計算機可讀方式被存儲。例如，該計算機可讀記錄介質包括ROM、RAM、CD-ROM、磁帶、軟盤、光學數據存儲設備以及載波，諸如通過網際網路的數據傳輸。該計算機可讀記錄介質可以分布在網絡中彼此互聯的多個計算機系統上，從而使該計算機可讀代碼存儲在其中，並以分散方式從其中得到執行。
如上所述，根據本發明的優選實施例的用於刪除簡單紋理模型的冗餘數據的方法和裝置通過刪除簡單紋理模型的冗餘數據能夠增強著色速度和著色質量，其中該冗餘數據從不同的視點著色對象的3D模型的相同部分。
另外，通過使用擴展的深度圖(XDI)，可能成功地著色3D模型的表面特徵，例如3D模型的表面上的閃光和陰影變化。
而且，通過簡單編輯其中的2D參考圖像來編輯3D模型是可能的。
雖然已經參照其中的示範性實施例具體地展示和描述了本發明，但是本領域的普通技術人員將認識到，不脫離如所附的權利要求所定義的本發明的精神和範圍的情況下，可以對其中的形式和細節做出各種改變。
權利要求
1.一種基於圖像的編輯方法，包括(a)捕獲使用多個簡單紋理圖像對3D模型進行著色的圖像，該圖像包括色彩圖像和深度圖像，每一個所述簡單紋理圖像對3D模型的不同方面進行著色；(b)編輯所捕獲的圖像的像素，並存儲該編輯的圖像；和(c)使用該編輯的圖像來更新參考圖像(多個簡單紋理圖像的色彩和深度圖像)。
2.根據權利要求1所述的基於圖像的編輯方法，其中步驟(c)包括(c1)選擇要使用已編輯圖像進行編輯的一個參考圖像和其中一部分，；(c2)選擇與所述編輯圖像的編輯像素相對應的所選參考圖像的像素，和根據該已編輯圖像對所選參考圖像的所選像素進行編輯；和(c3)存儲該已編輯的參考圖像。
3.根據權利要求2所述的基於圖像的編輯方法，其中在步驟(c)中，根據該已編輯的參考圖像對每一參考圖像的所有像素進行編輯，其中該參考像素對與該已編輯參考圖像的編輯像素相同的部分進行著色。
4.根據權利要求1所述的基於圖像的編輯方法，其中步驟(b)包括(b1)選擇所捕獲的圖像中進行著色的3D模型的一部分，並計算該選擇部分的法向矢量；(b2)設置光源，其中該光源具有由用戶在步驟(b1)中所計算的法向矢量的方向上無窮遠點處所設置的屬性；(b3)計算所捕獲的圖像的像素的法向矢量；(b4)根據光源的屬性和在步驟(b3)中所計算的法向矢量來計算3D模型的色彩；和(b5)使用所計算的色彩來創建已編輯參考圖像。
5.根據權利要求4所述的基於圖像的編輯方法，其中在步驟(b4)中，使用Phong反射模型的係數來計算3D模型的色彩。
6.根據權利要求1所述的基於圖像的編輯方法，其中步驟(b)包括選擇要編輯的一個參考圖像和其中一部分；通過將對應於所選參考圖像的所選部分的像素值設置為預定值，來從所選參考圖像中刪除該所選的部分；和將所得到的參考圖像存儲為已編輯參考圖像。
7.一種基於圖像的編輯裝置，包括圖像捕獲單元，用於捕獲通過使用包括色彩和深度圖像的多個簡單紋理圖像來對3D模型進行著色的圖像，其中該色彩和深度圖像對3D模型的不同方面進行著色；圖像編輯單元，用於編輯所捕獲的圖像的像素，並存儲已編輯參考圖像；和向後投影單元，用於使用已編輯參考圖像來更新參考圖像，該參考圖像為多個簡單紋理圖像的色彩和深度圖像。
8.根據權利要求7所述的基於圖像的編輯裝置，其中向後投影單元選擇要使用編輯圖像進行編輯的一個參考圖像和其中一部分，選擇與已編輯參考圖像的編輯像素相對應的所選參考圖像的像素，根據該已編輯參考圖像對所選參考圖像的所選像素進行編輯，以及存儲所得到的參考圖像。
9.根據權利要求8所述的基於圖像的編輯裝置，其中向後投影單元根據已編輯參考圖像對每一參考圖像的像素進行編輯，其中所述參考圖像對與該已編輯參考圖像的編輯像素相同的部分進行著色。
10.根據權利要求7所述的基於圖像的編輯裝置，其中圖像編輯單元包括光源設置單元，用於選擇所捕獲的圖像中著色的3D模型的一部分，計算該選擇部分的法向矢量，以及設置光源，該光源具有由用戶在所選部分的法向矢量的方向上的無窮遠點處所設置的屬性；矢量計算單元，用於計算該捕獲圖像的像素的法向矢量；和編輯圖像創建單元，用於根據光源的屬性和所捕獲圖像的像素的法向矢量來計算3D模型的色彩，並使用所計算的色彩來創建已編輯參考圖像。
11.根據權利要求10所述的基於圖像的編輯裝置，其中編輯圖像創建單元通過使用Phong反射模型的係數來計算3D模型的色彩。
12.根據權利要求7所述的基於圖像的編輯裝置，其中圖像編輯單元選擇要編輯的一個參考圖像和其中一部分，通過將對應於所選參考圖像的所選部分的像素值設置為預定值，來從所選參考圖像中刪除該所選的部分，以及將所得到的參考圖像存儲為已編輯參考圖像。
全文摘要
本發明提供了一種基於圖像的編輯方法和裝置，該方法包括捕獲使用多個簡單紋理圖像對3D模型進行著色的圖像，該圖像包括色彩圖像和深度圖像，每一個所述簡單紋理圖像對3D模型的不同方面進行著色；編輯所捕獲的圖像的像素，並存儲該編輯的圖像；和使用該編輯的圖像來更新參考圖像(多個簡單紋理圖像的色彩和深度圖像)。
文檔編號G06T15/00GK101025829SQ200710088708
公開日2007年8月29日 申請日期2004年7月14日 優先權日2003年7月14日
發明者樸仁圭, 韓周延, 韓萬鎮, 亞歷克西·V·伊格內坦科, 安東·庫諾欽, 利奧尼德·I·萊夫科維奇-馬斯萊尤克 申請人:三星電子株式會社