一種用於3d對象建模的設備和方法
2023-06-15 04:36:31 1
專利名稱：一種用於3d對象建模的設備和方法
技術領域：
本發明涉及三維(3D)對象建模技術，具體說來，涉及一種能夠基於預定義的3D對象模板自動進行3D對象建模的有效設備和方法。
背景技術：
在三維(3D)計算機圖形領域中，3D對象建模是指產生任意三維對象的算術表示的處理，該處理產生的結果稱為3D對象模型。3D對象建模在數字娛樂等領域具有廣泛的應用，例如，在虛擬實境、增強現實、3D 電影、3D遊戲、人機互動等技術中均需要進行3D對象建模。目前的多數3D對象建模還需要通過相關專業人員進行手動操作來實現，這種方式不僅耗費時間，而且需要大量的人為參與。另一方面，在關於自動3D對象建模的現有技術中，如果輸入圖像的數量有限，則無法針對3D建模的對象給出足夠的形狀約束。例如，在第10927241號美國專利「Method and apparatus for image-based photorealistic 3D face modeling" Φ,X^tT-ImMrP 幾乎無法提供形狀方面的約束，而基本上由形狀模板來確定。另外，單純的二維圖像/視頻數據無法針對不受控照明環境或紋理較少的對象區域給出良好的形狀信息。為了解決這一問題，很多現有技術利用統計模型來提高建模質量。 然而，統計模型的獲取需要花費大量的時間和成本，並且針對每種不同的對象類型均需要提供相應的統計模型，因此，統計模型由於缺少便利性而在應用上受到限制。在利用深度圖像進行3D對象建模的情況下，由於深度圖像自身比較稀疏，所以需要對深度圖像的數據進行超解析度處理以提高建模質量。然而，現有的超解析度處理(例如，第 11444947 號美國專利「Method and system to increase X-Y resolution in a depth camera using RGB」)均僅採用局部內插處理，這往往導致生成的形狀不夠圓滑且與實際的對象存在誤差。在自動3D對象建模技術中，經常會針對基於圖像/視頻/深度圖像進行的建模應用非線性優化處理。然而，所述非線性優化處理卻有其自身的缺陷，即，不具有較好的魯棒性且需要非常好的初始值才能夠實現較好的性能。此外，優化處理通常需要進行迭代運算， 所以速度非常緩慢。因此，需要提供一種能夠基於預定義的3D對象模板自動進行3D對象建模的有效設備和方法。
發明內容
本發明的目的在於提供一種能夠基於預定義的3D對象模板自動進行3D對象建模的有效設備和方法，根據所述3D對象建模設備和方法，能夠基於多視角圖像和深度圖像對預定義的模板進行變形，並生成相應的紋理，從而有效地進行3D對象建模。根據本發明的一方面，提供一種用於3D對象建模的設備，所述設備包括圖像接收單元，用於接收拍攝的彩色圖像和深度圖像，其中，彩色圖像包括正向彩色圖像和至少兩幅其它視角的側向彩色圖像，深度圖像為正向深度圖像；3D模板提供單元，用於提供針對特定種類的對象而預定義的3D對象模板，其中，所述3D對象模板具有形狀特徵和紋理特徵；對象建模單元，用於基於由圖像接收單元接收的彩色圖像和深度圖像對由3D模板提供單元提供的3D對象模板進行變形處理，並對彩色圖像和變形處理後的3D對象模板進行紋理合成，以生成3D對象模型。所述對象建模單元可包括特徵提取模塊，用於從彩色圖像提取用於確定對象形狀的特徵信息；前景分離模塊，用於通過產生前景掩膜圖像從正向彩色圖像和正向深度圖像分離出感興趣的前景圖像；超解析度處理模塊，用於執行超解析度處理以產生對應於正向彩色圖像的密集深度圖；變形處理模塊，用於基於由特徵提取模塊提取的特徵信息以及由超解析度處理模塊產生的密集深度圖對由3D模板提供單元提供的3D對象模板進行變形處理；紋理生成模塊，用於對彩色圖像和變形處理後的3D對象模板進行紋理合成，以生成 3D對象模型。前景分離模塊對正向深度圖像進行前景分割以得到前景掩膜，然後，利用已知的標定參數，將與前景掩膜相應的深度像素投影到正向彩色圖像平面，以在正向彩色圖像上形成稀疏的2D點集合，對所述稀疏的2D點之間的間隙進行填充，以在正向彩色圖像上形成相應的前景圖像。前景分離模塊利用摳像技術對得到的前景圖像的邊界進行細化。超解析度處理模塊將深度圖像中的像素投影到正向彩色圖像平面，以獲取正向彩色圖像像素中具有深度值的種子點，基於獲取的種子點和正向彩色圖像來執行局部插值運算，從而產生對應於正向彩色圖像的密集深度圖，對所述密集深度圖進行量化，並對量化的密集深度圖執行全局優化，以提高其平滑性。在超解析度處理模塊執行局部插值運算時，其利用下列等式來確定正向彩色圖像中的待插值像素的深度值
權利要求
1.一種用於3D對象建模的設備，所述設備包括圖像接收單元，用於接收拍攝的彩色圖像和深度圖像，其中，彩色圖像包括正向彩色圖像和至少兩幅其它視角的側向彩色圖像，深度圖像為正向深度圖像；3D模板提供單元，用於提供針對特定種類的對象而預定義的3D對象模板，其中，所述 3D對象模板具有形狀特徵和紋理特徵；對象建模單元，用於基於由圖像接收單元接收的彩色圖像和深度圖像對由3D模板提供單元提供的3D對象模板進行變形處理，並對彩色圖像和變形處理後的3D對象模板進行紋理合成，以生成3D對象模型。
2.如權利要求1所述的設備，其中，所述對象建模單元包括特徵提取模塊，用於從彩色圖像提取用於確定對象形狀的特徵信息；前景分離模塊，用於通過產生前景掩膜圖像從正向彩色圖像和正向深度圖像分離出感興趣的前景圖像；超解析度處理模塊，用於執行超解析度處理以產生對應於正向彩色圖像的密集深度圖；變形處理模塊，用於基於由特徵提取模塊提取的特徵信息以及由超解析度處理模塊產生的密集深度圖對由3D模板提供單元提供的3D對象模板進行變形處理；紋理生成模塊，用於對彩色圖像和變形處理後的3D對象模板進行紋理合成，以生成3D 對象模型。
3.如權利要求2所述的設備，其中，前景分離模塊對正向深度圖像進行前景分割以得到前景掩膜，然後，利用已知的標定參數，將與前景掩膜相應的深度像素投影到正向彩色圖像平面，以在正向彩色圖像上形成稀疏的2D點集合，對所述稀疏的2D點之間的間隙進行填充，以在正向彩色圖像上形成相應的前景圖像。
4.如權利要求3所述的設備，其中，超解析度處理模塊將深度圖像中的像素投影到正向彩色圖像平面，以獲取正向彩色圖像像素中具有深度值的種子點，基於獲取的種子點和正向彩色圖像來執行局部插值運算，從而產生對應於正向彩色圖像的密集深度圖，對所述密集深度圖進行量化，並對量化的密集深度圖執行全局優化，以提高其平滑性。
5.如權利要求4所述的設備，其中，在超解析度處理模塊執行局部插值運算時，其利用下列等式來確定正向彩色圖像中的待插值像素的深度值Wpq = exp(-(l-a (ΔΩ)) X color_diff-spatial_difT)，其中， α (Δ Ω) = 1/(1+Θ-εΧ(ΔΩ_τ))在上述等式中，ρ表示正向彩色圖像中的任一待插值像素，Ν(ρ)表示像素ρ的鄰域，q 表示鄰域N(p)中的任一種子點，dp表示像素ρ的深度值，dq表示種子點q的深度值，Wpq表示種子點q相對於像素P的深度權重，Δ Ω表示鄰域Ν(ρ)中最大深度值與最小深度值之間的差，color_diff和spatial_diff分別表示從種子點q到待插值像素P的彩色近似性和空間鄰近度，ε和τ分別是通過實驗而確定的正常數。
6.如權利要求5所述的設備，其中，超解析度處理模塊在對得到的離散的密集深度圖執行全局優化時，通過找到使得下面的目標函數E得到最小值的像素ρ的集合來得到優化的密集深度圖E — Σ ρ (Edata+Esmooth)其中，^ata為數據代價，指示關於最終深度圖與輸入深度圖之間的一致性的測量值; Es_th為平滑代價，指示關於鄰域內的深度一致性的測量值。
7.如權利要求6所述的設備，其中，所述變形處理模塊在進行變形處理時，對所述3D 對象模板依次執行全局變換、正向變形、正向邊界更新、深度插值、輪廓點更新和3D插值操作。
8.如權利要求7所述的設備，其中，在執行全局變換時，變形處理模塊基於由3D模板提供單元提供的3D對象模板和由超解析度處理模塊產生的密集深度圖兩者在若干關鍵點之間的對應關係，對所述3D對象模板執行全局變換，以使其與所述優化的密集深度圖大致匹配，在執行正向變換時，變形處理模塊基於由特徵提取模塊從正向彩色圖像提取的特徵信息對全局變換後的3D對象模板執行2D數據插值運算，在執行正向邊界更新時，變形處理模塊基於由特徵提取模塊從側向彩色圖像提取的特徵信息來更新正向變換後的3D對象模板中的正向邊界。
9.如權利要求8所述的設備，其中，紋理生成模塊利用彩色轉換機制對側向彩色圖像和經過變形處理後的3D對象模板執行彩色校準，以使得它們在色調上與正向彩色圖像一致，將正向彩色圖像以及經過彩色校準後的側向彩色圖像映射到紋理坐標平面，並將側向彩色圖像的紋理與正向彩色圖像的紋理合併，再將合併的結果與經過彩色校準的3D對象模板的紋理合併，從而輸出最終的3D對象模型。
10.一種三維計算機圖形處理系統，包括如權利要求1到9中的任何一個所述的用於3D對象建模的設備，用於產生3D對象模型；模型加工單元，用於對產生的3D對象模型進行圖形加工處理，渲染單元，用於對加工處理的結果進行渲染，以輸出合成的圖形結果。
11.一種用於3D對象建模的方法，所述方法包括接收拍攝的彩色圖像和深度圖像，其中，彩色圖像包括正向彩色圖像和至少兩幅其它視角的側向彩色圖像，深度圖像為正向深度圖像；接收針對特定種類的對象而預定義的3D對象模板，其中，所述3D對象模板具有形狀特徵和紋理特徵；基於彩色圖像和深度圖像對接收的3D對象模板進行變形處理，並對彩色圖像和變形處理後的3D對象模板進行紋理合成，以生成3D對象模型。
12.如權利要求11所述的方法，其中，基於彩色圖像和深度圖像對接收的3D對象模板進行變形處理，並對彩色圖像和變形處理後的3D對象模板進行紋理合成的步驟包括從彩色圖像提取用於確定對象形狀的特徵信息；通過產生前景掩膜圖像從正向彩色圖像和正向深度圖像分離出感興趣的前景圖像；執行超解析度處理以產生對應於正向彩色圖像的密集深度圖；基於提取的特徵信息以及產生的密集深度圖對3D對象模板進行變形處理；對彩色圖像和變形處理後的3D對象模板進行紋理合成，以生成3D對象模型。
全文摘要
提供一種用於3D對象建模的設備和方法，所述設備和方法能夠融合深度圖像和多視角彩色圖像，從而基於預定義的3D對象模板自動進行3D對象建模。所述設備包括圖像接收單元，用於接收拍攝的彩色圖像和深度圖像，其中，彩色圖像包括正向彩色圖像和至少兩幅其它視角的側向彩色圖像，深度圖像為正向深度圖像；3D模板提供單元，用於提供針對特定種類的對象而預定義的3D對象模板，其中，所述3D對象模板具有形狀特徵和紋理特徵；對象建模單元，用於基於由圖像接收單元接收的彩色圖像和深度圖像對由3D模板提供單元提供的3D對象模板進行變形處理，並對彩色圖像和變形處理後的3D對象模板進行紋理合成，以生成3D對象模型。
文檔編號G06T17/00GK102542601SQ20101060191
公開日2012年7月4日 申請日期2010年12月10日 優先權日2010年12月10日
發明者孫迅, 張輝, 焦少輝, 金庸善 申請人:三星電子株式會社, 北京三星通信技術研究有限公司