基於自由視角光照傳輸矩陣的重光照方法及系統的製作方法

2023-05-19 20:24:41

專利名稱：基於自由視角光照傳輸矩陣的重光照方法及系統的製作方法
技術領域：
本發明涉及計算機圖像處理技術領域，特別涉及一種基於自由視角光照傳輸矩陣 的重光照方法及系統。
背景技術：
隨著數字採集及處理技術的飛速發展，靜態圖像和動態視頻已成為日常生活和科 學研究中廣泛存在的一種媒體格式。而在數據採集過程中，光照條件對場景的成像質量和 效果有著至關重要的影響，而拍攝視角的變化，也會帶來不同的效果。而由於許多理想光照 條件在現實環境中是難以實現或實現成本過高的，因此需要真實感的重光照方法，能夠將 我們感興趣的目標物體，渲染至任意光照條件，並支持任意視角的場景顯示；且真實場景的 光照特性往往也是複雜且難以利用解析光照模型進行描述的，因此需要一種新的光照特性 表達方式，對物體表面各向異性的光照特性進行記錄及表示。根據物體光照特性表達方式的差異，現有的重光照方法主要包括基於解析光照模 型及光照傳輸矩陣兩類。基於解析光照模型的重光照方法，主要通過在多種可控光照條件下，對物體進行 拍攝，並結合參數化光照模型，恢復物體表面的幾何及反射屬性信息，從而根據光照模型在 新的光照條件下對物體進行重光照操作，並渲染至自由視角進行顯示。由於需要使用參數 化光照模型進行求解(如漫反射光照模型，球諧函數，雙線性模型，張量樣條等)，此類方法 往往只能對有限類別的理想材質表面(如朗伯表面)進行準確、簡潔的表示及處理；在對真 實世界中廣泛存在的真實物體進行描述時，真實度往往不夠理想，且利用解析光照模型進 行渲染的計算複雜度也較高。基於圖像的重光照方法，是將多種密集可控光照條件下採集的物體圖像作為基向 量，表示物體表面接受各種情況的入射光對光照進行傳輸發射反射光照的過程，即利用這 些基向量組成光照傳輸矩陣對物體光照特性進行描述；通過對基向量進行線性組合，實現 目標物體的重光照操作。由於在這一過程中，無需利用解析光照模型進行參數求解，而是直 接將採集圖像作為基向量進行組合，因此重光照效果的真實性較高。但相應的代價是，此 種方法需要對目標物體在密集光照條件下進行採集，採集成本及複雜度較高，且由於三維 幾何信息的缺失，此類方法很難實現自由視角的渲染，且目前已有的光照傳輸矩陣，只能對 固定視角觀察得到的物體表面反射特性進行表示，不能對視角各向異性的光照特性進行記 錄。現有技術存在的缺點是，目前需要本領域技術人員迫切解決的一個技術問題就 是，如何提供一種高效的，能夠對各向異性的光照特性進行表示的，支持自由視角觀察的場 景重光照方法。

發明內容
本發明的目的旨在至少解決上述技術缺陷，提出了一種基於自由視角光照傳輸矩陣的重光照方法及系統。為達到上述目的，本發明一方面提出一種基於自由視角光照傳輸矩陣的重光照方 法，包括以下步驟在預設的可控變化光照條件下，利用攝像陣列在預設的多個曝光程度下 分別採集目標物體對應的多組多視角視頻圖像；根據獲得的所述多組多視角視頻圖像獲得 所述目標物體的反照率信息和在起始時刻的三維模型和表面法向；根據所述表面法向、光 照方向和觀察方向三者間的相對位置對多視角變光照的目標信息進行融合，以生成支持各 向異性光照特性表示的所述目標物體的自由視角光照傳輸矩陣；根據所述表面法向和所述 自由視角光照傳輸矩陣對所述目標物體進行重光照操作，以生成重光照目標物體模型；和 結合依賴視角的模型渲染算法，實現自由視角的動態場景重光照。本發明另一方面還提出了一種基於自由視角光照傳輸矩陣的重光照裝置，包括 可控光源，用於產生預設的可控變化光照條件；攝像陣列，用於在預設的可控變化光照條件 下，在預設的多個曝光程度下分別採集目標物體對應的多組多視角視頻圖像；和重光照裝 置，用於根據獲得的所述多組多視角視頻圖像獲得所述目標物體的反照率信息和在起始時 刻的三維模型和表面法向，並根據所述表面法向、光照方向和觀察方向三者間的相對位置 對多視角變光照的目標信息進行融合，以生成支持各向異性光照特性表示的所述目標物體 的自由視角光照傳輸矩陣，接著根據所述表面法向和所述自由視角光照傳輸矩陣對所述目 標物體進行重光照操作，以生成重光照目標物體模型，以及結合依賴視角的模型渲染算法， 實現自由視角的動態場景重光照。本發明針對各向異性的光照特性提出了一種實用的表示方法，並且支持自由視角 的重光照效果觀察。另外，本發明原理簡單、明確，且易於實現。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。


本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發明實施例的基於自由視角光照傳輸矩陣的重光照方法流程圖；圖2a和圖2b分別為本發明實施例動態場景採集示意圖和攝像陣列布置示意圖；圖3為本發明實施例獲得自由視角光照傳輸矩陣的流程圖；圖4為本發明實施例的自由視角重光照流程圖；圖5為本發明實施例的基於自由視角光照傳輸矩陣的重光照裝置結構圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。本發明的主要構思在於，利用多視角拍攝的可控光照下的場景成像信息；根據物 體表面各點法向、光照、觀察方向三者間的相對位置，生成支持各向異性光照特性表示的目 標物體的自由視角光照傳輸矩陣；並結合依賴視角的模型渲染算法，實現自由視角的場景重光照操作。如圖1所示，為本發明實施例的基於自由視角光照傳輸矩陣的重光照方法流程 圖。該方法包括以下步驟步驟S101，對目標物體，在預設的可控變化光照條件下，利用攝像陣列在預設的多 個曝光程度下分別採集目標物體對應的多組多視角視頻圖像。在本發明的一個實施例中， 在由200組LED光源形成的200種可控變化光照條件(L1山，· · ·，LM，M = 200)下，利用20 攝像陣列採集目標物體的變光照成像視頻，如圖2a和圖2b所示，分別為本發明實施例動態 場景採集示意圖和攝像陣列布置示意圖。具體地，該步驟包括1. 1、對攝像陣列進行幾何及顏色校準，並將攝像陣列與可控光源進行同步校準。1. 2、在採集場景中央放一枚水晶球，在完整的由200種光源組合構成的光照序列 下利用攝像陣列對水晶球進行同步採集。1. 3、對20組視角拍攝視頻中的各幀水晶球圖像進行全景拼圖，得到對應1. 2中 100種光照條件的場景光照環境圖。1.4、將目標物體置於採集場景中，利用攝像陣列採集得到多視角成像信息，且採 集過程中控制同一光照條件分別採集曝光程度為1/2、1、2的三組圖像，從而合成高動態範 圍圖像，以對目標物體的光照特性進行充分展示。本發明通過對可控光源和攝像陣列的控制，可以保證目標物體在光照空間的高效 採樣。步驟S102，根據獲得的所述多組多視角視頻圖像獲得所述目標物體的反照率信息 和在起始時刻的三維模型和表面法向。參照圖3所示，為本發明實施例獲得自由視角光照 傳輸矩陣的流程圖。該步驟具體包括2. 1利用初始時刻均勻光照條件下拍攝的多視角圖像，計算物體三維模型及表面法向。2. 2結合匹配特徵點及多視角相機校準參數，利用魯棒的主分量分析方法(RPCA) 對物體表面各點在不同光照條件各視角採集數據中的置信度進行篩選，選擇高置信度的成 像信息計算物體表面各點的反照率信息。因為對於常見的多種材質，光照特性主要還是以低頻分量為主，而視頻圖像採集 過程中存在的噪聲、遮擋陰影、高光區域的過飽和狀態等則是以不符合這一低頻特性的差 殘分量存在的，因此本發明實施例可以考慮利用RPCA對這類區域首先進行剔除，選出正常 表示物體光照特性的像素區域進行後續計算，這部分正常表示物體光照特性的像素區域即 為高置信度區域。因此，在本發明的一個實施例中，所述根據置信度進行篩選包括對各像素 在不同時刻採集數據中的過飽和和/或不可見性進行篩選。本發明實施例通過對過飽和和 /或具有不可見性的像素進行篩選，從而能夠使光度立體的恢復結果準確性得到保證。步驟S103，結合球諧函數光照模型，對目標物體表面各點法向進行優化，獲取更為 精準的目標物體的法向信息及三維模型。3. 1、結合球諧函數模型，設計能量函數，對上述步驟計算得到的物體表面法向進 行優化，對由於遮擋等問題造成的錯誤法向進行修正。I = LS可以看作是基於球諧函數的 光照模型，能量函數可以為如下形式min| |W(I_L · S) I |+c · AS
其中W為權重矩陣(應為對角陣的形式)，對於I-LS具有較大誤差的表面點j， W(j，j)的取值應較小。S對應物體表面各點球諧圖像，由物體表面的反照率和法向情況共同決定，Δ S是 對物體表面各點的反照率及法向一致性進行約束。C為可調整的一個係數，用以決定前後兩 項的約束強弱。具體優化過程，可以利用初始反照率和法向信息，計算得到W0，然後利用上式優化 求解S'，然後根據S'，將權重矩陣更新為W'，然後繼續利用設定的目標函數進行求解， 實現對S'的迭代優化，即達到對物體表面法向進行優化的目的。3. 2、利用優化後的物體表面法向信息，獲得更為精準的物體三維模型。步驟S104，根據所述表面法向、光照方向和觀察方向三者間的相對位置對多視角 變光照的目標信息進行融合，以生成支持各向異性光照特性表示的所述目標物體的自由視 角光照傳輸矩陣。在本發明中自由視角重光照傳輸矩陣可以對各向異性的物體光照特性進 行表示。具體包括以下步驟4. 1、對目標物體表面的各頂點，在各採集時刻，計算3. 1中優化得到的該點法線 方向(法向)與該時刻光照方向間的相對位置(相對光源方向)，及該時刻定點法向與各拍 攝視角見的相對位置(相對觀察方向)。4. 2、自由視角光照傳輸矩陣是用以表示場景反射特性的三維矩陣，三個維度分別 對應場景空間位置、光源方向、觀察視角的變化，矩陣元素對應場景中一點接受某一相對光 源方向的入射光，並從某一相對觀察方向進行拍攝時，採集得到的成像信息。根據4. 1中的 計算結果，可將多視角變光照採集數據中的高置信度區域中的各像素分別填充至自由視角 光照傳輸矩陣的相應位置。4. 3、利用目標物體表面各點反射屬性的局部平滑及低秩特性作為約束，對步驟 4. 2中填充後的自由視角光照傳輸矩陣中可能存在的缺損元素進行恢復，生成完整的場景 自由視角光照傳輸矩陣。本發明採用局部平滑及低秩特性作為約束，對由於遮擋或採樣密 度有限造成的自由視角光照傳輸矩陣中的缺損元素進行恢復。步驟S105，根據所述表面法向和所述自由視角光照傳輸矩陣對所述目標物體進行 重光照操作，以生成重光照目標物體模型。如圖4所示，為本發明實施例的自由視角重光照 流程圖。該步驟具體包括以下步驟5. 1、根據用戶給定的光照環境，生成光照環境圖，並將其表示為多種基光照環境 圖的線性疊加。5. 2、分別計算5. 1中得到的各種基光照條件，與各採集時刻物體表面各點的相對 光源方向，並從自由視角光照傳輸矩陣中選擇相應元素，生成各時刻的目標物體的基光照 自由視角成像信息。5. 3、按照5. 1中計算得到的線性疊加方式，對5. 2中得到的基光照自由視角成像 信息進行線性加權，生成目標物體對應各採集時刻的重光照自由視角成像信息，從而獲得 重光照目標物體模型。步驟S106，結合依賴視角的模型渲染算法，實現自由視角的動態場景重光照。具體 包括6. 1、對於任意觀察視角，計算該觀察視角與該時刻物體表面各點的相對觀察方
7向，從而根據該時刻目標物體的重光照自由視角成像信息，結合依賴視角的渲染方法，生成 場景的自由視角重光照效果。如圖5所示，為本發明實施例的基於自由視角光照傳輸矩陣的重光照裝置結構 圖。該裝置包括可控光源100、攝像陣列200和重光照裝置300。可控光源100用於產生預 設的可控變化光照條件。攝像陣列200用於在預設的可控變化光照條件下，在預設的多個 曝光程度下分別採集目標物體對應的多組多視角視頻圖像。重光照裝置300用於根據獲得 的所述多組多視角視頻圖像獲得所述目標物體的反照率信息和在起始時刻的三維模型和 表面法向，並根據所述表面法向、光照方向和觀察方向三者間的相對位置對多視角變光照 的目標信息進行融合，以生成支持各向異性光照特性表示的所述目標物體的自由視角光照 傳輸矩陣，接著根據所述表面法向和所述自由視角光照傳輸矩陣對所述目標物體進行重光 照操作，以生成重光照目標物體模型，以及結合依賴視角的模型渲染算法，實現自由視角的 動態場景重光照。在本發明的一個實施例中，重光照裝置300還用於獲得所述預設的可控變化光照 條件中各個光照狀態對應的場景光照環境圖。在本發明的一個實施例中，重光照裝置300還用於結合匹配特徵點和多視角相機 校準參數，利用魯棒的主分量分析方法RPCA對所述目標物體的表面各點在不同光照條件 下各視角採集數據中置信度進行篩選，選擇高置信度的成像信息計算所述目標物體表面各 點的反照率信息。在本發明的一個實施例中，重光照裝置300還用於結合球諧函數光照模型對所述 目標物體各點的法向進行優化，以獲得所述目標物體精確的方向和三維模型。本發明針對各向異性的光照特性提出了一種實用的表示方法，並且支持自由視角 的重光照效果觀察。另外，本發明原理簡單、明確，且易於實現。儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言，可以 理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發明的範圍由所附權利要求及其等同限定。
權利要求
一種基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，包括以下步驟在預設的可控變化光照條件下，利用攝像陣列在預設的多個曝光程度下分別採集目標物體對應的多組多視角視頻圖像；根據獲得的所述多組多視角視頻圖像獲得所述目標物體的反照率信息和在起始時刻的三維模型和表面法向；根據所述表面法向、光照方向和觀察方向三者間的相對位置對多視角變光照的目標信息進行融合，以生成支持各向異性光照特性表示的所述目標物體的自由視角光照傳輸矩陣；根據所述表面法向和所述自由視角光照傳輸矩陣對所述目標物體進行重光照操作，以生成重光照目標物體模型；和結合依賴視角的模型渲染算法，實現自由視角的動態場景重光照。
2.如權利要求1所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，還包括獲得所述預設的可控變化光照條件中各個光照狀態對應的場景光照環境圖。
3.如權利要求2所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，所述 獲得預設的可控變化光照條件中各個光照狀態對應的場景光照環境圖進一步包括在採集場景中央放置一枚水晶球，在所述預設的可控變化光照條件下利用所述攝像陣 列對水晶球進行拍攝；對所述攝像陣列拍攝的視頻中的各幀水晶球圖像進行全景拼圖，以獲得所述預設的可 控變化光照條件下各光照狀態對應的場景光照環境圖。
4.如權利要求1所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，還包括對所述攝像陣列進行幾何和顏色校準，並將所述攝像陣列和所述可控光源進行同步校 準，所述預設的可控變化光照條件由所述可控光源產生。
5.如權利要求1所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，還包括結合匹配特徵點和多視角相機校準參數，利用魯棒的主分量分析方法RPCA對所述目 標物體的表面各點在不同光照條件下各視角採集數據中置信度進行篩選，選擇高置信度的 成像信息計算所述目標物體表面各點的反照率信息。
6.如權利要求5所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，還包括結合球諧函數光照模型對所述目標物體各點的法向進行優化，以獲得所述目標物體精 確的方向和三維模型。
7.如權利要求6所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，所述 根據表面法向、光照方向和觀察方向三者間的相對位置對多視角變光照的目標信息進行融 合，以生成支持各向異性光照特性表示的所述目標物體的自由視角光照傳輸矩陣進一步包 括在各個採集時刻，計算所述目標物體表面各個頂點的法向與該時刻光照方向之間的相 對位置，以及該時刻所述法向與各個拍攝視角之間的相對位置；根據獲得的所述法向與該時刻光照方向之間的相對位置，以及所述法向與各個拍攝視 角之間的相對位置，將高置信度區域中的各像素分別填充至自由視角光照傳輸矩陣。
8.如權利要求7所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，還包括利用所述目標物體表面各點的反射屬性的局部平滑及低秩特性作為約束，對填充後的 自由視角光照傳輸矩陣進行恢復以生成完整的所述目標物體的自由視角光照傳輸矩陣。
9.如權利要求8所述的基於自由視角光照傳輸矩陣的重光照方法，其特徵在於，所述 根據表面法向和所述自由視角光照傳輸矩陣對所述目標物體進行重光照操作，以生成重光 照目標物體模型包括根據用戶給定的光照環境，生成光照環境圖，並將所述光照環境圖表示為多種基光照 環境圖的線性疊加；根據所述多種基光照環境圖計算多種基光照條件，以及各個採集時刻所述目標物體表 面各點的相對光源方向，並從所述自由視角光照傳輸矩陣中選擇相應元素，以生成各個時 刻對應的所述目標物體的基光照自由視角成像信息；對所述各個基光照自由視角成像信息進行線性加權，以生成所述目標物體對應的重光 照目標物體模型。
10.一種基於自由視角光照傳輸矩陣的重光照裝置，其特徵在於，包括可控光源，用於產生預設的可控變化光照條件；攝像陣列，用於在預設的可控變化光照條件下，在預設的多個曝光程度下分別採集目 標物體對應的多組多視角視頻圖像；和重光照裝置，用於根據獲得的所述多組多視角視頻圖像獲得所述目標物體的反照率信 息和在起始時刻的三維模型和表面法向，並根據所述表面法向、光照方向和觀察方向三者 間的相對位置對多視角變光照的目標信息進行融合，以生成支持各向異性光照特性表示的 所述目標物體的自由視角光照傳輸矩陣，接著根據所述表面法向和所述自由視角光照傳輸 矩陣對所述目標物體進行重光照操作，以生成重光照目標物體模型，以及結合依賴視角的 模型渲染算法，實現自由視角的動態場景重光照。
11.如權利要求10所述的基於自由視角光照傳輸矩陣的重光照裝置，其特徵在於，所 述重光照裝置，還用於獲得所述預設的可控變化光照條件中各個光照狀態對應的場景光照 環境圖。
12.如權利要求10所述的基於自由視角光照傳輸矩陣的重光照裝置，其特徵在於，所 述重光照裝置，還用於結合匹配特徵點和多視角相機校準參數，利用魯棒的主分量分析方 法RPCA對所述目標物體的表面各點在不同光照條件下各視角採集數據中置信度進行篩 選，選擇高置信度的成像信息計算所述目標物體表面各點的反照率信息。
13.如權利要求10所述的基於自由視角光照傳輸矩陣的重光照裝置，其特徵在於，所 述重光照裝置，還用於結合球諧函數光照模型對所述目標物體各點的法向進行優化，以獲 得所述目標物體精確的方向和三維模型。全文摘要
本發明提出一種基於自由視角光照傳輸矩陣的重光照方法，包括以下步驟利用多視角拍攝的可控光照下的場景成像信息；根據物體表面各點法線、光照、觀察方向三者間的相對位置，生成支持各向異性光照特性表示的目標物體的自由視角光照傳輸矩陣；並結合依賴視角的模型渲染算法，實現自由視角的場景重光照操作。本發明針對各向異性的光照特性提出了一種實用的表示方法，並且支持自由視角的重光照效果觀察。另外，本發明原理簡單、明確，且易於實現。
文檔編號G06T17/00GK101917637SQ20101021813
公開日2010年12月15日 申請日期2010年6月24日 優先權日2010年6月24日
發明者戴瓊海, 李冠楠 申請人:清華大學