一種在AR場景中介入現實光影的方法與流程

2023-05-29 15:14:11 1

本發明涉及ar設備投射領域，具體涉及將現實光影通過ar設備投射到虛擬物品上的方法。

背景技術：

增強現實(augmentedreality，簡稱ar)技術，是將虛擬世界信息通過科技處理應用到真實世界，並通過模擬仿真的方式被人類感官所感知的一項技術。使用者利用頭戴式顯示器，可以在現實世界中感知到虛擬物品的存在，其所述虛擬物品都是由電腦前期生成，光影效果無法獲取當前所在現實世界場景中的光影色彩投影，因此給人一種不真實的感覺，對於強調真實體驗的ar設備來講，是一個明顯缺陷。

技術實現要素：

為了解決現有技術存在的不足，本發明的目的在於提供一種在ar場景中介入現實光影的方法，用於讓ar設備中虛擬物品透過真實世界光影的影響，和真實世界中的光影能產生互動。

為實現上述目的，本發明提供的在ar場景中介入現實光影的方法，包括以下步驟：

（1）通過ar設備的拍照功能對當前所處場景進行多角度拍照，得到一組照片；

（2）根據所拍攝的照片在ar設備系統內部生成一組全景畫面；

（3）用全景畫面生成周圍環境在虛擬對象表面的鏡面反射效果；

（4）根據全景畫面生成漫反射環境圖；

（5）通過漫反射環境圖給虛擬對象生成漫反射光照；

（6）把調整好的虛擬對象合成到攝像頭實時拍攝的畫面，然後在顯示設備上顯示出來，並通過ar設備投影到人眼中。

進一步地，所述步驟（3），包括以下步驟：

（a）根據觀察者的視線方向、虛擬對象表面任意點的法線方向，計算出入射光方向；

（b）根據所述任意點的光滑程度，計算出入射光方向周圍一定範圍的入射光在虛擬對象表面的所述任意點處反射到人眼中的光照信息。

進一步地，所述步驟（4）包括，對於每個法線方向，計算全景畫面裡所有像素對它的光照結果並求和。

進一步地，所述步驟（5）包括，根據虛擬對象表面任意點的法線方向，從漫反射環境圖裡獲得這個法線方向的光照信息。

進一步地，所述漫反射環境圖用於保存在這個環境中每個法線方向能夠接收到的周圍環境發射給它的漫反射光照強度和顏色。

更進一步地，所述漫反射環境圖用全景畫面貼圖或球諧保存。

本發明提出一種在ar場景中介入現實光影的方法，通過ar設備將現實場景的照片生成為漫反射環境圖，進而形成虛擬物品，從而使ar設備更加真實。

本發明的其它特徵和優點將在隨後的說明書中闡述，並且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。

附圖說明

附圖用來提供對本發明的進一步理解，並且構成說明書的一部分，並與本發明的實施例一起，用於解釋本發明，並不構成對本發明的限制。在附圖中：

圖1為根據本發明的在ar場景中介入現實光影的方法的流程圖；

圖2為計算入射光方向的示意圖；

圖3為計算鏡面反射光的示意圖；

圖4為計算表面接收到的所有方向的光照之和的示意圖；

圖5為不同粗糙程度的鏡面反射對比的示意圖；

圖6為漫反射環境圖；

圖7為最終效果的示意圖。

具體實施方式

以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用於說明和解釋本發明，並不用於限定本發明。

圖1為根據本發明的在ar場景中介入現實光影的方法的流程圖，下面將參考圖1，對本發明的在ar場景中介入現實光影的方法進行詳細描述。

首先，在步驟101，通過ar設備的拍照功能對當前所處場景進行多角度拍照，得到一組照片。

在步驟102，根據所拍攝的照片在ar設備系統內部生成一組全景畫面(cubemap)。

在步驟103，用全景畫面生成周圍環境在虛擬對象表面的鏡面反射(specularreflection)效果。其具體方案如下：

（a）根據觀察者的視線方向v、虛擬對象表面任意點p的法線方向n等數據，計算出入射光方向r，如圖2所示。

（b）根據p點的光滑程度g（越光滑的材質鏡面反射越清晰），計算出r方向周圍一定範圍的入射光在虛擬對象表面p點處反射到人眼中的光照信息，如圖3所示。

圖5中示出了不同粗糙程度的鏡面反射對比。其中，最左側的模型的材質最光滑的（g最大），往右越來越粗糙（g越來越小）。可以看到越光滑的材質鏡面反射越清晰。

在步驟104，根據全景畫面生成漫反射環境圖。漫反射環境圖用於保存在這個環境中每個法線方向能夠接收到的周圍環境發射給它的漫反射光照強度和顏色。漫反射環境圖可以用全景畫面(cubemap)貼圖或球諧(sphericalharmonics)保存。

生成漫反射環境圖的具體方案：對於每個法線方向，計算全景畫面裡所有像素對它的光照結果並求和，如圖4所示。

圖5為生成的漫反射環境圖(cubemap)。

在步驟105，通過漫反射環境圖給虛擬對象生成漫反射光照。具體方案：根據虛擬對象表面任意點p的法線方向，從漫反射環境圖裡獲得這個法線方向的光照信息。

圖7為根據虛擬對象表面法線方向，從漫反射環境圖裡獲得漫反射光照信息的最終效果圖。

在步驟106，把調整好的虛擬對象合成到攝像頭實時拍攝的畫面，然後在顯示設備上顯示出來，並通過ar設備投影到人眼中。

本領域普通技術人員可以理解：以上所述僅為本發明的優選實施例而已，並不用於限制本發明，儘管參照前述實施例對本發明進行了詳細的說明，對於本領域的技術人員來說，其依然可以對前述各實施例記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。