虛擬試穿試戴系統和虛擬試穿試戴方法
2023-07-07 08:58:01
虛擬試穿試戴系統和虛擬試穿試戴方法
【專利摘要】提供了一種虛擬試穿試戴系統和虛擬試穿試戴方法。該虛擬試穿試戴系統包括：多個攝像機模塊，用於捕獲真實場景中的真實對象的不同視角的圖像和跟蹤真實對象在真實場景中的狀態；處理模塊，接收多個攝像機模塊捕獲的真實場景中的真實對象的不同視角的圖像和跟蹤的真實對象在真實場景中的狀態，並且根據真實對象在真實場景中的狀態來計算虛擬對象在真實場景中的狀態，根據計算的虛擬對象在真實場景中的狀態來將虛擬對象與真實場景合成來形成AR圖像；顯示模塊，輸出並顯示形成的AR圖像。
【專利說明】虛擬試穿試戴系統和虛擬試穿試戴方法
【技術領域】
[0001]本發明涉及一種增強現實(AR)技術，更具體地講，涉及一種使用該AR技術的虛擬試穿試戴系統和虛擬試穿試戴方法。
【背景技術】
[0002]AR是一種全新的人機互動技術，利用這樣一種技術，可以模擬真實的現場景觀，它是以交互性和構想為基本特徵的計算機高級人機界面。使用者不僅能夠通過虛擬實境系統感受到在客觀物理世界中所經歷的「身臨其境」的逼真性，而且能夠突破空間、時間以及其它客觀限制，感受到在真實世界中無法親身經歷的體驗。
[0003]近年來，AR技術有了突飛猛進的進展，應用範圍越來越廣，內容顯示的方式也多種多樣。US2003/0101105A1展示了一種產生虛擬試衣體驗的裝置及方法，其採用一個或者多個攝像機來捕捉場景圖像，並將這些圖像和選擇的衣服合成為新的圖像，然後在一個類似於鏡子的顯示設備上顯示，從而讓人產生試穿試戴的體驗，這種方法模擬了人在鏡子前試穿衣服的感覺，但是，由於其假設場景為一個平面，並用2D顯示設備顯示，因此沒有立體的試穿體驗。另外，專利申請(US6919867、US11/056, 317US09/962, 657 和 US7190378)描述了一種實現增強現實場景的裝置和方法，其採用多個攝像機記錄場景，並用頭罩式的裝置(HMD)的方式進行顯示，通過在左眼和右眼分別顯示不同內容的方式，從而形成立體視覺，這種方式可以提高場景的真實性，但是頭戴式顯示設備會給人不適感，並且不適用虛擬試穿試戴系統。專利申請US20120113223描述了一種運用AR技術，使人和顯示場景進行交互的方法，其通過傳感器跟蹤手和眼睛移動、監視手的動作並檢測手勢，根據手勢觸發手和虛擬物體之間的交互，這種方法提供了一種增強現實的交互方式，但是其應用場景限制較多，不適用於虛擬試穿試戴系統。
【發明內容】
[0004]因此，本發明的目的在於運用AR技術與3D顯示技術來提供一種使人產生立體虛擬試穿試戴體驗的系統和方法。
[0005]為了實現上述目的，根據本發明的一方面，提供了一種虛擬試穿試戴系統，包括:多個攝像機模塊，用於捕獲真實場景中的真實對象的不同視角的圖像和跟蹤真實對象在真實場景中的狀態；處理模塊，接收多個攝像機模塊捕獲的真實場景中的真實對象的不同視角的圖像和跟蹤的真實對象在真實場景中的狀態，並且根據真實對象在真實場景中的狀態來計算虛擬對象在真實場景中的狀態，根據計算的虛擬對象在真實場景中的狀態來將虛擬對象與真實場景合成來形成AR圖像；顯示模塊，輸出並顯示形成的AR圖像。
[0006]優選地，處理模塊可在計算虛擬對象在真實場景中的虛擬狀態之後，還根據計算的虛擬狀態添加真實對象的透明模型，產生虛擬對象與真實對象之間的遮擋效果。
[0007]優選地，處理模塊可根據真實對象在真實場景中的狀態添加真實對象的透明模型，同時根據真實對象在真實場景中的狀態計算虛擬對象在真實場景中的狀態，隨後產生虛擬對象與真實對象之間的遮擋效果。
[0008]優選地，處理模塊可還包括多個渲染攝像機，通過使用所述多個渲染攝像機來渲染虛擬對象與真實場景。
[0009]優選地，多個攝像機模塊可被分為用於捕獲真實場景中的真實對象的不同視角的圖像的攝像機和用於跟蹤真實對象在真實場景中的狀態的額外傳感器。
[0010]優選地，當在虛擬試穿試戴系統中執行虛擬眼鏡試戴時，所述多個攝像機模塊可以是左攝像機和右攝像機，左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
[0011]優選地，處理模塊可包括:3D頭部跟蹤模塊，通過左攝像機和右攝像機中的一個或它們兩個來檢測頭部的狀態，將3D眼鏡模型覆蓋在頭部合適的位置，合成左視角虛擬圖像和右視角虛擬圖像。
[0012]優選地，當在虛擬試穿試戴系統中執行虛擬衣服試穿時，所述多個攝像機模塊可以是左攝像機和右攝像機，左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
[0013]優選地，所述虛擬眼鏡試戴系統可還包括:深度傳感器，用於估計和檢測真實對象的姿態，其中，處理模塊根據深度傳感器檢測的真實對象的姿態來調整3D衣物模型狀態以分別遮蓋不同視角的人體圖像，從而合成左視角虛擬圖像和右視角虛擬圖像。
[0014]根據本發明的另一方面，提供了一種虛擬試穿試戴方法，包括:(a)捕獲真實場景中的真實對象的不同視角的圖像；(b)跟蹤真實對象在真實場景中的狀態；(c)接收多個攝像機模塊捕獲的真實場景中的真實對象的不同視角的圖像和跟蹤的真實對象在真實場景中的狀態，並且根據真實對象在真實場景中的狀態來計算虛擬對象在真實場景中的狀態，根據計算的虛擬對象在真實場景中的狀態來將虛擬對象與真實場景合成來形成AR圖像；(d)輸出並顯示形成的AR圖像。
[0015]優選地，步驟(C)可還包括:在計算虛擬對象在真實場景中的虛擬狀態之後，根據計算的虛擬狀態添加真實對象的透明模型，產生虛擬對象與真實對象之間的遮擋效果。
[0016]優選地，步驟(C)可還包括:根據真實對象在真實場景中的狀態添加真實對象的透明模型，同時根據真實對象在真實場景中的狀態計算虛擬對象在真實場景中的狀態，隨後產生虛擬對象與真實對象之間的遮擋效果。
[0017]優選地，步驟(C)可還包括:通過使用多個渲染攝像機來渲染虛擬對象與真實場
旦
-5^ O
[0018]優選地，當通過所述虛擬試穿試戴方法執行虛擬眼鏡試戴時，可通過左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
[0019]優選地，可通過左攝像機和右攝像機中的一個或它們兩個來檢測頭部的狀態，將3D眼鏡模型覆蓋在頭部合適的位置，合成左視角虛擬圖像和右視角虛擬圖像。
[0020]優選地，當通過所述虛擬試穿試戴方法執行虛擬衣服試穿時，可通過左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
[0021]優選地，可通過深度傳感器來估計和檢測真實對象的姿態，並根據深度傳感器檢測的真實對象的姿態來調整3D衣物模型狀態以分別遮蓋不同視角的人體圖像，從而合成左視角虛擬圖像和右視角虛擬圖像。
[0022]將在接下來的描述中部分闡述本發明另外的方面和/或優點，還有一部分通過描述將是清楚的，或者可以經過本發明的實施而得知。【專利附圖】
【附圖說明】
[0023]通過下面結合附圖進行的描述，本發明的上述和其他目的和特點將會變得更加清楚，其中:
[0024]圖1和圖2是示出根據本發明實施例的虛擬試穿試戴系統的結構的框圖；
[0025]圖3-圖5是示出根據本發明的第一示例性實施例的虛擬眼鏡試戴的示意圖；
[0026]圖6和圖7是示出根據本發明的第二示例性實施例的虛擬衣服試穿的示意圖；
[0027]圖8是示出根據本發明的虛擬試穿試戴的方法的流程圖。
【具體實施方式】
[0028]現在，詳細描述本發明的實施例，其示例在附圖中表示，其中，相同的標號始終表示相同的部件。以下通過參考附圖描述實施例以解釋本發明。
[0029]圖1是示出根據本發明實施例的虛擬試穿試戴系統的結構的框圖。
[0030]如圖1所示，該虛擬試穿試戴系統包括多個攝像機模塊100、多個額外傳感器110、處理模塊200和 多視角顯示模塊300。
[0031]下面將結合圖2對圖1中的虛擬試穿試戴系統所包括的各模塊進行詳細描述。
[0032]如圖1和圖2所示，多個攝像機模塊100包括攝像機1100-1、攝像機2100-2...攝像機η100-η。多個攝像機模塊100被放置在不同的位置，用於捕獲真實場景中的真實對象的不同視角的圖像。例如，攝像機100-1捕獲第一視角圖像1120-1，攝像機1100-2捕獲第二視角圖像120-2，......攝像機η100-η捕獲第η視角圖像120_η。
[0033]多個額外傳感器110用於跟蹤真實對象在真實場景中的狀態220，例如，真實對象的位置(比如人臉的位置、身體的姿態)。多個額外傳感器110可以由普通攝像機或者其他任意傳感器(如深度攝像機)來實現。因此，多個攝像機模塊100也可被稱為多個傳感器模塊，或者多個額外傳感器110也可被稱為多個額外攝像機。
[0034]處理模塊200接收多個攝像機模塊100捕獲真實場景中的真實對象的不同視角的圖像以及由多個額外傳感器110跟蹤的真實對象在真實場景中的狀態，並且根據真實對象在真實場景中的狀態來計算虛擬對象在真實場景中的狀態230，根據計算的虛擬對象在真實場景中的狀態來將虛擬對象與真實場景合成來形成AR圖像(如圖2中所示的多個虛擬視角圖像210)。處理模塊200可由個人計算機、平板電腦等計算裝置來實現。
[0035]處理模塊200在計算虛擬對象在真實場景中的虛擬狀態之後，還根據計算的虛擬狀態添加真實對象的透明模型，產生虛擬對象與真實對象之間的遮擋效果。或者，處理模塊200還可以根據真實對象在真實場景中的狀態添加真實對象的透明模型，同時根據真實對象在真實場景中的狀態計算虛擬對象在真實場景中的狀態，隨後產生虛擬對象與真實對象之間的遮擋效果。
[0036]處理模塊200還包括多個渲染攝像機。具體地講，處理模塊200將多個渲染攝像機放在和真實攝像機相對應的位置，這樣設置攝像機參數以使其顯示區域與對應顯示裝置的顯示區域相同，捕獲的視頻圖像渲染在各自相應的圖像平面，將虛擬對象放入真實場景，每個渲染攝像機渲染與自身對應的視頻和虛擬對象。
[0037]多視角顯示模塊300將處理模塊200合成的AR圖像輸出並顯示，多視角顯示模塊300可通過3D電視等來實現。
[0038]圖3-圖5是示出根據本發明的第一示例性實施例的虛擬眼鏡試戴的示意圖。
[0039]圖3是虛擬眼鏡試戴系統的示例的示意圖。如圖3所示，該虛擬眼鏡試戴系統包括左攝像機和右攝像機(在圖3中分別由Cai^和CamK表示)、處理模塊(未在圖中示出)和3D顯示器。左攝像機和右攝像機分別捕捉左視角的圖像和右視角的圖像。處理模塊中可包括3D頭部跟蹤模塊(未在圖3中示出)，該3D頭部跟蹤模塊通過左攝像機和右攝像機中的一個或它們兩個來檢測頭部的狀態，將一個3D眼鏡模型覆蓋在頭部合適的位置，合成左視角虛擬圖像和右視角 虛擬圖像，隨後通過3D顯示器進行3D顯示。
[0040]圖4是示出虛擬眼鏡試戴系統的數據結構的示例。
[0041]該數據結構為樹狀結構，每個節點都有一個或者多個子節點，且包含與其相關的一個或者多個實體，實體可以為3D模型等。如圖4所示，在所述系統的數據結構中，根節點包含左攝像機節點和右攝像機節點，分別保存左視角圖像和右視角圖像，其中左攝像機節點掛接包含眼鏡模型實體的節點和包含透明頭模型實體的節點。實時3D頭部跟蹤模塊根據一個或者兩個攝像機採集到的圖像對頭部狀態進行跟蹤。接下來根據此頭部狀態設置透明頭部模型的狀態，比如位置等。然後根據透明頭部模型的狀態將眼鏡模型放置在合適的位置。在渲染時，根據需要的遮擋順序設定渲染順序，比如先渲染透明的頭部模型再渲染眼鏡，使眼鏡可以合理地遮擋人的頭部。
[0042]圖5是示出虛擬眼鏡試戴系統遮擋的示例的視圖。如圖5所示，當跟蹤的頭部狀態更新時，虛擬透明頭部模型和眼鏡模型等同時更新。其中，圖5中的a示出無透明模型，b示出網格頭部模型，c示出透明頭部模型。
[0043]圖6和圖7是示出根據本發明的第二示例性實施例的虛擬衣服試穿的示意圖。
[0044]圖6是虛擬衣服試穿系統的示例的示意圖。
[0045]如圖6所示，該虛擬眼鏡試戴系統包括左攝像機和右攝像機(在圖6中分別由Can^和CamK表示)、處理模塊(未在圖中示出)和3D顯示器。左攝像機和右攝像機分別捕捉左視角的圖像和右視角的圖像。該虛擬眼鏡試戴系統還包括深度傳感器。該深度傳感器用於估計和檢測真實對象(例如，人)的姿態，比如人的骨架等。處理模塊根據深度傳感器檢測的真實對象的姿態來調整3D衣物模型狀態以分別遮蓋不同視角的人體圖像，從而合成左視角虛擬圖像和右視角虛擬圖像，隨後將合成的圖像通過顯示模塊進行3D顯示。圖7是示出虛擬衣服試穿系統效果的視圖。
[0046]圖8是示出根據本發明的虛擬試穿試戴的方法的流程圖。
[0047]如圖8所示，在步驟S801，捕獲真實場景中的真實對象的不同視角的圖像。
[0048]在步驟S802，跟蹤真實對象在真實場景中的狀態。
[0049]在步驟S803，根據真實對象在真實場景中的狀態來計算虛擬對象在真實場景中的狀態，根據計算的虛擬對象在真實場景中的狀態來將虛擬對象與真實場景合成來形成AR圖像。
[0050]在步驟S804，將形成AR圖像輸出和顯示。
[0051]其中，步驟S803還包括:在計算虛擬對象在真實場景中的虛擬狀態之後，根據計算的虛擬狀態添加真實對象的透明模型，產生虛擬對象與真實對象之間的遮擋效果。或者，根據真實對象在真實場景中的狀態添加真實對象的透明模型，同時根據真實對象在真實場景中的狀態計算虛擬對象在真實場景中的狀態，隨後產生虛擬對象與真實對象之間的遮擋效果。
[0052]根據本發明的虛擬試穿試戴系統和方法，能夠使用戶產生立體試穿試戴體驗。應該理解，根據本發明的虛擬試穿試戴系統和方法可在能夠進行3D顯示的電子裝置中實現。
[0053]儘管已經參照本發明的實施例具體顯示和描述了本發明，但是本領域的技術人員應該理解，在不脫離由權利要求限定的本發明的精神和範圍的情況下，可以對其進行形式和細節上的各種改變。
【權利要求】
1.一種虛擬試穿試戴系統，包括: 多個攝像機模塊，用於捕獲真實場景中的真實對象的不同視角的圖像和跟蹤真實對象在真實場景中的狀態； 處理模塊，接收多個攝像機模塊捕獲的真實場景中的真實對象的不同視角的圖像和跟蹤的真實對象在真實場景中的狀態，並且根據真實對象在真實場景中的狀態來計算虛擬對象在真實場景中的狀態，根據計算的虛擬對象在真實場景中的狀態來將虛擬對象與真實場景合成來形成增強現實AR圖像； 顯示模塊，輸出並顯示形成的AR圖像。
2.如權利要求1所述的虛擬試穿試戴系統，其中，處理模塊在計算虛擬對象在真實場景中的虛擬狀態之後，還根據計算的虛擬狀態添加真實對象的透明模型，產生虛擬對象與真實對象之間的遮擋效果。
3.如權利要求1所述的虛擬試穿試戴系統,其中，處理模塊根據真實對象在真實場景中的狀態添加真實對象的透明模型，同時根據真實對象在真實場景中的狀態計算虛擬對象在真實場景中的狀態，隨後產生虛擬對象與真實對象之間的遮擋效果。
4.如權利要求1所述的虛擬試穿試戴系統，其中，處理模塊還包括多個渲染攝像機，通過使用所述多個渲染攝像機來渲染虛擬對象與真實場景。
5.如權利要求1所述的虛擬試穿試戴系統，其中，多個攝像機模塊被分為用於捕獲真實場景中的真實對象的不同視角的圖像的攝像機和用於跟蹤真實對象在真實場景中的狀態的額外傳感器。
6.如權利要求1所述的虛擬試穿試戴系統，其中，當在虛擬試穿試戴系統中執行虛擬眼鏡試戴時，所述多個攝像機模塊是左攝像機和右攝像機，左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
7.如權利要求6所述的虛擬試穿試戴系統，其中，處理模塊包括:3D頭部跟蹤模塊，通過左攝像機和右攝像機中的一個或它們兩個來檢測頭部的狀態，將3D眼鏡模型覆蓋在頭部合適的位置，合成左視角虛擬圖像和右視角虛擬圖像。
8.如權利要求1所述的虛擬試穿試戴系統，其中，當在虛擬試穿試戴系統中執行虛擬衣服試穿時，所述多個攝像機模塊是左攝像機和右攝像機，左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
9.如權利要求8所述的虛擬試穿試戴系統，其中，所述虛擬眼鏡試戴系統還包括:深度傳感器，用於估計和檢測真實對象的姿態， 其中，處理模塊根據深度傳感器檢測的真實對象的姿態來調整3D衣物模型狀態以分別遮蓋不同視角的人體圖像，從而合成左視角虛擬圖像和右視角虛擬圖像。
10.一種虛擬試穿試戴方法，包括: (a)捕獲真實場景中的真實對象的不同視角的圖像； (b)跟蹤真實對象在真實場景中的狀態； (C)接收多個攝像機模塊捕獲的真實場景中的真實對象的不同視角的圖像和跟蹤的真實對象在真實場景中的狀態，並且根據真實對象在真實場景中的狀態來計算虛擬對象在真實場景中的狀態，根據計算的虛擬對象在真實場景中的狀態來將虛擬對象與真實場景合成來形成增強現實AR圖像；(d)輸出並顯示形成的AR圖像。
11.如權利要求10所述的虛擬試穿試戴方法，其中，步驟(c)還包括:在計算虛擬對象在真實場景中的虛擬狀態之後，根據計算的虛擬狀態添加真實對象的透明模型，產生虛擬對象與真實對象之間的遮擋效果。
12.如權利要求10所述的虛擬試穿試戴方法，其中，步驟(c)還包括:根據真實對象在真實場景中的狀態添加真實對象的透明模型，同時根據真實對象在真實場景中的狀態計算虛擬對象在真實場景中的狀態，隨後產生虛擬對象與真實對象之間的遮擋效果。
13.如權利要求10所述的虛擬試穿試戴方法，其中，步驟(c)還包括:通過使用多個渲染攝像機來渲染虛擬對象與真實場景。
14.如權利要求10所述的虛擬試穿試戴方法，其中，當通過所述虛擬試穿試戴方法執行虛擬眼鏡試戴時，通過左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
15.如權利要求14所述的虛擬試穿試戴方法，其中，通過左攝像機和右攝像機中的一個或它們兩個來檢測頭部的狀態，將3D眼鏡模型覆蓋在頭部合適的位置，合成左視角虛擬圖像和右視角虛擬圖像。
16.如權利要求10所述的虛擬試穿試戴方法，其中，當通過所述虛擬試穿試戴方法執行虛擬衣服試穿時，通過左攝像機和右攝像機分別捕捉左視角和右視角的圖像。
17.如權利要求16所述的虛擬試穿試戴方法，其中，通過深度傳感器來估計和檢測真實對象的姿態，並根據深度傳感器檢測的真實對象的姿態來調整3D衣物模型狀態以分別遮蓋不同視角的人體圖像，從而合成左視角虛擬圖像和右視角虛擬圖像。
【文檔編號】G06T19/00GK104021590SQ201310063294
【公開日】2014年9月3日 申請日期:2013年2月28日 優先權日:2013年2月28日
【發明者】馬賡宇, 張旭, 文永秀, 趙程昱, 金智淵 申請人:北京三星通信技術研究有限公司, 三星電子株式會社