三維虛擬服裝模型製作方法及裝置與流程

2023-06-22 11:13:04

本發明涉及3d試衣領域，尤其涉及一種三維虛擬服裝模型製作方法及裝置。

背景技術：

隨著網絡的普及以及電子商務的發展，線上購物已經成為受大眾所喜愛的一種潮流。為了解決目前線上購衣無法讓用戶直觀地感受到衣服是否合身，相當數量的國內外企業以及科研單位都就虛擬試衣技術進行了研究與開發工作。在虛擬試衣技術中，衣服模型的製作是其中重要的一環。衣服模型依據數據的形式可以分為二維的衣服和三維的衣服：二維的衣服指的是一張或多張衣服圖片，通常為彩色圖像；三維的衣服指的是在三維空間中能夠全方位展示衣服的表面信息的模型，通常為彩色三維網格模型。三維的衣服相比於二維的衣服所涵蓋的信息量更大，尤其體現在能呈現衣服的空間結構。三維的衣服的製作技術主要包含以下幾種方式：1.利用三維建模仿真軟體設計衣服的樣板圖案，在衣服的多個樣板片上定義重要點、縫合線、固定線，然後經縫合操作建立起三維衣服模型；2.利用攝像機拍攝真實衣服的多個角度的圖片，利用圖像處理方法合成三維衣服模型；3.利用攝像機拍攝真實衣服的多個角度的圖片，對多個角度的衣服圖片進行拆片處理，然後定義重要點、縫合線、固定線，之後經縫合操作建立起三維衣服模型；4.利用3d傳感器從多個角度對真實衣服進行拍攝，獲取到真實衣服各個角度所對應的點雲數據，然後經過點雲數據的融合形成360°的真實衣服點雲，再經過表面重建形成三維衣服模型。方式3的三維衣服模型是基於真實拍攝的衣服圖片，經手動拆片、定義重要點、縫合線、再縫合操作製成，相比於方式1提升了衣服的真實效果，相比於方式2利用圖像處理的方法建立的三維衣服模型，則在衣服的空間結構和展示效果上更好。但目前方式3採用的是攝像機，而攝像機通常只能拍攝得到二維的圖片，這些圖片通常又包含背景物體，從背景中分割出衣服通常只能採用手動分割或基於顏色分割的方法。另外基於顏色分割的方法，通常要求衣服的顏色和背景的顏色差異較大，進而利用顏色的差異以及空間位置上的差異分割出衣服。目前這種方式通常採用的拍攝方法是，將衣服置於一平面背景下，平面背景通常都為單色的背景，具體可為單色的幕布，依據所要拍攝的衣服的顏色，從多塊單色的幕布中選擇與衣服的顏色差異較大的一塊幕布作為背景，進行拍攝。這種利用多塊幕布的方式雖然可以使得可拍攝和建立的衣服的顏色種類增多，但更換幕布的過程是一個耗時可觀的過程。另外，方式1和方式3在進行拆片處理、定義重要點、縫合線時，都需要人工的介入，進行手動處理，過程較繁瑣。通過方式4的方法，各個方向的點雲數據量通常比較大，在對各個方向的點雲數據進行配準和融合時，耗時較長。除此之外，當利用多個3d傳感器從各個相應角度對真實衣服進行拍攝時，需要對不同角度的3d傳感器進行標定，獲取它們之間的相應位置關係，此標定過程較為繁瑣。

技術實現要素：

為解決上述問題，本發明提出一種三維虛擬服裝模型製作方法及裝置，其可自動、快速、高效建立三維虛擬服裝的模型。

本發明提供的三維虛擬服裝模型製作方法，包括：a1.從不同角度，獲取包含背景的著裝人體模特的深度信息和彩色信息；a2.利用深度信息，將著裝人體模特從背景中分割出來；a3.利用彩色信息，將服裝從人體模特上分割出來；a4.利用人體模特的深度信息查找出服裝的關鍵點，由所述關鍵點定義出縫合線，根據所述縫合線縫合製作成三維虛擬服裝模型。

本發明還提供一種包含電腦程式的計算機可讀存儲介質，該電腦程式可使計算機執行如上所述的方法。

本發明還提供一種三維虛擬服裝模型製作裝置，包括：至少一個3d傳感器、人體模特和處理器；所述3d傳感器向目標空間中進行投影，並採集深度圖像和彩色圖像，所述處理器包含如上所述的計算機可讀存儲介質。

本發明的有益效果：首先，利用3d傳感器的深度信息可快速提取出著裝人體模特，有效避免了現有技術中由於服裝和背景顏色相近而難以提取的缺陷，脫離了拍攝環境背景的限制。其次，利用彩色信息，可一步到位將服裝從已分割出來的人體模特上再次分割出來。最後，利用人體模特的深度信息，自動查找出服裝的關鍵點，不需要手動標定；根據該關鍵點可進一步自動定義出縫合線，根據獲得的縫合線，將不同方向上服裝的片段直接進行縫合生成三維服裝模型，避免了手動標定縫合線造成的過程繁瑣、速度慢，也不需要多個3d傳感器之間進行標定，同時避免了對各個方向上點雲數據進行配準和融合，有效縮短了形成模型的時間，且使獲得的服裝模型效果更加真實。

附圖說明

圖1為本發明具體實施方式中三維虛擬服裝模型製作場景示意圖。

圖2為本發明具體實施方式中3d傳感器的側面結構示意圖。

圖3為本發明具體實施方式中三維虛擬服裝模型製作方法流程圖。

圖4為本發明具體實施方式中骨架及關節點示意圖。

圖5為本發明具體實施方式中骨架及關節點投影至服裝上的示意圖。

圖6a為本發明具體實施方式中服裝的正面示意圖。

圖6b為本發明具體實施方式中服裝的背面示意圖。

圖7為本發明具體實施方式中關節模型庫中左臂的示意圖。

圖8a為本發明具體實施方式中服裝的正面示意圖。

圖8b為本發明具體實施方式中服裝的背面示意圖。

具體實施方式

下面結合具體實施方式並對照附圖對本發明作進一步詳細說明，應該強調的是，下述說明僅僅是示例性的，而不是為了限制本發明的範圍及其應用。

在本發明的描述中，需要理解的是，術語「中心」、「縱向」、「橫向」、「上」、「下」、「豎直」、「水平」、「內」、「外」等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了便於描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。此外，術語「第一」、「第二」、「第三」僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有「第一」、「第二」、「第三」的特徵可以明示或者隱含地包括一個或者更多個該特徵。在本發明的描述中，「多個」的含義是兩個或兩個以上，除非另有明確具體的限定。

三維虛擬服裝模型製作場景如圖1所示，整個拍攝過程是在一個相對獨立的拍攝間操作，包括：一個3d傳感器和人體模特。在拍攝之前，給人體模特穿上真實的服裝。

拍攝間的頂部安裝有照明設備，四個照明設備均勻分布在圓形頂棚的四個點上，優選的位置為：照明設備設置在人體模特的正上前方、正後上方、左上角和右上角，所有的照明設備均朝向中間的人體模特，使得光源均勻照射在人體模特上，為3d傳感器提供良好的光照條件，並且不會存在明顯的光照不均勻的狀況。除了在人體模特的上方安裝照明設備，同樣的，在底部同樣也可以安裝照明設備，也可以增加照明設備的數量，進一步使得拍攝件的光照環境良好。

拍攝間的正中央，放置的是穿戴真實服裝的人體模特。人體模特的左右臂需與上衣身體部分清楚分離，雙臂和上衣身體部分自肩部以下無貼合處。人體模特的雙腳分開，左右腿不交叉，也不會分開太寬。具體的，人體模特具有這樣一種姿態：筆直站立，雙腳張開距離略小於肩寬，雙手自然下垂與身體不接觸，留有一定距離。人體模特的此種姿態，確保了在穿戴真實衣服之後，能夠利用所述3d傳感器拍攝到衣服足夠多的有效信息，而不會因為人體姿態的問題，比如手臂交叉、雙腿併攏等，造成拍攝衣服全方位數據難，或所拍攝的衣服數據存在大範圍缺失的問題。

3d傳感器固定在可調節高度的三腳架上，在拍攝上衣時，3d傳感器所處的高度為胸部的位置，其可以獲取到上衣的有效數據；在拍攝褲子時，3d傳感器處於膝關節與臀部的中間位置，有利於獲取到褲子的有效數據；當拍攝裙裝等一體式服裝時，3d傳感器處於肚臍與胸部的中間位置，有利於獲取一體式服裝的有效數據。

圖1的場景中，只利用一個3d傳感器對著裝人體模特從多個角度進行拍攝，在其中一個情形下，將3d傳感器所在的支撐架放於一圓形導軌上，導軌有導輪和電機，電機運行可推動導輪滾動，從而帶動所述支撐架上的所述3d傳感器繞著以所述穿戴服裝的人體模特為圓心進行拍攝。另外一個情形為：3d傳感器保持不動，將著裝人體模特放置於可360°可旋轉的轉盤上；拍攝時由電機帶動轉盤進行轉動，每轉動一個角度停留一段時間用於3d傳感器進行拍攝。在另一實施例中，利用多個3d傳感器對著裝人體模特從多個角度進行拍攝，具體地，利用四個3d傳感器進行拍攝，四個所述3d傳感器放置在穿戴服裝的人體模特的四個方向，正前方，正後方，正左側，正右側；拍攝時，四個述3d傳感器保持不動。

3d傳感器主要包括深度相機和彩色相機，用於向目標空間中投影或獲取目標空間的深度信息和彩色信息。深度相機按種類主要分為結構光深度相機、tof深度相機以及雙目視覺深度相機。

基於結構光三角法的深度相機利用雷射投影裝置向空間中投射經編碼的標準結構光圖案，空間中目標深度的不同將標準結構光圖案進行了調製，通過圖像相關等算法獲取調製後的結構光圖像與標準結構光圖案的差別，根據結構光三角法建立該差別與目標深度之間的關係就可求解出整個目標空間的深度圖像。

基於時間飛行法的深度相機利用雷射投影裝置向目標發射雷射脈衝，由光接收裝置獲取脈衝並記錄下發射到接收的光飛行時間，根據飛行時間可以計算出目標的深度圖像。

基於雙目視覺原理的深度相機，本質上與結構光三角法原理相似，區別在於結構光三角法是主動測量，而雙目視覺則是被動測量。利用左右相機獲取的圖像在視差上的差別，並由視覺算法獲取該視差後進一步利用三角法測量原理計算出目標的深度值。

一般地，前兩種深度相機中都需要藉助於雷射投影裝置來向空間中投射光學信號，而對於雙目視覺深度相機而言，目前也會常常利用雷射投影裝置來增加空間中物體的紋理信息以提高測量精度。因為，雷射投影裝置對於深度相機而言異常重要，往往雷射投影裝置的性能、體積、功耗將直接影響深度相機的精度、體積等。在後續的說明中，3d傳感器中的深度相機以基於雷射投影裝置的深度相機為例進行說明。

圖2所示的為3d傳感器的側面結構示意圖，3d傳感器101主要組成部件有雷射投影模組104、採集模組105、主板103、處理器102、rgb相機107。雷射投影模組104、採集模組105以及rgb相機107一般被安裝在同一個深度相機平面上，且處於同一條基線，每個模組或相機都對應一個進光窗口108。一般地，處理器102被集成在主板103上，而雷射投影模組104與採集模組105通過接口106與主板連接，在一種實施例中所述的接口為fpc接口。其中，雷射投影模組用於向目標空間中投射經編碼的結構光圖案，採集模組105採集到該結構光圖像後通過處理器102的處理從而得到目標空間的深度圖像。在一個實施例中，結構光圖像為紅外雷射散斑圖案，圖案具有顆粒分布相對均勻但具有很高的局部不相關性，這裡的局部不相關性指的是圖案中各個子區域都具有較高的唯一性。對應的採集模組105為與雷射投影模組104對應的紅外相機。利用處理器獲取深度圖像具體地指接收到由採集模組採集到的散斑圖案後，通過計算散斑圖案與參考散斑圖案之間的偏離值來進一步得到深度圖像。

在對著裝人體模特進行拍攝前，需要對3d傳感器內置的彩色相機和深度相機進行標定，獲取到彩色相機的內部參數、深度相機的內部參數、彩色相機與深度相機的外部參數。根據所述標定數據，可建立起彩色圖像和深度圖像的映射關係。具體公式如下：

zdepth＝depth(x,y)(3)

prgb(xrgb,yrgb,zrgb)＝r.pdepth+t(4)

其中，xdepth、ydepth及zdepth為深度圖像中各個像素對應的三維點雲數據的坐標值；ox_rgb、oy_rgb分別對應於所述深度相機原點的x軸和y軸坐標；fx_rgb，fy_rgb，分別對應於所述深度相機的x軸和y軸方向的焦距；depth(x,y)代表深度圖像每一像素的值；pdepth為所述深度圖像各像素的三維坐標pdepth(xdepth,ydepth,zdepth)；r為旋轉矩陣，rx,ry,rz分別為繞x，y，z軸的旋轉分量；t為平移矩陣，tx,ty,tz分別為沿x，y，z軸的平移分量；prgb(xrgb,yrgb,zrgb)為所述彩色圖像中各個像素的三維坐標；fx_rgb，fy_rgb，分別對應於所述彩色相機的x軸和y軸方向的焦距；ox_rgb，oy_rgb，分別對應於所述彩色相機原點的x軸和y軸坐標。

如圖3所示，三維虛擬服裝模型製作方法，包括：a1.從不同角度，獲取包含背景的著裝人體模特的深度信息和彩色信息；a2.利用深度信息，將著裝人體模特從背景中分割出來；a3.利用彩色信息，將服裝從人體模特上分割出來；a4.利用人體模特的深度信息查找出服裝的關鍵點，由所述關鍵點定義出縫合線，根據所述縫合線縫合製作成三維虛擬服裝模型。

標定完成之後，利用3d傳感器對著裝人體模特從不同角度進行拍攝，獲取到包含背景的著裝人體模特的彩色圖像和深度圖像；在以下的說明中，以獲得著裝人體模特的正面、背面、左邊和右邊四個方向為例進行說明，其服裝為一件短袖t恤。由於服裝穿戴在人體模特上，服裝和人體模特的深度圖像為一體的，可通過深度閾值的設定，將著裝人體模特從拍攝背景中分割出來。即使背景的顏色和服裝的顏色相近，或者背景中包含有其他的物件，如：沙發、椅子等，通過該方法，都可快速將著裝人體模特分割出來，避免了現有技術中拍攝環境背景的限制。

對於分割出來的著裝人體模特，由於服裝的顏色和人體模特的膚色具有較大的差異，進一步根據彩色相機所獲取的彩色圖像，利用rgb色彩識別，將服裝從人體模特上分割出來，獲得四個方向上服裝的信息，包括深度信息和彩色信息。

獲取四個方向上服裝的深度信息和彩色信息後，進行自動化的處理，在服裝上查找出關鍵點。關鍵點包括：肩點、胸點、腰點、臀部點、手腕點、腳腕點、領口點。根據其服裝的種類，分別去查找如上所述關鍵點中的一種或多種。如短袖上衣,其需查找的關鍵點包括：肩點、胸點、腰點、領口點。

查找關鍵點，其中第一種方法為：利用人體模特的深度信息，獲取其人體模特的關節點，利用該關節點，投影至服裝上查找出關鍵點。3d傳感器可根據人體模特的深度信息，追蹤到人體骨架，人體骨架由一系列關節點以及關節點之間的連接線構成。如圖4所示(從人體模特角度看)，其關節點包括：頭部201、頸部202、雙肩中央203、左肩204、右肩205、左肘關節206、右肘關節207、左腕關節208、右腕關節209、左手210、右手211、脊柱中段212、臀部中央213、左臀部214、右臀部215、左膝蓋216、右膝蓋217、左踝關節218、右踝關節219、左腳220、右腳221。如圖5所示，根據所獲得的關節點，投影至服裝上，可獲得部分的關鍵點，該部分關鍵點和關節點重合；根據該部分關鍵點，再自動查找出剩下的關鍵點。

如下以左肩的關節點(從著裝人體模特角度看)為例進行說明。如圖6a和6b，將左肩部的關節點a通過上述公式(1)-(6),可投影到服裝的彩色圖像上，且投影到前後視角兩張彩色圖像上。因為著裝人體模特為直立站姿，所以服裝必然也是直挺的。當以豎直線通過關節點a時，與服裝的相交處可找到一些點，如前視角的點b1和點c1,後視角的點b1′和點c1′。直線b1ac1將所述前視角的服裝圖片劃分成兩個區域，區域301和區域302；直線b1′ac1′將所述後視角的服裝圖片劃分成兩個區域，區域303和區域304。對前視角的服裝圖片，從右往左以豎直線掃描，可得到點e1,即橫線坐標值最大的點為點e1,並且對區域301來說，縱向坐標值最大的點為點d1,由此確定了區域301的四個關鍵點b1、e1、d1、c1。同樣的方法可用於後視角的服裝圖片，得到區域303的四個關鍵點b1′、e1′、d1′、c1′。由於前後視角的服裝的相對位置關係是已知的，由此可得區域301和區域303的四個關鍵點的對應關係，即b1對應b1′，e1對應e1′,d1對應d1′,c1對應c1′。根據四個關鍵點的對應關係，可建立縫合線，即b1b1′、e1e1′、d1d1′、c1c1′的縫合線。類似的思想可用於服裝其他視角劃分出相關區域，並在相關區域確定關鍵點，並找到不同區域的關鍵點的對應關係，然後建立關鍵點與關鍵點之間的縫合關係。最後利用關鍵點、縫合線，在三維空間中將多個服裝區域縫合製作成服裝的三維模型。

查找關鍵點的第二種方法是：利用人體模特的深度信息，在關節模型庫中進行搜索，獲取人體模特的關節點，再投影至服裝上查找出關鍵點。首先建立關節模型庫，該關節模型庫中存儲有大量的人體關節模型，包括：左肩、右肩、左肘關節、右肘關節、左腕關節、右腕關節、左手、右手、左臀部、右臀部、左膝蓋、右膝蓋、左踝關節、右踝關節、左腳、右腳。

方法一中的人體骨架關節點為骨架的點，此關節模型不同於人體骨架，其包含了各關節的具體輪廓及其內外關節點。根據人體模特的深度信息，換算出各深度點之間曲率的關係，到關節模型庫中進行搜索匹配曲率關係相同的點，如圖7所示，其為模型庫中左臂的關節模型，其包含了左肩401、左外肘關節402、左內肘關節403、左外腕關節405、左內腕關節406。根據人體模特的深度信息，匹配可以得到左肩的關節點，將該關節點投影至服裝前後視角兩張彩色圖像上，如圖8a和8b，將左肩點(從著裝人體模特角度看)投影至前視角的b2點和後視角的b2′。當以豎直線通過b2點時，與服裝的相交處可找到一些點，如前視角的點c2,後視角的點c2′。直線b2c2將所述前視角的服裝圖片劃分成兩個區域，區域501和區域502；直線b2′c2′將所述後視角的服裝圖片劃分成兩個區域，區域503和區域504。對前視角的服裝圖片，從右往左以豎直線掃描，可得到點e2,即橫線坐標值最大的點為點e2,並且對區域501來說，縱向坐標值最大的點為點d2,由此確定了區域501的四個關鍵點b2、e2、d2、c2。同樣的方法可用於後視角的服裝圖片，得到區域503的四個關鍵點b2′、e2′、d2′、c2′。由於前後視角的服裝的相對位置關係是已知的，由此可得區域201和區域203的四個關鍵點的對應關係，即b2對應b2′，e2對應e2′,d2對應d2′,c2對應c2′。根據四個關鍵點的對應關係，可建立縫合線，即b2b2′、e2e2′、d2d2′、c2c2′的縫合線。類似的思想可用於服裝其他視角劃分出相關區域，並在相關區域確定關鍵點，並找到不同區域的關鍵點的對應關係，然後建立關鍵點與關鍵點之間的縫合關係。最後利用關鍵點、縫合線，在三維空間中將多個服裝區域縫合製作成服裝的三維模型。

為了進一步提高服裝關鍵點的精度，將方法一種得到的關鍵點和方法二中得到的關鍵點進行置信度分析，分別對b1和b2，b1′和b2′，e1和e2，e1′和e2′、d1和d2，d1′和d2′，c1和c2，c1′和c2′進行加權平均，獲得更加精確的關鍵點，然後建立關鍵點與關鍵點之間的縫合關係。最後利用關鍵點、縫合線，在三維空間中將多個服裝區域縫合製作成服裝的三維模型。根據上述三種方法生成的三維虛擬服裝模型，不僅快速、自動、高效，且最終獲得的服裝模型效果更加真實。

以上內容是結合具體/優選的實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，其還可以對這些已描述的實施方式做出若干替代或變型，而這些替代或變型方式都應當視為屬於本發明的保護範圍。