複雜場景下人體表面三維重建方法

2023-06-08 01:52:51

專利名稱：複雜場景下人體表面三維重建方法
技術領域：
本發明涉及一種複雜場景下人體表面三維重建方法，可廣泛用於人機互動，虛 擬現實，人體信息數位化，視頻編碼，人體運動分析等領域。屬於三維重建領域。
背景技術：
隨著社會信息化和數位化程度的與日俱增，計算機視覺領域軟硬體技術的發 展，依靠單個攝像機採集的單一人體二維圖像信息，已經無法滿足更高級的應用。 而利用多個攝像機對人體的三維信息進行採集，可以同時獲取人體的尺寸，空間方 位，以及顏色等信息，為相關的產業和領域(人機互動，虛擬實境，人體信息數字 化，視頻編碼，人體運動分析等)提供了基礎性的技術支撐。目前的人體表面三維 重建技術都假設場景簡單，並以此在圖像中分割出人的剪影和顏色信息，再進行重 建。 一旦場景比較複雜，現有的三維重建方法往往無法重建出理想的人體三維表面， 而在實際中，理想的實驗室環境是較難獲得的。另外，為了重建技術的實用化，重 建速度也是一項重要指標。如何在複雜的場景下對人體表面進行快速三維重建成為 工程實踐中亟待解決的問題。
經對現有技術文獻的檢索發現，目前利用多個攝像機對人體表面進行三維重建 的方法主要分為兩類 一類是基於單一幾何信息(人體剪影)的方法，另一類是基
於光度測定信息的方法。G. Cheung等人於2000年發表在CVPR (計算機視覺和模式 i只另U)上的i侖文"A real time system for robust 3D voxel reconstruction of human motions.(—個魯棒的人體運動三維體素重建實時系統)"向人們展示了這項基於 幾何信息進行三維重建的技術方案。基於幾何剪影的方法的優點是算法比較簡單， 程序執行速度快。然而，基於單一剪影的方法有一個很大的缺點對噪聲和複雜背 景的抗幹擾能力不強，前景提取困難。目前提出來的方案大都在條件嚴格受控制的
4室內實驗室環境，不太適合實際的工程應用。K. Kutulakos等人於2000年發表在 《International Journal on Computer Vision (計算機視覺國際期刊)》上的論文"A theory ofshape by space carving (—個關於通過空間雕刻進行重建的理論)"對基於 光度信息進行重建的方法進行了細緻地闡述。基於光度檢測信息的三維重建算法相 比基於剪影信息的算法有其優點，可以免去剪影提取這一步。但是這種方法有2個 重要的缺點第一，這種算法對攝像機標定的精度十分敏感，標定精度低會使算法 崩潰。其次，這種算法計算複雜度很高，速度較慢。這個主要是因為需要判斷物體 表面每個點是否可見。所以在通常情況下，儘管基於剪影的三維重建方法對使用環 境要求更苛刻，但出於實用性，人們更喜歡採用基於剪影的三維重建方法。

發明內容
本發明的目的在於克服現有技術中的不足，提供一種複雜場景下人體表面三維 重建方法，能在場景複雜、檢測噪聲等實際工程應用的環境下，快速地重建人體三 維表面，為相關產業和技術的後續處理提供豐富和準確的信息。
為實現上述目的，本發明首先從各個攝像機採集到的多視角圖像中提取人體目 標的前景圖像。為了融合多視角圖像的信息，各視角圖像中的前景圖像並不是通過 簡單的二值化圖像區別各個像素點是前景還是背景，而是首先計算出圖像中各個點
屬於前景和背景的概率，獲得前景相似概率圖。這是對圖像的一種隱性的前景提取， 為下一步的多視圖信息融合提供了豐富的信息。之後再融合各幅視圖的信息，通過 從當前幀的結果來預測下幀感興趣區域，快速重建人體三維表面。 本發明的方法通過以下具體步驟實現-
1. 採用多路攝像機從不同角度對人體運動進行視頻採集。
2. 把從各個攝像機採集到的圖像讀入計算機，將第一幀的整個圖像作為圖像感 興趣區域，將第一幀的整個人體目標活動空間作為空間感興趣區域。
3.在圖像感興趣區域內進行背景建模，按下式計算每個像素點的前景概率，屍("IK =鴨- = i) +《16> o)《=o)
上式中，P(6/H))代表在r視圖中像素點p是前景的先驗概率，P(6/^l)代表在r視圖 中像素點p是背景的先驗概率，P(V516/ -l)代表在像素屬於背景的條件下像素所在 點顏色的概率分布，P(Irp |6/ =0)代表在像素屬於前景的條件下像素所在點顏色的概 率分布；根據每個像素點的前景概率，得到人體目標前景相似概率圖。
4.在空間感興趣區域內對多幅圖像的信息進行融合，按下式計算空間中每個三 維體素被人體佔據的概率
屍(《=1| {/U =
I S, == 1) +i S, = O)P(S, = 0)
上式中，P(S產1)代表三維體素i被前景佔據的概率；P(S屍O)代表三維體素i未被前 景佔據的概率;P((IhlS產l)代表三維體素i被佔據的條件下其在r幅圖像上投影的顏 色概率分布，用上一步得到的前景相似概率圖來模擬；P({I}r IS產O)表示三維體素i 未被佔據的條件下其在r幅圖像上投影的顏色概率分布，用單高斯背景建模的方法 得到。
5. 對空間中每個三維體素被人體佔據的概率進行濾波和二值化，去除代表人體 內部的體素，獲得人體表面三維體素；對投影到圖像中同一區域的若干個三維體素， 以圖像中此區域的顏色作為距離圖像平面最近的三維體素的顏色；由此獲得當前幀 的人體表面三維體素的坐標和顏色信息。
6. 以當前幀的人體表面三維體素在圖像平面的投影為基礎，構成一個矩形區域 作為下一幀的圖像感興趣區域；以當前幀三維體素所在空間為基礎，構成一個立方 體區域作為下一幀的空間感興趣區域；採用步驟3)、 4)、 5)的方法，獲取下一幀 的人體表面三維體素的坐標和顏色信息；直至完成複雜場景下人體表面三維重建。
本發明與現有技術相比的顯著效果在於第一，結合單像素和超像素的信息很好地提取各個視圖中每個像素點的前景概 率信息；利用信息融合的方法對各個視圖中的前景概率信息進行融合，最後魯棒地 獲得三維體素被佔據的概率，在此基礎上進一步重建人體三維表面。由於利用了多 個視圖的信息，並用隱變量對噪聲進行了建模，所以本發明對單個視圖中的光照變 化、攝像機標定誤差、攝像機圖像採集噪聲、前景檢測誤差等幹擾具有較高的魯棒 性，保證了重建的質量。
第二，通過從當前幀的結果來預測下幀感興趣區域，利用了幀間的連續信息， 對每幀需要計算的各個視角圖像和空間的感興趣區域都大大減小，使得重建速度取 得很大的提升。
通過以上兩點，本發明克服了現有技術在實際工程應用方面難以解決的困難 重建質量和重建速度。因此真正實現了在複雜場景下較快速度地對人體表面進行三 維重建。
本發明針對在虛擬實境，人機互動，人體信息數位化，視頻編碼，人體運動分 析等實際應用的需要，利用魯棒的圖像前景提取技術，信息融合技術和感興趣區域 的估計技術，在複雜場景下較快速地實現了高質量的的人體表面三維重建，具有重 建速度快、精確度高、魯棒性強等優點。


圖1為本發明實施例場地攝像機布置示意圖。 圖2為本發明實施例場景及運動人體目標。 圖3為各個視角圖像的前景相似概率圖。 圖4為重建的人體三維表面(從3個視角顯示)。
具體實施例方式
以下結合附圖和實施例對本發明的技術方案作進一步詳細說明。以下實施例在 以本發明技術方案為前提下進行實施，給出了詳細的實施方式和過程，但本發明的 保護範圍不限於下述的實施例。
7為了更好地理解本發明提出的方法，本實施例選取一幀同時由16個攝像機採 集得到的16幅對應圖像進行重建，具體實施步驟如下(使用VS2005開發平臺實現)
1. 採用16路攝像機從不同角度對人體運動進行視頻採集，攝像機的分布如圖 1所示，圖2為一幀視頻所對應的採集得到的16幅圖像。本實施例使用了兩臺個人 計算機， 一臺進行圖像數據採集， 一臺進行數據處理，即人體表面三維重建。兩臺 電腦通過TCP/IP協議進行通信和圖像數據傳輸。數據採集的電腦使用支持16路攝 像機視頻同時採集的硬碟機進行視頻採集，把視頻存入硬碟，並傳輸給另一臺進行 三維重建的計算機。
2. 把從各個攝像機採集到的圖像傳入負責數據處理的計算機，將第一幀的整 個圖像作為圖像感興趣區域，將第一幀的整個人體目標活動空間作為空間感興趣區 域；
3. 計算各視角圖像的前景相似概率圖。對於第一幀16路圖像，把整幅圖像(原 始大小)作為圖像感興趣區域，在整幅圖像內計算前景相似概率圖。本實施例為方 便起見只採用一幀作說明，而對於多幀圖像則從第二幀開始，則將上幀的重建結果 投影回圖像平面來估計各個圖像平面的感興趣區域。相似概率圖的計算僅需在感興 趣區域內，從而可以大大提高算法效率。
在圖像感興趣區域內進行背景建模，按下式計算每個像素點的前景概率，
《I K = 1)《=1) +1K = 0)《=o) 上式中，P(6/^0)代表在r視圖中像素點p是前景的先驗概率，P(6，l)代表在r 視圖中像素點p是背景的先驗概率，P(I/ IV =1)代表在像素屬於背景的條件下像素 所在點顏色的概率分布，Pftp IV -O)代表在像素屬於前景的條件下像素所在點顏色 的概率分布。
本實施例中，取前景和背景的先驗概率(P(ZvM))和P(6/^1))均為0.5，即沒有 任何先驗信息。取背景顏色概率分布P(1^16/^0))均為高斯分布，顏色空間為RGB空間，像素值取值範圍在0到255之間，方差設定為36，中心點即為背景圖像該點 的像素值。取前景顏色概率分布(P(I門6/^1)為均勻分布，顏色空間為RGB空間， 像素值取值範圍在0到255之間。
下面就本實施例第一路圖像中的一個像素點的計算過程進行說明。該點像素值 為RGB(135，139,112)，該點所對應的背景的像素值為RGB(135,139，118)，將這兩個
像素值分別代入(1)式中各項概率分布，得到(1)式等式右邊各項的計算結果-P(V=0)= 0.5 P0/=l)=0.5
P(Ir^RGB(135，139,112,/M)"0.000175431
P(Irp=RGB(135,139，112)|6/=l)=l/(255*255*255)=0.0000000603086
根據上述四項計算結果，即可求得該像素點前景概率
P(V=0 lIrp=RGB( 135,139,112))=0.00034
以相同的方法計算圖像中所有點的前景概率，進而得到16路圖像前景相似概率圖。 圖3為本實施例計算得到的一幀視頻所對應的16路圖像的前景相似概率圖，每
個像素點的取值在0到1之間，顏色的深淺代表其屬於前景的概率大小。圖3中，
前景概率大的深色區域顯示出人體目標的形態，而淺色區域為背景。
4.在空間感興趣區域內對16幅圖像的信息進行融合，按下式計算空間中每個
三維體素被人體佔據的概率
■rIS=i)i>(5;=i)
/>({/}, l S, = l)屍OS, = 1) +I = O)屍(S, =0) ( 2 )
式中，P(S「l)代表三維體素i被前景佔據的概率，在沒有先驗信息的情況下設定為 0.5; P(S^O)代表三維體素i未被前景佔據的概率，在沒有先驗信息的情況下設定為 0.5; P((IWS屍O)表示三維體素i未被佔據的條件下其在r幅圖像上投影的顏色概率 分布，用單高斯背景建模的方法得到，P((I川S產1)代表三維體素i被佔據的條件下 其在r幅圖像上投影的顏色概率分布
9W化I S =1) = A仍M I S =諷機I S =1)
=聰=1)..,《=1),3=1)
(3)式中第j幅視圖中的前景顏色分布上一步得到的前景相似概率來模擬
戶(/J5;"),卜0l/;) (4)
5. 對空間中每個三維體素被人體佔據的概率進行濾波和二值化，去除代表人體 內部的體素，獲得人體表面三維體素；對投影到圖像中同一區域的若干個三維體素， 以圖像中此區域的顏色作為距離圖像平面最近的三維體素的顏色，由此獲得當前幀 的人體表面三維體素的坐標和顏色信息，圖4為從3個視角顯示本實施例通過上述 方法重建得到的一幀三維人體表面。
6. 以當前幀的人體表面三維體素在圖像平面的投影為基礎，構成一個矩形區域 作為下一幀的圖像感興趣區域；以當前幀三維體素所在空間為基礎，構成一個立方 體區域作為下一幀的空間感興趣區域；採用步驟3)、 4)、 5)的方法，獲取下一幀 的人體表面三維體素的坐標和顏色信息；直至完成複雜場景下人體表面三維重建。
權利要求
1、一種複雜場景下人體表面三維重建方法，其特徵在於包括如下具體步驟1)採用多路攝像機從不同角度對人體運動進行視頻採集；2)把從各個攝像機採集到的圖像讀入計算機，將第一幀的整個圖像作為圖像感興趣區域，將第一幀的整個人體目標活動空間作為空間感興趣區域；3)在圖像感興趣區域內進行背景建模，按下式計算每個像素點的前景概率，<![CDATA[ P ( brp = 0 | Irp )=1- P ( Irp | brp = 1 )P ( brp = 1 ) P ( Irp | brp = 1 )P ( brp = 1 )+P ( Irp | brp = 0 )P ( brp = 0 ) ]]>上式中，<![CDATA[ P ( brp = 0 ) ]]> top= "91" left = "46"/>代表在r視圖中像素點p是前景的先驗概率，<![CDATA[ P ( brp = 1 ) ]]> top= "91" left = "144"/>代表在r視圖中像素點p是背景的先驗概率，<![CDATA[ P ( Irp | brp = 1 ) ]]> top= "99" left = "96"/>代表在像素屬於背景的條件下像素所在點顏色的概率分布，<![CDATA[ P ( I rp | brp = 0 ) ]]> top= "107" left = "84"/>代表在像素屬於前景的條件下像素所在點顏色的概率分布；根據每個像素點的前景概率，得到人體目標前景相似概率圖；4)在空間感興趣區域內對多幅圖像的信息進行融合，按下式計算空間中每個三維體素被人體佔據的概率<![CDATA[ P ( Si = 1 | { I }r )= P ( { I }r | Si = 1 )P ( Si = 1 ) P ( { I }r | Si = 1 )P ( Si = 1 )+P ( { I }r | Si = 0 )P ( Si = 0 ) ]]>上式中，P(Si＝1)代表三維體素i被前景佔據的概率；P(Si＝0)代表三維體素i未被前景佔據的概率；P({I}r|Si＝1)代表三維體素i被佔據的條件下其在r幅圖像上投影的顏色概率分布，用上一步得到的前景相似概率圖來模擬；P({I}r|Si＝0)表示三維體素i未被佔據的條件下其在r幅圖像上投影的顏色概率分布，用單高斯背景建模的方法得到；5)對空間中每個三維體素被人體佔據的概率進行濾波和二值化，去除代表人體內部的體素，獲得人體表面三維體素；對投影到圖像中同一區域的若干個三維體素，以圖像中此區域的顏色作為距離圖像平面最近的三維體素的顏色；由此獲得當前幀的人體表面三維體素的坐標和顏色信息；6)以當前幀的人體表面三維體素在圖像平面的投影為基礎，構成一個矩形區域作為下一幀的圖像感興趣區域；以當前幀三維體素所在空間為基礎，構成一個立方體區域作為下一幀的空間感興趣區域；採用步驟3)、4)、5)的方法，獲取下一幀的人體表面三維體素的坐標和顏色信息；直至完成複雜場景下人體表面三維重建。
全文摘要
本發明涉及一種複雜場景下人體表面三維重建方法，基於魯棒的圖像前景提取和信息融合理論自動提取人體表面的三維信息，首先從各個攝像機採集到的多視角圖像中提取人體目標的前景圖像，計算出圖像中各個點屬於前景和背景的概率，獲得前景相似概率圖，再融合各幅視圖的信息，計算出空間體素被人體佔據的概率，進而重建人體三維表面。本發明具有易於實現、魯棒性強、精確度高、重建速度快等優點，可以為在人機互動，虛擬實境，人體信息數位化，人體運動分析等相關應用領域提供快速可靠的人體表面三維信息。
文檔編號G06T17/00GK101650834SQ20091005492
公開日2010年2月17日 申請日期2009年7月16日 優先權日2009年7月16日
發明者嚴駿馳, 劍 劉, 劉允才 申請人:上海交通大學