一種基於Kinect體感設備的多視點自由立體交互系統的製作方法

2023-10-19 04:43:32 1

一種基於Kinect體感設備的多視點自由立體交互系統的製作方法
【專利摘要】本發明提出一種基於Kinect體感設備的多視點自由立體交互系統。該系統包括Kinect體感設備、計算機和多視點自由立體顯示器。該系統將多視點自由立體顯示技術、虛擬實境技術和體感技術相結合，利用Kinect體感設備實時獲取人體骨骼數據，由多幀平滑處理後的骨骼數據判斷用戶做出的特定的肢體動作，將肢體動作轉化為與3D虛擬場景交互的控制響應命令，基於GPU實時渲染更新後的3D虛擬場景並生成合成圖像，並輸出至多視點自由立體顯示器上實時顯示，用戶無需佩戴助視設備即可觀看到可交互的立體畫面。
【專利說明】—種基於Kinect體感設備的多視點自由立體交互系統
【技術領域】
[0001]本發明涉及虛擬實境3D (三維)交互技術，更具體地說，本發明涉及基於Kinect體感設備的多視點自由立體交互技術。
【背景技術】
[0002]虛擬實境交互技術是新興的一種綜合集成技術，人們可利用計算機來虛構一個3D世界，並與虛擬的3D世界產生交互作用。目前許多虛擬實境交互系統都採用助視3D顯示器顯示3D虛擬世界，但佩戴助視設備給用戶帶來不便。傳統的硬體交互設備包含了目前常見的滑鼠和鍵盤，也包含了各種數據手套、操縱杆和捕捉器等等。用戶可以通過這些設備與虛擬的3D世界進行交互。然而傳統的交互設備的交互方式略顯單一，且當用戶需要手持或觸摸交互設備時，交互體驗有所降低，特別地，當用戶需完成較複雜的肢體動作時，傳統的交互設備難免成為累贅。
[0003]近年來,體感交互技術蓬勃發展，漸漸走進人們的生活。Kinect體感設備的傳感深度範圍在0.8米到4.0米之間，而自由立體顯示器的最佳觀看距離一般在2米左右，兩者之間的適應距離範圍存在匹配關係。通過Kinect體感設備，用戶可以在不手持或觸摸任何設備的情況下，將肢體動作轉化為與計算機進行溝通的「語言」，自然地實現人與機器之間的交互。通過自由立體顯示器，用戶可以無須佩戴助視設備便可觀看到立體畫面。

【發明內容】

[0004]本發明提出一種基於Kinect體感設備的多視點自由立體交互系統。如附圖1所示，該系統包括Kinect體感設備、計算機和多視點自由立體顯示器。
[0005]所述Kinect體感設備用於獲取用戶的骨骼信息，並將所述骨骼信息傳送至計算機。
[0006]所述計算機用於根據所述Kinect體感設備反饋的骨骼信息判斷用戶做出的肢體動作，並轉換為與3D虛擬場景交互的控制響應命令，計算機的顯卡核心GPU (圖形處理器)用於實時渲染3D虛擬場景而得到多幅視差圖像，並利用GPU並行處理數據的能力快速生成合成圖像。
[0007]所述多視點自由立體顯示器用於顯示生成的合成圖像，使用戶觀看到3D虛擬場景的立體畫面。
[0008]本發明基於Kinect體感設備的多視點自由立體交互系統，其特徵也在於其實現包括以下四個步驟:
步驟1:如附圖2所示，根據Kinect體感設備反饋的骨骼數據流中的追蹤狀態判斷是否有用戶被追蹤到，如果有則從中提取用戶的骨骼數據，並採用平滑算法平衡化骨骼數據中的不規則點，否則退出本次追蹤。
[0009]步驟2:建立與人體常用肢體動作相關的模板庫，每個模板對應於一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中軸上坐標值的變化軌跡、變化範圍及持續時間相關，即模板與肢體動作存在時間域與空間域的對應關係。由步驟I所述平滑處理後的骨骼數據中提取用戶某個骨骼點在骨骼坐標系中軸上的值及其當前時間值。當用戶做出一個與該骨骼點相關的肢體動作時，並利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執行與該模板對應的控制響應命令。
[0010]步驟3:建立與步驟2所述模板庫中各模板相對應的命令響應函數，每個命令響應函數均與3D虛擬場景的切換或世界坐標變換相關。將所述命令響應函數應用於3D虛擬場景，達到與3D虛擬場景交互的目的。
[0011]步驟4:如附圖3所示，採用3D虛擬攝像機對3D虛擬場景進行渲染而獲取多幅視差圖像，為充分利用GPU並行處理數據的能力，採用Pixel Shader (像素著色器)完成多次渲染疊加過程，即對視差圖像進行調製，再由調製後的視差圖像生成合成圖像，最終，將合成圖像輸出至多視點自由立體顯示器上實時顯示。
[0012]本發明提出的基於Kinect體感設備的多視點自由立體交互系統，利用Kinect體感設備獲取用戶的骨骼數據，用戶直接通過肢體動作控制多視點自由立體顯示器中的3D虛擬場景，且實時觀看由自己控制的立體畫面。該系統提高了觀看者與多視點自由立體顯示系統的交互體驗，解決了傳統交互方式中用戶手持或觸摸交互設備而帶來的不便。
【專利附圖】

【附圖說明】
[0013]附圖1為本發明提出的基於Kinect體感設備的多視點自由立體交互系統示意圖。
[0014]附圖2為體感設備獲取骨骼數據流程示意圖。
[0015]附圖3為實時渲染3D虛擬場景並生成合成圖像示意圖。
[0016]上述附圖中的圖示標號為:
I觀看者，2 Kinect體感設備,3計算機,4多視點自由立體顯示器,5 3D物體,6 3D虛擬攝像機，7視差圖像，8調製後的視差圖像，9合成圖像。
[0017]應該理解上述附圖只是示意性的，並沒有按比例繪製。
【具體實施方式】
[0018]下面詳細說明利用本發明一種基於體感技術的多視點自由立體交互系統的一個典型實施例，對本發明進行進一步的具體描述。有必要在此指出的是，以下實施例只用於本發明做進一步的說明，不能理解為對本發明保護範圍的限制，該領域技術熟練人員根據上述本
【發明內容】
對本發明做出一些非本質的改進和調整，仍屬於本發明的保護範圍。
[0019]附圖1為本發明的一種基於Kinect體感設備的多視點自由立體交互系統的示意圖，該系統包括Kinect體感設備、計算機和多視點自由立體顯示器。在本實施實例中Kinect體感設備型號為Kinect for Windows,計算機中的GPU米用NVIDIA GeForce GTX560，多視點自由立體顯示器為21.5英寸的柱透鏡光柵自由立體顯示器，視點數為8，2D解析度為1920 X 1080，光柵相對顯示器的傾斜角度為arctan(-0.4330)。
[0020]在本實施實例中將Kinect體感設備置於多視點自由立體器的正下方，且與其底座位於同一高度。通過Kinect體感設備的馬達調整其交互區域，保證用戶的整個骨骼框架在交互區域範圍內。限定用戶的活動範圍在Kinect體感設備的水平視角範圍小於57.5°，垂直視角範圍小於43.5°，與Kinect體感設備的距離在0.8米到4.0米之間。[0021]Kinect體感設備通過Kinect SDK (軟體開發工具包)中相應API (應用程式接口)獲取用戶的骨骼信息，並將所述骨骼信息通過USB (通用串行總線)數據線傳送至計算機，根據Kinect體感設備反饋的骨骼數據流中的追蹤狀態判斷是否有用戶被追蹤到，如果有則從中提取用戶的骨骼數據，採用霍爾特雙指數平滑算法平衡化骨骼數據中的不規則點，否則退出本次追蹤。
[0022]建立與人體常用肢體動作相關的模板庫，每個模板對應於一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中H z軸上坐標值的變化軌跡、變化範圍及持續時間相關，即模板與肢體動作存在時間域與空間域的對應關係。在本實施實例中，建立了 4個與常用手勢相關的模板，包括向左橫向移動右手、向右橫向移動右手、向前縱向推動右手和左右揮動右手。由平滑處理後的骨骼數據中提取用戶某個骨骼點在骨骼坐標系中軸上的值及其當前時間值，並分別保存在預定義的數組中。當用戶做出一個與該骨骼點相關的肢體動作時，並利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執行與該模板對應的控制響應命令。以用戶向左橫向移動右手為例，其須滿足四個匹配條件:第一，右手新一幀骨骼數據的z值都應大於前一幀骨骼數據的z值；第二，右手新一幀骨骼數據的值與前一幀骨骼數據的_7值的差值的絕對值在一個給定的範圍內，這個範圍設定為20釐米；第三,右手移動起始位置與停止位置之間的時間差在250毫秒和1500毫秒之間；第四，整個右手移動的距離在Z軸上至少有40釐米的長度。
[0023]建立模板庫中各模板相對應的命令響應函數，每個命令響應函數均與3D虛擬場景的切換或世界坐標變換相關，其中包括3D物體的平移變換矩陣、旋轉變換矩陣和縮放變換矩陣。將所述命令響應函數應用於3D虛擬場景，達到與3D虛擬場景交互的目的。以用戶向左橫向移動右手為例，該模板的命令響應函數為生成一個使3D物體繞軸旋轉30°的世界變換矩陣，保存在預定義的矩陣變量中，並將得到的矩陣變量與原有的世界變換矩陣相乘。當Kinect體感設備識別到用戶發出該動作，將相應地改變對應3D物體的狀態。
[0024]在本實施實例中，採用一種離軸平行式的3D虛擬攝像機對3D虛擬場景進行渲染。設置視點數#為8，攝像機間距V為5毫米，零視差平面離攝像機距離/為400毫米，攝像機的水平視角為30°。將#個離軸攝像機按照等距離V平行排列後，各攝像機視野截錐體的光軸左邊距離7和右邊距離r按數學關係，
【權利要求】
1.一種基於Kinect體感設備的多視點自由立體交互系統，其特徵在於，該系統包括Kinect體感設備、計算機和多視點自由立體顯示器； 所述Kinect體感設備用於獲取用戶的骨骼信息，並將所述骨骼信息傳送至計算機； 所述計算機用於根據所述Kinect體感設備反饋的骨骼信息判斷用戶做出的肢體動作，並轉換為與3D虛擬場景交互的控制響應命令，計算機的顯卡核心GPU (圖形處理器)用於實時渲染3D虛擬場景而得到多幅視差圖像，並利用GPU並行處理數據的能力快速生成合成圖像； 所述多視點自由立體顯示器用於顯示生成的合成圖像，使用戶觀看到3D虛擬場景的立體畫面。
2.如權利要求1所述的一種基於Kinect體感設備的多視點自由立體交互系統，其特徵在於其實現包括以下四個步驟: 步驟1:根據Kinect體感設備反饋的骨骼數據流中的追蹤狀態判斷是否有用戶被追蹤至IJ，如果有則從中提取用戶的骨骼數據，並採用平滑算法平衡化骨骼數據中的不規則點，否則退出本次追蹤； 步驟2:建立與人體常用肢體動作相關的模板庫，每個模板對應於一個肢體動作，且每個模板與人體骨骼點在骨骼坐標系中H z軸上坐標值的變化軌跡、變化範圍及持續時間相關，即模板與肢體動作存在時間域與空間域的對應關係，由步驟I所述平滑處理後的骨骼數據中提取用戶某個骨骼點在骨骼坐標系中z，_F，軸上的值及其當前時間值，當用戶做出一個與該骨·骼點相關的肢體動作時，並利用匹配算法判斷該動作是否與模板庫中某個模板相匹配，若匹配成功，則執行與該模板對應的控制響應命令； 步驟3:建立與步驟2所述模板庫中各模板相對應的命令響應函數，每個命令響應函數均與3D虛擬場景的切換或世界坐標變換相關，將所述命令響應函數應用於3D虛擬場景，達到與3D虛擬場景交互的目的； 步驟4:採用3D虛擬攝像機對3D虛擬場景進行渲染而獲取多幅視差圖像，為充分利用GI3U並行處理數據的能力，採用Pixel Shader (像素著色器)完成多次渲染疊加過程，即對視差圖像進行調製，再由調製後的視差圖像生成合成圖像，最終，將合成圖像輸出至多視點自由立體顯示器上實時顯示。
【文檔編號】G06T15/00GK103440677SQ201310323324
【公開日】2013年12月11日 申請日期:2013年7月30日 優先權日:2013年7月30日
【發明者】王瓊華, 李述利, 張 傑, 劉軍, 鄧歡 申請人:四川大學