基於單個攝像機的沉浸式戶外活動交互平臺的實現方法
2023-06-09 16:39:51
基於單個攝像機的沉浸式戶外活動交互平臺的實現方法
【專利摘要】基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，基於混合現實技術，結合計算機圖形學技術，提供一種應用在戶外大屏幕的人機互動方法，通過高清攝像採集技術及人體骨骼重建技術，實時計算用戶的骨骼，當指定的相關部位到達觸發區域，則自動觸發事先設置的增強現實的信息，並將採集到的現實中用戶姿態圖像與增強的二維畫面或三維虛擬模型疊加，通過戶外高清LED大屏幕顯示給用戶。最終，用戶可以在大屏幕中看到真實與虛擬相結合的互動效果。
【專利說明】基於單個攝像機的沉浸式戶外活動交互平臺的實現方法
【技術領域】
[0001]本發明屬於計算機圖像處理【技術領域】，涉及混合現實技術，為一種特別面向戶外大屏幕的基於混合現實的人機互動方法。
【背景技術】
[0002]當前主流的混合現實應用大都是為低於30英寸以下屏幕開發，由於戶外活動的要求，一般都採用至少大於100英寸的LED高清大屏幕作為展示屏幕。另一方面，當前主要的用戶動作肢體交互方式為僅依靠圖形學方式計算和圖形學方式結合紅外及深度探測方式進行計算，這種方式較著名的設備為微軟的Kinect，該方式要求用戶在一定的範圍內運動，才能夠較為準確的計算測定，由於該設備是為低於60英寸的電視屏幕準備，因此該設備工作的最佳距離設定在距離屏幕的2至3米。對於戶外至少100英寸以上的大屏幕，該距離顯然不能滿足要求，本發明採用僅依靠圖像學的人體骨骼重建方法進行計算，配合使用高清攝像機，能夠戶外大屏幕的要求，將用戶的活動空間設定在最佳觀看距離。
【發明內容】
[0003]本發明針對現有技術中的問題，結合計算機圖形學技術和混合現實技術，提供一種應用在戶外大屏幕的人機互動方法，通過高清攝像採集技術及人體骨骼重建技術，實時計算用戶的骨骼，並以計算結果實現人機互動功能。最終，用戶可以在大屏幕中看到真實與虛擬相結合的互動效果。
[0004]本發明的技術方案為:基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，基於混合現實技術，將真實世界中單個攝像機採集的用戶姿態圖像輸入混合現實伺服器，在混合現實伺服器中與事先設定的增強內容疊加，並通過戶外大屏幕顯示給用戶，所述增強內容包括二維畫面和三維虛擬模型，用戶利用不同的姿態同事先設定的增強內容進行互動，所述交互平臺的實現方法具體包括以下步驟:
[0005]首先執行配準訓練，包含二個步驟:
[0006]I)準備階段，對戶外的真實世界與混合現實伺服器的虛擬世界進行配準:
[0007]11)在地面上劃一條垂直於戶外大屏幕的垂直線，垂足位於戶外大屏幕底邊中
佔.[0008]12)在所述垂直線上確定用戶交互定位點，用戶交互定位點與戶外大屏幕距離為基準長度LI，基準長度LI大於戶外大屏幕的高度；
[0009]13)將真實攝像機放置於用戶交互定位點上方高於1.5米的位置，真實攝像機鏡頭方向保持水平且面向戶外大屏幕，即攝像機拍攝內容為整個大屏幕；在虛擬世界中設置對應於現實世界的交互場景，包括與現實中戶外大屏幕相同尺寸及相同位置的虛擬戶外大屏幕、虛擬用戶交互定位點以及虛擬攝像機，虛擬攝像機與虛擬戶外大屏幕的距離為基準長度LI』，LI』等於LI，虛擬攝像機拍攝的內容為整個虛擬大屏幕；將虛擬攝像機同真實攝像機所拍攝的畫面相疊加，以真實世界的戶外大屏幕作為參照物，對真實世界的戶外大屏幕的尺寸及虛擬戶外大屏幕的尺寸進行至少一次的配準；
[0010]14)在真實世界中，將真實攝像機由用戶交互定位點移動至位於戶外大屏幕側邊或頂部的工作位置，並在用戶交互定位點上，以垂直於地面，也即平行於戶外大屏幕樹立一個基準尺L2，L2的高度大於等於I米；
[0011]15)移動虛擬攝像機至虛擬世界中對應於步驟14)真實攝像機的工作位置，並在虛擬世界中的用戶交互定位點上，以垂直於地面，樹立一個同真實世界相對應的虛擬基準尺L2』，L2』的高度大於等於I米且等於L2，以真實基準尺L2為參照物，對真實基準尺L2和虛擬基準尺L2』進行配準；
[0012]16)保存此時虛擬世界場景的位置和角度信息；
[0013]2)補充配準階段:
[0014]21)在真實世界中，將真實攝像機放置於戶外大屏幕側邊或頂部的工作位置，根據真實攝像機的圖像採集範圍選定用戶的互動位置，在選定的互動位置處貼上觸發圖標，同時將觸發圖標的範圍內作為用戶的活動範圍，即超過此活動範圍的動作將得不到識別；
[0015]22)在虛擬世界中，對應於真實世界的相同位置處設定虛擬觸發圖標，以真實觸發圖標為參照物進行配準，將本次配準調後得到對場景位置和角度的調整信息同準備階段I)配準後獲得的虛擬世界場景的位置和角度信息合併，得到最優的場景位置和角度信息；
[0016]完成配準訓練後，進入實時跟蹤階段；
[0017]3)實時跟蹤階段:
[0018]31)用戶站在觸發圖標上後，由真實攝像機獲得觸發圖標被遮擋信息，由系統自動或人工觸發虛擬世界中的相關信息，併疊加至真實世界採集的圖像，獲得混合現實的效果;
[0019]32 )根據圖像採集裝置採集到的圖像，對用戶的三維運動骨骼進行重建，在獲得用戶的肢體位置信息後，事先設定的增強信息按照設置好的要求同用戶的肢體位置信息進行交互。
[0020]步驟13)所述真實戶外大屏幕的尺寸及虛擬戶外大屏幕的尺寸的配準為:將真實攝像機拍攝的畫面同虛擬攝像機拍攝的圖像進行融合，獲得混合現實的圖像，並在戶外大屏幕上顯示；根據顯示的圖像通過縮放調整虛擬世界的比例，使得虛擬戶外大屏幕同真實戶外大屏幕獲得重合，保存並固定此時的虛擬世界比例尺。
[0021]步驟15)所述真實基準尺L2及虛擬基準尺L2』的配準為:將真實攝像機拍攝的畫面同虛擬攝像機拍攝的圖像進行融合，獲得混合現實的圖像，並在戶外大屏幕上顯示，通過微調虛擬攝像機的位置及角度，使得虛擬基準尺L2』與真實基準尺L2重合，虛擬戶外大屏幕中線及真實戶外大屏幕中線重合；將此時的虛擬攝像機的位置和角度進行記錄，並設置為最終工作位置和角度。
[0022]所述戶外大屏幕為不低於100英寸的LED屏幕，解析度大於等於720P。
[0023]所述真實攝像機為高清攝像機，解析度大於等於720P。
[0024]在實時跟蹤階段，在真實攝像機所採集的平面圖像中劃定觸發區域，當用戶的三維運動骨骼位置數據處於觸發區域內時，觸發事先設置好的相對應的增強現實內容信息，向用戶展示。
[0025]步驟32)中，採用現有算法「運動圖像序列的人體三維運動骨架重建」，在第一幀畫面中對用戶骨骼進行標定，之後利用三維人體模型知識和運動連續性依次建立每個圖像的人體運動骨架。
[0026]本發明結合計算機圖形學技術和混合現實技術，提供一種應用在戶外大屏幕的人機互動方法。本發明利用二階段進階式配準方法，提供了一種新穎的針對戶外沉浸式人機互動系統的高效配準方法。本發明僅利用一臺高清攝像機即可完成配準直至工作的全部的模塊，相比多個攝像機的傳統系統，在獲得相同的效果同時，大大降低了系統的複雜程度，提高了系統的運行效率。本發明在配準階段創新性的提出採用基準尺的手段進行定位輔助，在降低配準過程的難度的同時，大大的提高了配準階段的效率和精度，本發明通過高清攝像採集技術及人體骨骼重建技術，實時計算用戶的骨骼框架，並以計算結果實現人機互動功能。最終，用戶可以在大屏幕中看到真實與虛擬相結合的互動效果。在同用戶互動階段，採用新穎的觸發區域的方法對相關互動信息進行觸發，這種能夠彌補戶外情況下人體骨骼採集的精確度不高的劣勢，降低的採集的難度，提高了採集的速度，同時仍能夠滿足互動者的體驗效果。
【專利附圖】
【附圖說明】
[0027]圖1為本發明的工作流程圖。
[0028]圖2為本發明的配準流程圖，包括配準的準備階段和補充配準階段。
[0029]圖3為本發明的裝置示意圖。
[0030]圖4為本發明的配準步驟一實施示意圖。
[0031]圖5為本發明的配準步驟中步驟15)實施示意圖。
[0032]圖6為本發明的補充配準實施示意圖。
[0033]圖7為本發明實際工作時的系統示意圖。
[0034]圖8為本發明實時跟蹤階段步驟32)中的互動觸發方法的示意圖。
【具體實施方式】
[0035]本發明將最前沿的人體骨骼重建技術同混合技術相結合，通過高清攝像採集技術，實時計算用戶的骨骼框架，並以計算結果實現人機互動功能。最終，用戶可以在高清戶外LED大屏幕中看到真實與虛擬相結合的互動效果，這裡高清指解析度大於等於720P。
[0036]本發明通過設置真實攝像機101、混合現實應用伺服器102和戶外大屏幕103，真實攝像機101為高清圖像採集裝置，採集用戶的全身圖像，輸入混合現實應用伺服器102中，混合現實應用伺服器102中對採集圖像中的用戶的骨骼進行三維重建，判定用戶的手、腳等關鍵點的位置信息，當這些關鍵點移動至預先設定的觸發範圍時，即自動觸發或由人工觸發相關的增強信息，並將這些信息呈現在戶外大屏幕103上，戶外大屏幕103為高清LED屏幕。增強信息同原有採集到的圖像相混合，實現混合現實的效果，將混合後的圖像呈現在戶外LED高清顯示大屏上，如圖6，所述的圖像採集裝置為一臺攝像機或一個攝像頭。如圖3，圖4，圖5，圖6和圖7，真實攝像機101進行實時圖像採集，將採集後的數據傳輸至混合現實應用伺服器102中，將觸發的增強信息同採集的用戶504的信息相結合，並將混合的圖像呈現在戶外大屏幕103上，最終實現用戶504同虛擬的增強信息進行交互的效果。
[0037]下面具體說明本發明的實施。[0038]本發明基於混合現實技術，將採集的現實中用戶圖像與事先設定的用於交互目的的三維虛擬模型疊加，並顯示給用戶，如圖7，包括以下步驟:
[0039]I)準備階段，對戶外真實世界與虛擬世界進行配準，如圖4:
[0040]11)在地面上劃一條垂直於戶外大屏幕103的垂直線，垂足位於戶外大屏幕底邊中佔.[0041]12)在所述垂直線上確定用戶交互定位點，用戶交互定位點與戶外大屏幕距離為基準長度L1202，原則上基準長度LI應大於戶外大屏幕的高度；
[0042]13)將真實攝像機放置於用戶交互定位點上方高於1.5米的位置，真實攝像機鏡頭方向保持水平且面向戶外大屏幕；在混合現實伺服器中的虛擬世界中設置對應於現實世界的交互場景，包括與現實中戶外大屏幕相同尺寸及相同位置的虛擬戶外大屏幕、虛擬用戶交互定位點以及虛擬攝像機，虛擬攝像機與虛擬戶外大屏幕的距離為基準長度LI』，LI』等於LI，然後對真實戶外大屏幕的尺寸及虛擬戶外大屏幕的尺寸進行至少一次配準；
[0043]14)在真實世界中，將真實攝像機由用戶交互定位點移動至位於戶外大屏幕側邊或頂部的工作位置，並在用戶交互定位點上，以垂直於地面，也即平行於戶外大屏幕樹立一個基準尺L2，L2的高度大於等於I米；
[0044]15)移動虛擬攝像機至虛擬世界中對應於步驟14)真實攝像機的工作位置，並在虛擬世界中的用戶交互定位點上，以垂直於地面，樹立一個同真實世界相對應的虛擬基準尺L2』，L2』的高度大於等於I米且等於L2，以真實基準尺L2為參照物，對真實基準尺L2和虛擬基準尺L2』進行配準；
[0045]步驟13)配準時，將真實攝像機拍攝的畫面同虛擬攝像機拍攝的圖像進行融合，獲得混合現實的圖像，並在戶外大屏幕上顯示；通過縮放虛擬世界的比例，使得虛擬大屏幕同真實大屏幕獲得重合，保存並固定此時的虛擬世界比例尺；
[0046]步驟15)所述真實基準尺L2及虛擬基準尺L2』的配準為:將真實攝像機拍攝的畫面同虛擬攝像機拍攝的圖像進行融合，獲得混合現實的圖像，並在戶外大屏幕上顯示，通過微調虛擬攝像機的位置及角度，使得虛擬基準尺L2』與真實基準尺L2重合，虛擬戶外大屏幕中線及真實戶外大屏幕中線重合；將此時的虛擬攝像機的位置和角度進行記錄，並設置為最終工作位置和角度。
[0047]2)補充配準階段，如圖6:
[0048]21)在真實世界中，將真實攝像機放置於戶外大屏幕側邊或頂部的工作位置，根據真實攝像機的圖像採集範圍選定用戶的互動位置，在選定的互動位置處貼上觸發圖標402，同時將觸發圖標402的範圍內作為用戶的活動範圍，即超過此活動範圍的動作將得不到識別；
[0049]22)在虛擬世界中，對應於真實世界的相同位置處設定虛擬觸發圖標，通過微調使得虛擬觸發圖標同真實的觸發圖標在混合了真實世界和虛擬世界後的畫面中完全重合，將微調後得到對場景位置和角度的調整信息同準備階段I)配準後獲得的虛擬世界場景的位置和角度信息合併，得到最優的場景位置和角度信息。
[0050]3)實時跟蹤階段，如圖7:
[0051]31)用戶504站在觸發圖標上後，由真實攝像機101獲得觸發圖標被遮擋信息，由系統自動或人工觸發虛擬世界中的相關信息，將增強信息疊加至真實世界採集的圖像，並顯示在戶外大屏幕103上，獲得混合現實的互動效果。
[0052]32 )根據圖像採集裝置採集到的圖像，對用戶的三維運動骨骼進行重建。在獲得用戶的肢體位置信息後，增強信息按照事先設置好的要求同用戶進行交互。
[0053]步驟32)中，採用現有算法「運動圖像序列的人體三維運動骨架重建」，在第一幀畫面中對用戶骨骼進行標定，之後利用三維人體模型知識和運動連續性依次建立每個圖像的人體運動骨架。以實時重建的用戶三維運動骨骼為基礎，計算出用戶相應的位置和角度的六自由度信息，用於確定用戶的肢體位置信息。
[0054]在所採集的平面圖像中劃定觸發區域，如圖8，當用戶的對應骨骼位置數據處於觸發區域內時，如601，602，則會觸發事先設置好的相對應的增強現實內容信息，如爆炸的虛擬煙火效果等。
[0055]由上述可見，本發明專門針對混合現實的戶外交互的特點，提出一種適合戶外特點的定位方法，該方法靈活度高，匹配性好，不需要複雜的裝置，易於實現。將用戶的身體進行三維骨骼模型重建，利用重建後的數據，判定用戶的相關部位是否到達了圖像平面中的觸發區域，一旦到達則自動觸發相應的信息，這種方式對三位骨骼模型重建的精度要求也不高。本發明有利於混合現實應用在戶外交互應用的推廣，設備結構簡單，易於實現，通過用戶親身的交互體驗，由用戶自主獲取信息。
【權利要求】
1.基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，其特徵是基於混合現實技術，將真實世界中單個攝像機採集的用戶姿態圖像輸入混合現實伺服器，在混合現實伺服器中與事先設定的增強內容疊加，並通過戶外大屏幕顯示給用戶，所述增強內容包括二維畫面和三維虛擬模型，用戶利用不同的姿態同事先設定的增強內容進行互動，所述交互平臺的實現方法具體包括以下步驟: 首先執行配準訓練，包含二個步驟: 1)準備階段，對戶外的真實世界與混合現實伺服器的虛擬世界進行配準: 11)在地面上劃一條垂直於戶外大屏幕的垂直線，垂足位於戶外大屏幕底邊中點； 12)在所述垂直線上確定用戶交互定位點，用戶交互定位點與戶外大屏幕距離為基準長度LI，基準長度LI大於戶外大屏幕的高度； 13)將真實攝像機放置於用戶交互定位點上方高於1.5米的位置，真實攝像機鏡頭方向保持水平且面向戶外大屏幕，即攝像機拍攝內容為整個大屏幕；在虛擬世界中設置對應於現實世界的交互場景，包括與現實中戶外大屏幕相同尺寸及相同位置的虛擬戶外大屏幕、虛擬用戶交互定位點以及虛擬攝像機，虛擬攝像機與虛擬戶外大屏幕的距離為基準長度LI』，LI』等於LI，虛擬攝像機拍攝的內容為整個虛擬大屏幕；將虛擬攝像機同真實攝像機所拍攝的畫面相疊加，以真實世界的戶外大屏幕作為參照物，對真實世界的戶外大屏幕的尺寸及虛擬戶外大屏幕的尺寸進行至少一次的配準； 14)在真實世界中，將真實攝像機由用戶交互定位點移動至位於戶外大屏幕側邊或頂部的工作位置，並在用戶交互定位點上，以垂直於地面，也即平行於戶外大屏幕樹立一個基準尺L2，L2的高度大於等於I米； 15)移動虛擬攝像機至虛擬世界中對應於步驟14)真實攝像機的工作位置，並在虛擬世界中的用戶交互定位點上，以垂直於地面，樹立一個同真實世界相對應的虛擬基準尺L2』，L2』的高度大於等於I米且等於L2，以真實基準尺L2為參照物，對真實基準尺L2和虛擬基準尺L2』進行配準； 16)保存此時虛擬世界場景的位置和角度信息； 2)補充配準階段: 21)在真實世界中，將真實攝像機放置於戶外大屏幕側邊或頂部的工作位置，根據真實攝像機的圖像採集範圍選定用戶的互動位置，在選定的互動位置處貼上觸發圖標，同時將觸發圖標的範圍內作為用戶的活動範圍，即超過此活動範圍的動作將得不到識別； 22)在虛擬世界中，對應於真實世界的相同位置處設定虛擬觸發圖標，以真實觸發圖標為參照物進行配準，將本次配準調後得到對場景位置和角度的調整信息同準備階段I)配準後獲得的虛擬世界場景的位置和角度信息合併，得到最優的場景位置和角度信息； 完成配準訓練後，進入實時跟蹤階段； 3)實時跟蹤階段: 31)用戶站在觸發圖標上後，由真實攝像機獲得觸發圖標被遮擋信息，由系統自動或人工觸發虛擬世界中的相關信息，併疊加至真實世界採集的圖像，獲得混合現實的效果； 32)根據圖像採集裝置採集到的圖像，對用戶的三維運動骨骼進行重建，在獲得用戶的肢體位置信息後，事先設定的增強信息按照設置好的要求同用戶的肢體位置信息進行交互。
2.根據權利要求1所述的基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，其特徵是步驟13)所述真實戶外大屏幕的尺寸及虛擬戶外大屏幕的尺寸的配準為:將真實攝像機拍攝的畫面同虛擬攝像機拍攝的圖像進行融合，獲得混合現實的圖像，並在戶外大屏幕上顯示；根據顯示的圖像通過縮放調整虛擬世界的比例，使得虛擬戶外大屏幕同真實戶外大屏幕獲得重合，保存並固定此時的虛擬世界比例尺。
3.根據權利要求1所述的基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，其特徵是步驟15)所述真實基準尺L2及虛擬基準尺L2』的配準為:將真實攝像機拍攝的畫面同虛擬攝像機拍攝的圖像進行融合，獲得混合現實的圖像，並在戶外大屏幕上顯示，通過微調虛擬攝像機的位置及角度，使得虛擬基準尺L2』與真實基準尺L2重合，虛擬戶外大屏幕中線及真實戶外大屏幕中線重合；將此時的虛擬攝像機的位置和角度進行記錄，並設置為最終工作位置和角度。
4.根據權利要求1-3任一項所述的基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，其特徵是所述戶外大屏幕為不低於100英寸的LED屏幕，解析度大於等於720P。
5.根據權利要求1-3任一項所述的基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，其特徵是所述真實攝像機為高清攝像機，解析度大於等於720P。
6.根據權利要求1-3任一項所述的基於單個攝像機的沉浸式戶外活動交互平臺的實現方法，其特徵是在實時跟蹤階段，在真實攝像機所採集的平面圖像中劃定觸發區域，當用戶的三維運動骨骼位置數據處於觸發區域內時，觸發事先設置好的相對應的增強現實內容信息，向用戶展示 。
【文檔編號】G06F3/01GK103543827SQ201310479754
【公開日】2014年1月29日 申請日期:2013年10月14日 優先權日:2013年10月14日
【發明者】李靜 申請人:南京融圖創斯信息科技有限公司