基於等心率步行速度換算在被動式漫遊控制模塊中的應用的製作方法

2023-04-28 11:55:21

基於等心率步行速度換算在被動式漫遊控制模塊中的應用的製作方法
【專利摘要】基於等心率步行速度換算在被動式漫遊控制模塊中的應用，被動式控制模塊對採集到的操作者腿部運動速度通過等心率感受作為依據進行換算，以換算得到所對應的日常步行速度來驅動漫遊視點的移動。構建等心率步行速度換算函數包括三個步驟：步驟一，記錄操作者在被動模塊中進行各種速率的步行時所對應的心率。步驟二，另再實驗記錄操作者在平地上以不同速率步行時的心率。步驟三，獲取了「採集速率」、「日常速率」與不同心率的正相關趨勢方程後，通過解方程得到「等心率步行速度換算函數」。本發明首次提出「等心率步行速度換算函數」並應用於虛擬實境漫遊系統的被動式控制模塊，能夠帶給虛擬實境系統的操作者更加接近於真實漫遊的距離感。
【專利說明】
基於等心率步行速度換算在被動式漫遊控制模塊中的應用

【技術領域】
[0001]本發明涉及虛擬實境漫遊系統的設計，具體提出採用等心率步行速度換算在虛擬實境漫遊系統的被動式漫遊控制模塊中的應用。

【背景技術】
[0002]虛擬實境技術(Virtual Reality technologies)隨著其自身的不斷發展,特別是其沉浸感的不斷增強，正在被應用到越來越多的訓練類、體驗類、研究類領域，比如:針對特定空間場景的消防虛擬演練、復原歷史空間場景以提供跨時空的體驗、對建築設計的不同方案進行互動體驗評價、對城市街道尺度進行比較研究。在這些應用中，該技術的場景內容可定製與互動方式可控的優勢被充分的發揮了出來。然而，對於其中的一大部分與步行漫遊行為相關的應用，卻因為目前的虛擬實境技術在方向感與距離感上提供的體驗缺陷，受到了很大的局限。
[0003]由於人的方向感是由視覺、體覺、內耳前庭系統共同作用形成的，所以對那些通過鍵盤、滑鼠、遊戲杆、姿勢感知設備等間接控制漫遊的虛擬系統而言，操縱者看到的左右轉動的畫面與其靜止的身體所帶來的體覺、內耳前庭感受是相互矛盾的。所以，常有操縱者使用後出現頭暈噁心的症狀。對於因感知渠道不同所造成的方向判斷差異也已經被發現。
[0004]同時，由於步行者對於距離的感受除了依靠立體視覺外，對於那些無法一目看盡的環境，往往需要他通過綜合步行的速度感與時間感來獲得。而上述間接性的漫遊控制設備再次將這種時空感受加以隔絕。即在操作者用手指操控漫遊的過程中，其由心肺荷載帶來的速度感與由虛擬畫面變化所帶來的速度感毫無關係。研究已發現，這種速度感上的錯位，可以直接引發距離感知的缺陷(虛擬環境下所感受到的距離比真實環境偏小)。
[0005]面對上述問題，有研究發現如果先讓操作者在與虛擬環境局部所對應的真實空間中進行一段時間的體驗，再進行完整的虛擬漫遊，就可以增強虛擬環境中的上述兩項感受。然而，這與虛擬實境技術空間可定製的優勢相違背；又有研究提出了「冪函數的指數」方法來對虛擬場景中所感受的尺度進行換算，以估計出相對應的真實世界的尺度；而更直接的方法是讓操作者在一個巨大的、空曠的、平坦的真實空間中佩戴頭戴顯示設備與定位裝置展開步行體驗。但這對實驗的可行性提出了巨大的挑戰。因此，又有研究提出了「動作壓縮技術(mot1n compress1n techniques) 」,即以一定的算法來增加邁步與轉身的虛擬效果，從而縮小實際需要的真實空間。但顯然如果方法涉及到了折算計算，那就會帶來難以預測的誤差。
[0006]目前的被動式模塊的系統技術組成，一般都由:與腳掌特殊鞋底配合的光滑踏面、運動方向偵測設備、操作者重心限制機構組成。正是由於這樣的系統組成，迫使操作者的腿部軌跡與日常生活中有所區別，在步幅與運動疲勞感上的區別就尤為明顯，所以，目前的被動式模塊都必須對採集到的操作者腿部運動速度(「採集速度」)進行換算，得到所對應的日常步行速度(日常速度)，來驅動漫遊視點的移動，以達到真切的虛擬漫遊效果。目前的換算採用定比例線性縮放的方法(如Wizdish就採用碗內採集速度乘以2.5的經驗值來換算)。


【發明內容】

[0007]本發明提出了「等心率速度換算函數」在被動式漫遊控制模塊中的應用，來解決採集速度與日常速度的換算問題，以實現提高模塊沉浸感真實度以及達到更為真切的虛擬漫遊效果的目的。
[0008]為此，本發明給出的技術方案表徵為:
[0009]一種基於等心率步行速度換算在被動式漫遊控制模塊中的應用方法，其特徵在於，被動式控制模塊對採集到的操作者腿部運動速度(「採集速度」)通過等心率感受作為依據進行換算，以換算得到所對應的日常步行速度(「日常速度」)來驅動漫遊視點的移動。「採集速度」與「日常速度」之間通過等心率感受來作為換算依據，構建該「等心率步行速度換算函數」的方法包括三個步驟:
[0010]步驟一，記錄操作者在被動模塊中進行各種速率的步行時所對應的心率。
[0011]實驗的第一階段:實驗員從被試樣本中隨機讓同比例男女在模塊中先後以最休閒的漫步速和最快的跑步速進行運動，分別記錄其「採集速率」。以測得數據的最小值與最大值為界，建立「採集速率」的測量值域，並將其均分得到若干N個「採集速度」測量點。
[0012]實驗的第二階段:實驗員請樣本被試操作者佩戴紅外心率監測設備在被動式控制模塊中，從低到高分別以所述N個測量點速度進行步行，記錄其對應的心率。每位被試將被記錄最多N對數據。
[0013]將記錄到的數據畫出「採集速率」與心率散點圖，再分別按線性擬合出趨勢方程，如下:
[0014]女非運動組(R2=0.4487):R=0.2101Vp+70.540，Vp e [57, 310], R e [70, 163](式 I)
[0015]女運動組(R2=0.4511):R=0.1888Vp+69.172, Vp e [51,330], Re [55,165](式 2)
[0016]男非運動組(R2=0.6151):R=0.1959Vp+76.113, Vp e [70,367], Re [74,155](式 3)
[0017]男運動組(R2=0.6481):R=0.1542Vp+67.858，Vp e [75，410], R e [67，136](式 4)
[0018]其中:R:心率(次/分鐘)，Vp:步行平臺中的速度(像素/秒)。
[0019]步驟二，與步驟一實驗對應，另再實驗記錄操作者在平地上以不同速率步行時的心率，也分別按線性擬合出趨勢方程如下:
[0020]女非運動組(R2=0.5214):R=11.272Vt+61.619, Vt e [2.5，6.5], Re [60,159](式 5)
[0021]女運動組(R2=0.4256):R=9.1474Vt+63.437，Vt e [2.5, 6.5], R e [57，155](式 6)
[0022]男非運動組(R2=0.5237):R=9.2792Vt+71.069，Vt e [2.5, 6.5], R e [74，173](式 7)
[0023]男運動組(R2=0.4016):R=8.0176Vt+67.132，Vt e [2.5, 6.5], R e [65，145](式 8)
[0024]其中:R:心率(次/分鐘)，Vt:跑步機上的速度(公裡/小時)。
[0025]步驟三，獲取了「採集速率」、「日常速率」與不同心率的正相關趨勢方程後，通過解方程得到「等心率步行速度換算函數」如下:
[0026]女非運動組:Vt=0.0186Vp+0.7914，Vp e [92, 307], Vt e [2.5，6.5](式 9)
[0027]女運動組:Vt=0.0206Vp+0.6270，Vp e [91, 285], Vt e [2.5，6.5](式 10)
[0028]男非運動組:Vt=0.0211Vp+0.5436，Vp e [93, 282], Vt e [2.5，6.5](式 11)
[0029]男運動組:Vt=0.0192Vp+0.0906，Vp e [125, 334], Vt e [2.5，6.5](式 12)
[0030]其中:Vp:步行平臺中的速度(像素/秒)，Vt:跑步機上的速度(公裡/小時)，\與\速度的方向相同。
[0031]本發明相較於國內外的同類被動式控制模塊，首次提出「等心率步行速度換算函數」並應用於虛擬實境漫遊系統的被動式控制模塊，從而以心率體感的一致性解決了被動式模塊廣泛存在的「採集速度」與「日常速度」的換算問題，能夠帶給虛擬實境系統的操作者更加接近於真實漫遊的距離感。
[0032]顯然，在應用被動式模塊以追求更加真實的步行感受(特別是方向感與速度感)時，如何較為科學地確定採集速度與日常速度之間的換算方法，成為了決定模塊沉浸感真實度的關鍵性環節。因此，本發明應用方法將極大地影響基於步行行為的相關訓練類、體驗類、研究類應用的可信度。

【專利附圖】

【附圖說明】
[0033]以下結合附圖和【具體實施方式】，對本發明技術方案作進一步詳實說明。
[0034]圖1實施例一應用所在的虛擬實境漫遊系統的整個結構示意圖。
[0035]圖2步行姿態驅動流程示意圖。
[0036]圖3實施例一步行承載平臺剖面。
[0037]圖4實施例一與全景式顯示設備配合使用的漫遊控制模塊現場。
[0038]圖5實施例二各組「採集速率」與心率散點圖。
[0039]圖6實施例二各組「日常速率」與心率散點圖。

【具體實施方式】
[0040]實施例一應用
[0041]本發明所在的應用，如圖1所示的以步行姿態驅動的虛擬實境漫遊系統，包括被動式漫遊控制模塊、Quest3D設置模板(不屬於本發明技術方案的貢獻部分，已屬現有技術)以及接受外界直接提供的投影顯示系統、三維場景建模、三維漫遊引擎(三者也都不屬於本發明技術方案的貢獻部分，已屬現有技術)。
[0042]在面向公共建築的空間認知與尋路研究中，基於被動式漫遊控制模塊的虛擬實境系統可以向被試操作者提供，相較於鍵盤、滑鼠等間接控制設備，更為逼真的方向感與距離感，從而大大提高採集到路徑數據的可信度。本實施例為此搭建的被動式模塊包括步行姿態承載平臺和步行姿態視頻識別驅動系統兩大部分，如圖1所示。
[0043]所述的步行承載平臺，如圖3所示，為一倒錐臺碗狀底座，該步行承載平臺始終確保步行者在運動過程中處於底座中央區域，已為現有技術。例如，可以選擇在2013年12月04日已公開的深碗裝平臺(「簡易萬向步行平臺」，中國專利號201320296143.2)，也可以採用其他被動式模塊中任意常見的淺碗狀底座。本發明被動式漫遊控制模塊中所述的步行承載平臺部分，也不屬於本發明技術方案的貢獻部分。
[0044]如圖2所示的流程圖:
[0045]LED雙色光信號輸出:為佩戴在操作者膝蓋上的LED藍綠光標(應對偏暖的環境光)或紅黃光標(應對偏冷的環境光)，如圖4所不。
[0046]攝像頭圖像信號輸入:為安置於步行承載平臺正上方處的攝像頭，如圖4所示。
[0047]步行姿態識別步驟:用以在三維場景漫遊中獲得用戶的步行信息。該步行姿態識別步驟，依次包括雙色光斑識別、像素矢量轉換兩個分步驟。其中:雙色光斑識別程序主要負責從置於頂部上方的攝像頭採集的視頻數據中識別出佩戴在雙腿上的LED雙色光斑信號，鎖定其在畫面上的像素位置；像素矢量轉換程序將按照攝像頭與承載平臺的安裝參數，以及用戶的體格參數，將畫面上的象素位置轉化成符合其兩腿運動頻度的雙矢量數據流。
[0048]漫遊心率速度轉換步驟:將像素矢量轉換的數據流根據心率轉換模型計算得到虛擬場景中的漫遊速度矢量。
[0049]漫遊的驅動步驟:通過Quest3D場景模板在常用虛擬實境軟體Quest3D中讀取漫遊心率速度轉換輸出的漫遊速度矢量，並完成對漫遊的驅動。
[0050]本實施例被動式漫遊控制模塊，是基於Quest3D平臺開發，與各種頭戴式顯示設備(HMD)或者全景式顯示設備配合使用(如圖4所示)。步行姿態識別是通過攝像機獲取步行類行為圖像，基於圖像識別，生成步行行為的運動矢量，傳遞給Quest3D環境設置模板，模板讀取運動矢量，實現在三維模型中的漫遊，並將畫面通過行為人四周的投影儀投至屏幕上，獲得虛擬實境系統的體驗。具體的說，攝像頭實時捕捉操作者的頂視圖，當其邁步時，畫面中將輪流出現藍色與綠色的光斑。此時，系統軟體則將根據開源算法OpenCV v2.3.1在視頻的每一幀畫面中識別到光標的像素坐標。在步行過程中，腿的可見光斑離底座中心由近及遠的像素距離除以經過的時間，對腿的「採集速度」(單位:像素/秒)經過本發明「等心率步行速度換算函數」的換算，就可以得到「日常速度」(單位:米/秒)。再以此乘以上述經歷的時間，就得到了在虛擬環境中，觀察點移動一步的距離。
[0051]實施例二「等心率步行速度換算函數」的構建
[0052]針對所有被動式虛擬環境漫遊控制模塊都面臨的「如何解決『採集速度』與『日常速度』的換算問題，本發明提出了「等心率步行速度換算函數」的概念。
[0053]本發明思路:考慮到操作者在被動式模塊中的步行姿態與日常生活中的有所差異，他們之間的轉換必須立足於人體的某種感官一致性。首先，考慮到上述被動式模塊允許操作者在原地轉身，即兩種速度間的方向感知並沒有受到幹擾，是一致的，所以速度轉化的問題其實就變成了速率轉化的問題；其次，考慮到人的步行速率與其可隨時感受的心跳頻率(心率)存在著某種正相關性，由此發明首次提出以同等的心率感受為轉換標準，通過分別對「採集速率」與「日常速率」的變化所對應的心率變化進行採集，以其作為橋梁來實現兩者間的換算。
[0054]「等心率步行速度換算函數」的構建，是由「採集速率」與心率記錄、「日常速率」與心率記錄、解速率換算方程，這三個步驟組成。
[0055]2.1 「米集速率」與心率記錄
[0056]該項實驗將記錄操作者在被動模塊中進行各種速率的步行時，所對應的心率。實驗員在~■年級本科生中志願招募了 113名被試。
[0057]實驗的第一階段:實驗員從被試中隨機邀請10位女學生和10位男學生，讓他們在模塊中先後以最休閒的漫步速(心率感受與博物館參觀情景下的相仿)和最快的跑步速(在底座內能夠保持平衡的最大速率)進行運動，分別記錄其「採集速率」。以測得數據的最小值(50像素/秒)與最大值(350像素/秒)為界，建立之後「採集速率」的測量值域，並將其均分得到5個「採集速度」測量點(50、125、200、275、350像素/秒)。
[0058]實驗的第二階段:實驗員請其他93名被試操作者在模塊中，從低到高分別以這5個速度進行步行，記錄其對應的心率。首先，這些被試佩戴紅外心率監測設備，靜坐10分鐘後記錄其靜坐心率。然後，實驗員一邊令其在被動式模塊中步行，一邊監視其「採集速度」，通過口令微調使其速度在測量點左右範圍內保持步速5分鐘，記錄其對應的心率。每位被試將被記錄最多5對數據(當被試的最低速度已經十分接近第二個測量點時，或他的最大速度無法明顯超過第四測量點時，測量得到的數據會出現少於5對的情況)，整個過程歷時不超過40分鐘。
[0059]這93名被試(41名女，52名男，平均年齡19.2歲)被分為四組:女#運動組(19名，身高154-173釐米，體重41-65公斤，靜坐心率54-100次/分鐘)、女(22名，身高160-176釐米，體重44-75公斤，靜坐心率45-91次/分鐘(32名，身高162-188釐米，體重53-77公斤，靜坐心率57-97次/分鐘)、男(20名，身高165-190釐米，體重54-86公斤，靜坐心率60-89次/分鐘)。各組的「採集速率」與心率散點圖，如圖5所示，再分別按線性擬合出趨勢方程，如下式1-式4:
[0060]女非運動組(R2=0.4487):R=0.2101Vp+70.540，Vp e [57, 310], R e [70, 163](式 I)
[0061]女運動組(R2=0.4511):R=0.1888Vp+69.172, Vp e [51,330], Re [55,165](式 2)
[0062]男非運動組(R2=0.6151):R=0.1959Vp+76.113，Vp e [70，367], R e [74，155](式 3)
[0063]男運動組(R2=0.6481):R=0.1542Vp+67.858，Vp e [75，410], R e [67，136](式 4)
[0064]其中:R:心率(次/分鐘)，Vp:步行平臺中的速度(像素/秒)。
[0065]2.2 「日常速率」與心率記錄
[0066]與上述實驗對應，該項實驗記錄操作者在平地上以不同速率步行時的心率。操作者依然佩戴心率無線監測設備，實驗員令其靜坐10分鐘，記錄其靜坐心率，確保與該被試在之前實驗中的靜坐心率相同；然後令其在跑步機上步行(速率跟不上時可跑步)，設定的速率從每小時2.5公裡(參觀者的步行速度一般為0.75米每秒，即2.7公裡每小時)到6.5公裡(日常步行的設計時速為5公裡每小時)，以I公裡每小時幅度遞增，每次遞增後勻速維持5分鐘，並記錄心率。如果操作者無法跟上跑步機的速度時實驗提前終止。
[0067]上輪93名被試參加了改組實驗，4組的「日常速率」與心率圖，如圖6所示，再分別按線性擬合出趨勢方程，如下式5-式8:
[0068]女非運動組(R2=0.5214):R=11.272Vt+61.619, Vt e [2.5，6.5], Re [60,159](式 5)
[0069]女運動組(R2=0.4256):R=9.1474Vt+63.437，Vt e [2.5, 6.5], R e [57，155](式 6)
[0070]男非運動組(R2=0.5237):R=9.2792Vt+71.069，Vt e [2.5, 6.5], R e [74，173](式 7)
[0071]男運動組(R2=0.4016):R=8.0176Vt+67.132, Vt e [2.5，6.5], Re [65,145](式 8)
[0072]其中:R:心率(次/分鐘)，Vt:跑步機上的速度(公裡/小時)。
[0073]2.3解速率換算方程
[0074]在先後獲取了 「採集速率」、「日常速率」與不同心率的正相關趨勢方程後，就可以通過解方程得到各組的「等心率步行速度換算函數」，參見以下函數式9-式12。值得注意的是，鑑於未來操作者個體間的差異，為了確保函數因變量取值具有實際意義，函數將其值域限定於「日常速率」的採集速度範圍(2.5-6.5公裡每小時)內，並對應地限定了自變量的定義域。對於未來採集到的超出定義域的Vp值，建議採用最為接近的定義域極值替代。根據這一函數，就可以解決上述自主研發的被動式虛擬漫遊控制模塊中從「採集速度」到「日常速度」的換算問題。
[0075]女非運動組:Vt=0.0186Vp+0.7914，Vp e [92, 307], Vt e [2.5，6.5](式 9)
[0076]女運動組:Vt=0.0206Vp+0.6270，Vp e [91, 285], Vt e [2.5，6.5](式 10)
[0077]男非運動組:Vt=0.021 ?νρ+0.5436，Vp e [93, 282], Vt e [2.5,6.5](式 11)
[0078]男運動組:Vt=0.0192Vp+0.0906，Vp e [125, 334], Vt e [2.5，6.5](式 12)
[0079]其中:Vp:步行平臺中的速度(像素/秒)，Vt:跑步機上的速度(公裡/小時)，\與' 速度的方向相同。
【權利要求】
1.一種基於等心率步行速度換算在被動式漫遊控制模塊中的應用方法，其特徵在於，被動式控制模塊對採集到的操作者腿部運動速度(「採集速度」)通過等心率感受作為依據進行換算，以換算得到所對應的日常步行速度(「日常速度」)來驅動漫遊視點的移動，採集速度」與「日常速度」之間通過等心率感受來作為換算依據，構建該「等心率步行速度換算函數」的方法包括三個步驟: 步驟一，記錄操作者在被動模塊中進行各種速率的步行時所對應的心率實驗的第一階段:實驗員從被試樣本中隨機讓同比例男女在模塊中先後以最休閒的漫步速和最快的跑步速進行運動，分別記錄其「採集速率」，以測得數據的最小值與最大值為界，建立「採集速率」的測量值域，並將其均分得到若干N個「採集速度」測量點， 實驗的第二階段:實驗員請樣本被試操作者佩戴紅外心率監測設備在被動式控制模塊中，從低到高分別以所述N個測量點速度進行步行，記錄其對應的心率，每位被試將被記錄最多N對數據， 將記錄到的數據畫出「採集速率」與心率散點圖，再分別按線性擬合出趨勢方程，如下:
女非運動組(R2=O- 4487):R=0.2101Vp+70.540，Vp e [57, 310], R e [70, 163](式 I)
女運動組(R2=0.4511):R=0.1888Vp+69.172, Vp e [51, 330], R e [55，165](式 2)
男非運動組(R2=0.6151):R=0.1959Vp+76.113, Vp e [70，367], Re [74,155](式 3)
男運動組(R2=O- 6481):R=0.1542Vp+67.858，Vp e [75，410], R e [67，136](式 4) 其中:R:心率(次/分鐘)，Vp:步行平臺中的速度(像素/秒)； 步驟二，與步驟一實驗對應，另再實驗記錄操作者在平地上以不同速率步行時的心率，也分別按線性擬合出趨勢方程如下:
女非運動組(R2=0.5214):R=11.272Vt+61.619, Vt e [2.5，6.5], Re [60,159](式 5)
女運動組(R2=O- 4256):R=9.1474Vt+63.437，Vt e [2.5, 6.5], R e [57，155](式 6)
男非運動組(R2=O- 5237):R=9.2792Vt+71.069，Vt e [2.5, 6.5], R e [74，173](式 7)
男運動組(R2=0.4016):R=8.0176Vt+67.132, Vt e [2.5，6.5], Re [65,145](式 8) 其中:R:心率(次/分鐘)，Vt:跑步機上的速度(公裡/小時)； 步驟三，獲取了「採集速率」、「日常速率」與不同心率的正相關趨勢方程後，通過解方程得到「等心率步行速度換算函數」如下:
女非運動組:Vt=0.0186Vp+0.7914，Vp e [92, 307], Vt e [2.5，6.5](式 9)
女運動組:Vt=0.0206Vp+0.6270，Vp e [91, 285], Vt e [2.5，6.5](式 10)
男非運動組=Vt=0.021 ?νρ+0.5436，Vp e [93, 282], Vt e [2.5,6.5](式 11)
^sma.=Vt=O- 0192Vp+0.0906, Vp e [125, 334], Vt e [2.5,6.5](式 12) 其中:VP:步行平臺中的速度(像素/秒)，Vt:跑步機上的速度(公裡/小時)，Vp與Vt速度的方向相同。
【文檔編號】G06F19/00GK104460976SQ201410056454
【公開日】2015年3月25日 申請日期:2014年2月19日 優先權日:2014年2月19日
【發明者】孫澄宇, 陳海粟, 白文峰, 柯勳, 塗鵬 申請人:同濟大學