障礙物規避裝置及障礙物規避方法
2023-10-07 12:12:14
障礙物規避裝置及障礙物規避方法
【專利摘要】本發明提供一種障礙物規避裝置及障礙物規避方法。障礙物檢測部從外界的圖像中檢測針對佩戴頭戴式顯示器的用戶的障礙物。距離計算部計算從所檢測到的障礙物至頭戴式顯示器的佩戴者的距離。障礙物置換部將所檢測到的上述障礙物置換為虛擬對象物。虛擬對象物合成部將虛擬對象物在頭戴式顯示器所顯示的虛擬空間內合成於與距障礙物的距離相應的位置。
【專利說明】障礙物規避裝置及障礙物規避方法
【技術領域】
[0001]本發明涉及佩戴頭戴式顯示器時的障礙物規避裝置及方法。
【背景技術】
[0002]已實現了將遊戲機所連接的頭戴式顯示器佩戴於頭部，一邊看頭戴式顯示器所顯示的畫面，一邊操作控制器等玩遊戲的情況。由於在使用遊戲機所連接的通常的臺式顯示器時，用戶的視野範圍會廣及到顯示器畫面的外側，故有時無法將注意力集中於顯示器的畫面、或缺少投入在遊戲中的感覺。在這一點上，若佩戴頭戴式顯示器，則用戶看不到除頭戴式顯示器所顯示的影像以外的物體，故投入在影像世界中的感覺增強，有提高遊戲的娛樂性的效果。
[0003]但是，由於在佩戴頭戴式顯示器的狀態下，用戶無法看到外界，故發生過在一邊玩遊戲一邊伸手、活動身體時碰撞到周圍的障礙物或使桌子上的物品摔落的情況。
【發明內容】
[0004]本發明是鑑於這樣的課題而研發的，其目的在於提供一種能夠避免佩戴者在佩戴頭戴式顯示器時碰撞到障礙物的障礙物規避裝置及方法。
[0005]為解決上述課題，本發明的一個方案的障礙物規避裝置包括:障礙物檢測部，從外界的圖像中檢測針對佩戴頭戴式顯示器的用戶的障礙物；障礙物置換部，將所檢測到的上述障礙物置換為虛擬對象物；以及虛擬對象物合成部，將上述虛擬對象物合成於上述頭戴式顯示器所顯示的虛擬空間內。
[0006]本發明的另一個方案是障礙物規避方法。該方法包括:從外界的圖像中檢測針對佩戴頭戴式顯示器的用戶的障礙物的障礙物檢測步驟；將所檢測的上述障礙物置換為虛擬對象物的障礙物置換步驟；以及將上述虛擬對象物合成於上述頭戴式顯示器所顯示的虛擬空間內的虛擬空間合成步驟。
[0007]此外，將以上構成要素的任意組合、本發明的表現形式在方法、裝置、系統、電腦程式、數據結構、記錄介質等間變換後的實施方式，作為本發明的方案也是有效的。
【專利附圖】
【附圖說明】
[0008]圖1是頭戴式顯示器的外觀圖。
[0009]圖2是頭戴式顯示器的功能結構圖。
[0010]圖3是本實施方式的障礙物規避系統的結構圖。
[0011]圖4是說明佩戴頭戴式顯示器的用戶的周邊環境的圖。
[0012]圖5是本實施方式的障礙物規避裝置的功能結構圖。
[0013]圖6是說明圖5的障礙物規避裝置的障礙物規避步驟的流程圖。
[0014]圖7是說明為避開障礙物而被顯示於頭戴式顯示器的虛擬對象物的例子的圖。
[0015]圖8是說明為避開障礙物而被顯示於頭戴式顯示器的虛擬對象物的其它例子的圖。
【具體實施方式】
[0016]本發明將敘述用於參考的優選實施例。實施例並非限制本發明的範圍，而是本發明的例示。
[0017]圖1是頭戴式顯示器100的外觀圖。頭戴式顯示器100包括主體部110、前頭部接觸部120、以及側頭部接觸部130。
[0018]頭戴式顯示器100是被佩戴於用戶的頭部，用于欣賞顯示器所顯示的靜圖像和動圖像等、以及聽從頭戴式耳機輸出的聲音和音樂等的顯示裝置。
[0019]通過被內置或外接於頭戴式顯示器100的GPS (Global Positioning System:全球定位系統)等位置傳感器，能夠計測用戶的位置信息。此外，通過內置或外接於頭戴式顯示器100的姿勢傳感器，能夠計測佩戴頭戴式顯示器100的用戶的頭部朝向、傾斜這樣的姿
勢信息。
[0020]主體部110中包括顯示器、位置信息取得傳感器、姿勢傳感器、以及通信裝置等。前頭部接觸部120及側頭部接觸部130包括能夠計測用戶的體溫、脈搏、血液成分、出汗、腦電波、腦血流等生體信息的生體信息取得傳感器。
[0021]頭戴式顯示器100中還可以設有用於拍攝用戶眼睛的攝像頭。通過被安裝於頭戴式顯示器100的攝像頭，能夠檢測出用戶的視線、瞳孔的移動、眨眼動作等。
[0022]在此，說明佩戴頭戴式顯示器100時的障礙物規避方法，但本實施方式的障礙物規避方法不限定於狹義上的頭戴式顯示器100，還能夠適用於佩戴眼鏡、眼鏡型顯示器、眼鏡型攝像頭、頭戴式耳機、頭戴式耳麥(帶麥克風的頭戴式耳機)、耳塞式耳機、耳環、耳掛式攝像頭、帽子、帶攝像頭的帽子、髮帶等的情況。
[0023]圖2是頭戴式顯示器100的功能結構圖。
[0024]控制部10是處理並輸出圖像信號、傳感器信號等信號、命令、數據的主處理器。輸入接口 20從觸摸面板及觸摸面板控制器接收操作信號、設定信號並提供給控制部10。輸出接口 30從控制部10接收圖像信號並使其顯示於顯示器。背光燈32將背光燈提供給液晶顯示器。
[0025]通信控制部40介由網絡適配器42或天線44，通過有線或無線通信將從控制部10輸入的數據發送到外部。通信控制部40還介由網絡適配器42或天線44，通過有線或無線通信從外部接收數據並輸出給控制部10。
[0026]存儲部50臨時存儲控制部10處理的數據、參數、操作信號等。
[0027]GPS單元60按照來自控制部10的操作信號，從GPS衛星接收位置信息並提供給控制部10。無線單元62按照來自控制部10的操作信號，從無線基站接收位置信息並提供給控制部10。
[0028]姿勢傳感器64檢測頭戴式顯示器100的主體部110的朝向和傾斜等姿勢信息。通過適當組合陀螺儀傳感器(gyro sensor)、加速度傳感器、角加速度傳感器等來實現姿勢傳感器64。
[0029]外部輸入輸出端子接口 70是用於連接USB (Universal Serial Bus:通用串行總線)控制器等外圍設備的接口。外部存儲器72是快閃記憶體存儲器等外部存儲器。[0030]時鐘部80按照來自控制部10的設定信號設定時間信息並將時間數據提供給控制部10。
[0031]攝像頭單元90包括鏡頭、圖像(image)傳感器、測距傳感器等拍攝所需的結構。測距傳感器是通過照射紅外光等而拍攝反射光、使用三角測量原理來測定距被攝物體的距離的傳感器。
[0032]控制部10能夠將圖像和文本數據提供給輸出接口 30並使其顯示於顯示器、或提供給通信控制部40而使得其被發送到外部。
[0033]圖3是本實施方式的障礙物規避系統的結構圖。
[0034]多個用戶的頭戴式顯示器100a、IOOb通過無線通信連接於遊戲機300a或通過連接USB等周邊設備的接口與遊戲機300a連接。另一個遊戲機300b上被連接一個用戶的頭戴式顯示器100c。
[0035]遊戲機300a、300b(總稱為遊戲機300)及伺服器200連接於網絡400。遊戲機300介由網絡400從伺服器200接受遊戲、電影等內容(contents)。伺服器200可以將能夠由多個用戶介由網絡400來參加的遊戲等在線應用提供給遊戲機300。
[0036]圖4是說明佩戴頭戴式顯示器100的用戶的周邊環境的圖。用戶在佩戴頭戴式顯示器100的狀態下操作遊戲機300的控制器310。根據遊戲應用，有時手持控制器310地移動手或身體。在佩戴頭戴式顯示器100的狀態下，由於用戶無法看到外界，有時身體會碰撞到桌子500或椅子510等，有使桌子500上的物品掉下來並碰撞到身體造成傷害等危險性。
[0037]此外，當頭戴式顯示器100是不僅能夠觀看影像、還能夠觀看外界的透射式頭戴式顯示器(也稱作透視型頭戴式顯示器)時，能夠看到周圍的情況，但在將注意力集中於畫面所顯示的內容時，有時會不能足夠地去意識周圍的障礙物而會產生同樣的問題。
[0038]因此，在本實施方式中，檢測存在於用戶周圍的現實的障礙物，將障礙物置換為虛擬對象物並顯示於頭戴式顯示器100的畫面中，由此使得用戶能夠自然地避開障礙物。
[0039]圖5是本實施方式的障礙物規避裝置600的功能結構圖。該圖描繪有著眼於功能而描繪的功能塊圖，這些功能塊能夠僅由硬體、僅由軟體、或由它們的組合以各種形式實現。
[0040]障礙物規避裝置600被安裝於頭戴式顯示器100所連接的遊戲機300，但可以將障礙物規避裝置600的至少一部分功能結構安裝於頭戴式顯示器100側的控制部10。或者，可以將障礙物規避裝置600的至少一部分功能結構安裝於伺服器200。
[0041]障礙物檢測部610從由頭戴式顯示器100上所裝的攝像頭140拍攝的外界的圖像中檢測障礙物。使用從圖像抽取對象物的現有的算法來檢測障礙物。通過拍攝動圖像來檢測對象物的移動，由此能夠區分人和動物等移動的對象物和桌子、陳列品等靜止的對象物。當頭戴式顯示器100上沒裝配攝像頭時，可以使用遊戲機300所連接的攝像頭拍攝外界的圖像來檢測障礙物。此外，當使用被設置於頭戴式顯示器100的攝像頭140來檢測障礙物時，若佩戴頭戴式顯示器100的用戶僅看著前方，則無法檢測用戶周圍的障礙物，故可以將誘導用戶轉動頭部朝向周圍的信息顯示於頭戴式顯示器100。
[0042]距離計算部620基於由障礙物檢測部610檢測到的障礙物計算距用戶的距離。能夠通過被內置於攝像頭單元90中的測距傳感器來測定從用戶到障礙物的距離。
[0043]若佩戴頭戴式顯示器100的用戶移動，則用戶與障礙物的位置關係會發生變化，故在用戶正佩戴頭戴式顯示器100時，障礙物檢測部610按預定周期從該外界的拍攝圖像中檢測出障礙物，距離計算部620測定距障礙物的距離。
[0044]障礙物置換部630將由障礙物檢測部610檢測出的障礙物置換為被顯示於遊戲等應用程式的虛擬空間內的虛擬對象物。原則上使虛擬對象物的大小與由攝像頭140拍攝到的障礙物的大小相對應，但也可以根據由距離計算部620計算出的距障礙物的距離，使得距用戶越近的物體、越被更大地顯示成虛擬對象物。
[0045]虛擬對象物合成部640將由障礙物置換部630從障礙物置換而來的虛擬對象物合成於遊戲等虛擬空間中，並使其顯示於頭戴式顯示器100。虛擬空間顯示部640將所合成的圖像通過無線來發送給頭戴式顯示器100、或介由USB纜線等來傳送。
[0046]虛擬對象物合成部640可以在與由距離計算部620所取得的距障礙物的距離對應的虛擬空間內的位置將虛擬對象物重疊於背景圖像，由此生成合成圖像。
[0047]虛擬對象物是使用戶避免接近的虛擬空間內的對象物，例如是柵欄、山崖、沙袋、箱子、表示禁止進入的標識等。優選選擇在虛擬空間中有意義的、並非不自然的物體。通過將這樣的虛擬對象物配置於虛擬空間，用戶能夠在投入於遊戲等應用程式時自然地避免碰撞到與虛擬對象物對應的現實中的障礙物。
[0048]距離計算部620實時計算用戶與障礙物的距離，警告部650在距障礙物的距離不足預定閾值的情況下，從頭戴式顯示器處100發出警告音、或使遊戲機300的控制器310振動等來發出警告，使得不進一步接近障礙物。
[0049]圖6是說明障礙物規避裝置600的障礙物規避步驟的流程圖。圖7及圖8是說明為避開障礙物而被顯示於頭戴式顯示器100的虛擬對象物的圖。
[0050]通過被設置於用戶所佩戴的頭戴式顯示器100的攝像頭和距離測定傳感器來取得用戶周圍的狀況(S10)。障礙物檢測部610解析所取得的圖像數據來檢測障礙物(S12)。距離計算部620使用通過距離測定傳感器而得到的被攝物體的深度信息來計算用戶與障礙物的距離(S14)。
[0051]障礙物置換部630決定用於置換由障礙物檢測部610檢測到的障礙物的虛擬對象物的種類(S16)。虛擬對象物是符合頭戴式顯示器100所顯示的內容的、並非不自然的物體，是被用戶意識為要避免碰撞的物體。虛擬對象物合成部640將虛擬對象物合成於虛擬空間內，並使其顯示於頭戴式顯示器100上(S18)。
[0052]例如，在圖7的例子中，用戶佩戴頭戴式顯示器100，將控制器310作為槍枝而使用，來玩射擊遊戲。當在靠用戶的身體很近的前方有障礙物時，在遊戲的虛擬空間內，作為置換該障礙物的虛擬對象物，使柵欄520顯示於靠用戶的槍枝很近的前方，使得用戶不會將控制器310伸向前方、或向前移動身體。由此，用戶能夠自然地在柵欄520前方操作相當於槍枝的控制器310，避免越過柵欄520，換言之，避免越過障礙物地操作控制器310。
[0053]在圖8的例子中，用戶正佩戴頭戴式顯示器100、玩角色扮演遊戲，通過控制器310操作遊戲角色在虛擬空間內探索。當在用戶的右前方有障礙物時，以滑坡530為虛擬對象物而顯示於向右前方前進的道路上，將顯示有「危險」的虛擬告示牌顯示於向右前方前進的道路的前方，使得用戶不會向右前方伸手或移動身體。
[0054]在保齡球、網球、桌球等體育遊戲的情況下，可以配合障礙物的位置而限制玩的範圍、或設置犯規線。此外，可以在遊戲應用程式側進行控制，使得網球的球等不會到達現實中的有障礙物的位置，由此使得用戶不會碰撞到障礙物。在桌面遊戲等中，有時佩戴頭戴式顯示器100的用戶自身成為桌面遊戲的組件(piece)而移動，可以在遊戲應用程式側生成桌面遊戲的方邊(square)，使得避開存在現實障礙物的地方，以使用戶不會碰撞到障礙物。
[0055]當障礙物是人和動物那樣的移動的物體時，障礙物置換部630選擇化身(avatar)或機器人等移動的對象物作為用於置換障礙物的虛擬對象物，虛擬對象物合成部640配合實際的障礙物的運動地將移動的對象物合成於虛擬空間內。
[0056]警告部650對用戶與障礙物的距離是否不足閾值(S20)進行判斷，當距障礙物的距離不足閾值時(S20的Y)，通過從頭戴式顯示器100中發出的聲音、頭戴式顯示器100所顯示的文本、控制器310的振動等來向用戶發出警告(S22)。在遊戲的情況下，可以在遊戲角色靠近作為障礙物的虛擬對象物時，在遊戲中給予減分、或對遊戲角色造成危害等不利，由此間接地給與用戶靠近障礙物的警告。
[0057]以上基於實施方式對本發明進行了說明。本領域技術人員當理解實施方式為例示，其各構成要素和各處理過程的組合可以有各種變形例，且該變形例同樣包含在本發明的範圍內。說明這樣的變形例。
【權利要求】
1.一種障礙物規避裝置，其特徵在於，包括: 障礙物檢測部，從外界的圖像中檢測針對佩戴頭戴式顯示器的用戶的障礙物； 障礙物置換部，將所檢測出的上述障礙物置換為虛擬對象物；以及 虛擬對象物合成部，將上述虛擬對象物合成於上述頭戴式顯示器所顯示的虛擬空間內。
2.如權利要求1所述的障礙物規避裝置，其特徵在於， 上述外界的圖像由被設置於上述頭戴式顯示器的攝像頭來拍攝。
3.如權利要求1或2所述的障礙物規避裝置，其特徵在於， 上述障礙物置換部選擇在上述頭戴式顯示器所顯示的虛擬空間內有意義的、被設計為在上述虛擬空間內佩戴者會避免接觸的對象物，來作為用於置換所檢測到的上述障礙物的虛擬對象物。
4.如權利要求3所述的障礙物規避裝置，其特徵在於， 當所檢測到的上述障礙物是運動的物體時，上述障礙物置換部選擇在上述頭戴式顯示器所顯示的虛擬空間內移動的對象物作為用於置換所檢測到的上述障礙物的虛擬對象物。
5.如權利要求1至4的任意一項所述的障礙物規避裝置，其特徵在於， 還包括距離計算部，計算從所檢測到的上述障礙物至上述頭戴式顯示器的佩戴者的距離； 上述虛擬對象物合成部使上述虛擬對象物顯示於與從上述障礙物到上述頭戴式顯示器的佩戴者的距離相應的虛擬空間內的位置。
6.如權利要求5所述的障礙物規避裝置，其特徵在於， 還包括警告部，當由上述距離計算部計算出的距障礙物的距離不足預定閾值時，向佩戴者發出警告。
7.一種障礙物規避方法，其特徵在於，包括: 障礙物檢測步驟，從外界的圖像中檢測針對佩戴頭戴式顯示器的用戶的障礙物； 障礙物置換步驟，將所檢測出的上述障礙物置換為虛擬對象物；以及 虛擬空間合成步驟，將上述虛擬對象物合成於上述頭戴式顯示器所顯示的虛擬空間內。
【文檔編號】A63F13/26GK103480154SQ201310149396
【公開日】2014年1月1日 申請日期:2013年4月26日 優先權日:2012年6月12日
【發明者】山岸建, 大澤洋, 西牧洋一 申請人:索尼電腦娛樂公司