特許 7029526 物理的境界監視器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-22

(45)【発行日】2022-03-03

(54)【発明の名称】物理的境界監視器

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20220224BHJP

   G06F 3/0346 20130101ALI20220224BHJP

   G06F 3/01 20060101ALI20220224BHJP

【ＦＩ】

G06F3/0481 150

G06F3/0346 422

G06F3/01 570

【請求項の数】 15

(21)【出願番号】P 2020517779

(86)(22)【出願日】2018-09-25

(65)【公表番号】

(43)【公表日】2020-12-10

(86)【国際出願番号】 US2018052719

(87)【国際公開番号】W WO2019067470

(87)【国際公開日】2019-04-04

【審査請求日】2020-04-01

(31)【優先権主張番号】62/566,306

(32)【優先日】2017-09-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/631,048

(32)【優先日】2018-02-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100122563

【弁理士】

【氏名又は名称】越柴 絵里

(72)【発明者】

【氏名】ミルホセイニ セイエドクーシャ

(72)【発明者】

【氏名】バル－ジーヴ アヴィ

(72)【発明者】

【氏名】マクロバーツ ダンカン エイ．ケイ．

【審査官】木内 康裕

(56)【参考文献】

【文献】特表２０１６－５３２１７８（ＪＰ，Ａ）

【文献】特表平１０－５０４９１７（ＪＰ，Ａ）

【文献】特開２０１５－１９１１２４（ＪＰ，Ａ）

【文献】国際公開第２０１６／０７３７８３（ＷＯ，Ａ１）

【文献】特表２０１９－５１６１８０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２７７１１９（ＵＳ，Ａ１）

【文献】特開２０１１－１２８８３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３ － ３／０３９

Ｇ０６Ｆ ３／０４８ － ３／０４８９

(57)【特許請求の範囲】

【請求項1】

仮想現実環境を表示している間に物理的障害物を示す方法であって、前記方法は、
１つ以上のプロセッサと、メモリと、１つ以上のカメラとを有する電子デバイスにおいて、
地面を表す表面を含む仮想現実環境を表示することと、
前記電子デバイスと物理的オブジェクトとの間の距離を判定することと、
前記電子デバイスと前記物理的オブジェクトとの間の前記距離が第１の閾値距離内であるか否かを判定することと、
前記距離が前記第１の閾値距離内であるとの判定に従って、前記仮想現実環境内に視覚効果を表示し、前記視覚効果を表示することが、前記物理的オブジェクトの仮想表示を示すことなく前記地面上に暗色領域を表示し、前記暗色領域は前記電子デバイスに対する物理的環境内の前記物理的オブジェクトの位置に対応することと、
前記電子デバイスと前記物理的オブジェクトとの間の前記距離が第２の閾値距離内であるか否かを判定することと、
前記距離が前記第２の閾値距離内であるとの判定に従って、前記物理的環境の少なくとも一部の視覚的表現を表示することであって、前記視覚的表現が前記１つ以上のカメラを使用して提供される、ことと、
を含む、方法。

【請求項2】

前記電子デバイスがウェアラブルヘッドセットである、請求項１に記載の方法。

【請求項3】

前記電子デバイスと前記物理的オブジェクトとの間の前記距離が前記第１の閾値距離内であるか否かを判定することが、
前記電子デバイスが前記物理的環境内の前記物理的オブジェクトに近づいているか否かを判定することを含む、請求項１又は２に記載の方法。

【請求項4】

前記第１の閾値距離及び前記第２の閾値距離のうちの少なくとも１つが、前記電子デバイスの移動速度に基づく、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記物理的オブジェクトに基づいて、前記第１の閾値距離及び前記第２の閾値距離を判定することを更に含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記視覚効果を表示することが、
前記仮想現実環境内に１つ以上の仮想オブジェクトを表示することであって、前記１つ以上の仮想オブジェクトは、前記物理的オブジェクトが前記電子デバイスから前記第１の閾値距離内であるというインジケーションである、ことを含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記表示された１つ以上の仮想オブジェクトのうちの少なくとも１つの外観を、前記電子デバイスと前記物理的オブジェクトとの間の前記距離に基づいて変化させることを更に含む、請求項６に記載の方法。

【請求項8】

前記電子デバイスが前記物理的オブジェクトに近づいているか、又は遠ざかっているかを判定することと、
前記電子デバイスが前記物理的オブジェクトに近づいているとの判定に従って、前記電子デバイスと前記物理的オブジェクトとの間の前記距離に基づいて前記暗色領域を暗色化することと、
を更に含む、請求項１に記載の方法。

【請求項9】

前記電子デバイスが前記物理的オブジェクトから遠ざかっているとの判定に従って、前記暗色領域を明るくすることを更に含む、請求項８に記載の方法。

【請求項10】

前記暗色領域の寸法が前記物理的オブジェクトのサイズに対応する、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記電子デバイスと前記物理的環境内の前記物理的オブジェクトとの間の前記距離が前記第２の閾値距離内であるか否かを判定することが、
前記電子デバイスが前記物理的オブジェクトに近づいているか否かを判定することと、
前記電子デバイスが前記物理的オブジェクトに近づいているとの判定に従って、前記電子デバイスと前記物理的環境の前記物理的オブジェクトとの間の前記距離が前記第２の閾値距離以下であるか否かを判定することと、
を含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記視覚効果が、前記物理的オブジェクトに関連付けられた前記距離に対応する、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

１つ以上のプロセッサと、メモリと、１つ以上のカメラと、を備える電子デバイスに、請求項１から１２のいずれか一項に記載の方法に含まれる手順を実行させるためのコンピュータプログラム。

【請求項14】

１つ以上のカメラと、
請求項１３に記載のコンピュータプログラムを記憶するメモリと、
前記メモリに記憶された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、
を備える、電子デバイス。

【請求項15】

１つ以上のカメラと、
請求項１から１２のいずれか一項に記載の方法に含まれる手順を実行する手段と、
を備える電子デバイス。

【発明の詳細な説明】

【背景技術】

【0001】

（関連出願の相互参照）
本出願は、２０１８年２月１５日に出願された「ＰＨＹＳＩＣＡＬ ＢＯＵＮＤＡＲＹ ＧＵＡＲＤＩＡＮ」と題する米国仮特許出願第６２／６３１０４８号、及び２０１７年９月２９日に出願された「ＰＨＹＳＩＣＡＬ ＢＯＵＮＤＡＲＹ ＧＵＡＲＤＩＡＮ」と題する米国仮特許出願第６２／５６６３０６号に対する優先権を主張する。両方の出願の内容は、その全体があらゆる目的で、参照により本明細書に組み込まれる。

【0002】

本開示は、概して、コンピュータ模擬現実インタフェースに関し、より具体的には、仮想現実環境内の物理的障害物を示す技術に関する。

【0003】

仮想現実デバイスは、ユーザを仮想環境内に没入する。ユーザが仮想環境で動き回る間に、仮想環境に没入し過ぎて、ユーザは、隣接する物理的環境内の物理的オブジェクトと衝突する可能性がある。例えば、仮想現実ヘッドマウントデバイスを装着している間に、ユーザは、仮想現実において大きな（仮想）部屋を動き回ることができるが、このプロセスでは、ユーザが物理的に位置する物理的部屋の物理的壁と衝突する。

【発明の概要】

【0004】

本開示は、ユーザが仮想現実環境に没入している間に、ユーザの直近の物理的環境にある物理的障害物を示すための技術を記載する。例示的一実施形態において、仮想現実環境が表示される。電子デバイスと物理的オブジェクトとの間の距離が判定される。更に、電子デバイスと物理的オブジェクトとの間の距離が第１の閾値距離内であるか否かが判定される。距離が第１の閾値距離内であるとの判定に従って、視覚効果が仮想現実環境内に表示される。更に、電子デバイスと物理的オブジェクトとの間の距離が第２の閾値距離内であるか否かが判定される。距離が第２の閾値距離内であるとの判定に従って、物理的環境の少なくとも一部の視覚的表現が表示される。視覚的表現は、１つ以上のカメラによって提供される。

【0005】

例示的一実施形態において、仮想現実環境が電子デバイスのディスプレイ上に表示されている間に、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が判定される。更に、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が閾値距離内であるか否かが判定される。仮想現実環境は、地面を表す表面を有する。距離が閾値距離内であるとの判定に従って、視覚効果が仮想現実環境内に表示される。視覚効果は、物理的オブジェクトに関連付けられた距離に対応する。更に、視覚効果は、仮想現実環境の仮想地面に配置される。

【0006】

例示的一実施形態において、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体が提供される。１つ以上のプログラムは、仮想現実環境を表示し、かつ電子デバイスと物理的オブジェクトとの間の距離を判定する命令を含む。１つ以上のプログラムは、電子デバイスと物理的オブジェクトとの間の距離が第１の閾値距離内であるか否かを判定する更なる命令を含む。１つ以上のプログラムは、距離が第１の閾値距離内であるとの判定に従って、仮想現実環境内に視覚効果を表示する更なる命令を含む。１つ以上のプログラムは、電子デバイスと物理的オブジェクトとの間の距離が第２の閾値距離内であるか否かを判定し、距離が第２の閾値距離内であるとの判定に従って、物理的環境の少なくとも一部の視覚的表現を表示する、更なる命令を含む。視覚的表現は、１つ以上のカメラによって提供される。

【0007】

例示的一実施形態において、電子デバイスが提供される。電子デバイスは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを含む。１つ以上のプログラムは、仮想現実環境を表示し、かつ電子デバイスと物理的オブジェクトとの間の距離を判定する命令を含む。１つ以上のプログラムは、電子デバイスと物理的オブジェクトとの間の距離が第１の閾値距離内であるか否かを判定する更なる命令を含む。１つ以上のプログラムは、距離が第１の閾値距離内であるとの判定に従って、仮想現実環境内に視覚効果を表示する更なる命令を含む。１つ以上のプログラムは、電子デバイスと物理的環境内の物理的オブジェクトとの間の距離が第２の閾値距離内であるか否かを判定し、距離が第２の閾値距離内であるとの判定に従って、物理的環境の少なくとも一部の視覚的表現を表示する、更なる命令を含む。視覚的表現は、１つ以上のカメラによって提供される。

【0008】

例示的一実施形態において、電子デバイスが提供される。電子デバイスは、仮想現実環境を表示する手段と、電子デバイスと物理的オブジェクトとの間の距離を判定する手段と、を含む。電子デバイスは、電子デバイスと物理的オブジェクトとの間の距離が第１の閾値距離内であるか否かを判定する手段を更に含む。電子デバイスは、距離が第１の閾値距離内であるとの判定に従って、仮想現実環境内に視覚効果を表示する手段を更に含む。電子デバイスは、電子デバイスと物理的オブジェクトとの間の距離が第２の閾値距離内であるか否かを判定する手段と、距離が第２の閾値距離内であるとの判定に従って、物理的環境の少なくとも一部の視覚的表現を表示する手段と、を更に含む。視覚的表現は、１つ以上のカメラによって提供される。

【0009】

例示的一実施形態において、電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体が提供される。１つ以上のプログラムは、仮想現実環境が地面を表す表面を有する仮想現実環境を、電子デバイスのディスプレイ上に表示している間に、電子デバイスと物理的環境の物理的オブジェクトとの間の距離を判定する命令を含む。１つ以上のプログラムは、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が閾値距離内であるか否かを判定する更なる命令を含む。１つ以上のプログラムは、距離が閾値距離内であるとの判定に従って、仮想現実環境内に視覚効果を表示する更なる命令を含む。視覚効果は、物理的オブジェクトに関連付けられた距離に対応し、また視覚効果は、仮想現実環境の地面に配置される。

【0010】

例示的一実施形態において、電子デバイスは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを含む。１つ以上のプログラムは、仮想現実環境が地面を表す表面を有する仮想現実環境を、電子デバイスのディスプレイ上に表示している間に、電子デバイスと物理的環境の物理的オブジェクトとの間の距離を判定する命令を含む。１つ以上のプログラムは、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が閾値距離内であるか否かを判定する更なる命令を含む。１つ以上のプログラムは、距離が閾値距離内であるとの判定に従って、仮想現実環境内に視覚効果を表示する更なる命令を含む。視覚効果は、物理的オブジェクトに関連付けられた距離に対応し、また視覚効果は、仮想現実環境の地面に配置される。

【0011】

例示的一実施形態において、電子デバイスが提供される。電子デバイスは、仮想現実環境が地面を表す表面を有する仮想現実環境を、電子デバイスのディスプレイ上に表示している間に、電子デバイスと物理的環境の物理的オブジェクトとの間の距離を判定する手段を含む。電子デバイスは、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が閾値距離内であるか否かを判定する手段を更に含む。電子デバイスは、距離が閾値距離内であるとの判定に従って、仮想現実環境内に視覚効果を表示する手段を更に含む。視覚効果は、物理的オブジェクトに関連付けられた距離に対応し、また視覚効果は、仮想現実環境の地面に配置される。

【図面の簡単な説明】

【0012】

【図1A】仮想現実及び複合現実を含む、様々なコンピュータ模擬現実技術で使用するための例示的なシステムを示す。

【図1B】仮想現実及び複合現実を含む、様々なコンピュータ模擬現実技術で使用するための例示的なシステムを示す。

【図2】ユーザデバイスが配置され、かつ例示的な仮想現実環境がユーザデバイスによって表示される、例示的な物理的環境を示す。

【図3A】第１の閾値距離よりも大きい、物理的オブジェクトからの距離に配置されたユーザデバイスと、ユーザデバイスによって表示された、対応する例示的な仮想現実環境とを示す。

【図3B】第１の閾値距離内の距離に配置されたユーザデバイスと、対応する仮想現実環境内に表示される例示的な仮想インジケーションとを示す。

【図3C】第２の閾値距離内の距離に配置されたユーザデバイスと、ユーザデバイスによって表示される物理的環境の画像とを示す。

【図3D】第２の閾値距離内の距離に配置され、かつ物理的オブジェクトに背を向けるように配向されたユーザデバイスと、ユーザデバイスによって表示される例示的な仮想現実環境とを示す。

【図4A】第１の閾値距離内である距離に配置されたユーザデバイスに対応する仮想現実環境に表示される様々な例示的な視覚効果を示す。

【図4B】第１の閾値距離内である距離に配置されたユーザデバイスに対応する仮想現実環境に表示される様々な例示的な視覚効果を示す。

【図4C】第１の閾値距離内である距離に配置されたユーザデバイスに対応する仮想現実環境に表示される様々な例示的な視覚効果を示す。

【図4D】第１の閾値距離内である距離に配置されたユーザデバイスに対応する仮想現実環境に表示される様々な例示的な視覚効果を示す。

【図4E】第１の閾値距離内である距離に配置されたユーザデバイスに対応する仮想現実環境に表示される様々な例示的な視覚効果を示す。

【図5A】第２の閾値距離内の様々な距離に配置されたユーザデバイスと、ユーザデバイスによって表示される対応する例示的な物理的環境の少なくとも一部の画像とを示す。

【図5B】第２の閾値距離内の様々な距離に配置されたユーザデバイスと、ユーザデバイスによって表示される対応する例示的な物理的環境の少なくとも一部の画像とを示す。

【図5C】第２の閾値距離内の様々な距離に配置されたユーザデバイスと、ユーザデバイスによって表示される対応する例示的な物理的環境の少なくとも一部の画像とを示す。

【図6A】第２の閾値距離内に配置され、かつ物理的オブジェクトに背を向けるように配向されたユーザデバイスと、ユーザデバイスによって表示される例示的な仮想現実環境及び／又は物理的環境の画像とを示す。

【図6B】第２の閾値距離内に配置され、かつ物理的オブジェクトに背を向けるように配向されたユーザデバイスと、ユーザデバイスによって表示される例示的な仮想現実環境及び／又は物理的環境の画像とを示す。

【図7A】複合現実環境における物理的障害物を示すための例示的な技術のフローチャートを示す。

【図7B】複合現実環境における物理的障害物を示すための例示的な技術のフローチャートを示す。

【発明を実施するための形態】

【0013】

電子システム及び、そのようなシステムを、仮想現実及び複合現実を含む様々な模擬現実技術に関連して使用するための技術（物理的環境からの感覚入力を組み込む）の、様々な実施形態が説明される。

【0014】

物理的環境とは、電子システムの支援なしに個人が感知、及び／又は対話することができる世界を意味する。物理的環境（例えば、物理的森林）は、物理的要素（例えば、物理的木、物理的構造、及び物理的動物）を含む。個人は、接触、視覚、嗅覚、聴覚、及び味覚などを介して、物理的環境と直接対話、及び／又は物理的環境を直接感知することができる。物理的環境はまた、物理的環境又は実環境と呼ばれてもよい。物理的要素はまた、物理的オブジェクト又は物理的物品と呼ばれてもよい。

【0015】

対照的に、模擬現実（ＳＲ）環境は、電子システムを介して個人が感知及び／又は対話することができる、完全又は部分的にコンピュータ生成された環境を指す。ＳＲにおいて、個々の動きのサブセットが監視され、それに応答して、ＳＲ環境における１つ以上の仮想オブジェクトの１つ以上の属性が、１つ以上の物理的法則と一致する様式で変更される。例えば、ＳＲシステムは、前方に数歩歩く個人を検出し、それに応答して、そのような景色及び音が物理的環境において変化する方法と同様の様式で、個人に提示されるグラフィック及び音声を調整してもよい。ＳＲ環境における仮想オブジェクト（単数又は複数）の属性（単数又は複数）に対する修正はまた、移動の表現に応答して行われてもよい（例えば、音声命令）。

【0016】

個人は、接触、嗅覚、視覚、味覚、及び音声を含む、自身の感覚のうちのいずれか１つを使用して、ＳＲオブジェクトと対話する及び／又はそれを感知することができる。例えば、個人は、多次元（例えば、３次元）又は空間的音声環境を作成する、及び／又は音声透明性を可能にする音声オブジェクトと対話することができるか、及び／又は音声オブジェクトを感知することができる。多次元又は空間的音声環境は、多次元空間内の別個の音声源の知覚を個人に提供する。音声透過性は、コンピュータ生成された音声を用いて又は用いることなく、物理的環境からの音声を選択的に組み込む。いくつかのＳＲ環境において、個人は音声オブジェクトのみと対話してもよく、及び／又は音声オブジェクトのみを感知してもよい。

【0017】

ＳＲの一例は、仮想現実（ＶＲ）である。ＶＲ環境とは、感知のうちの少なくとも１つのコンピュータ生成された感覚入力のみを含むように設計された模擬環境を指す。ＶＲ環境は、個人が対話及び／又は感知することができる複数の仮想オブジェクトを含む。個人は、コンピュータ生成された環境内の個々のアクションのサブセットの模擬を通じて、及び／又はコンピュータ生成された環境内の個々又は自身の存在の模擬を通じて、ＶＲ環境内の仮想オブジェクトと対話する及び／又は仮想オブジェクトを感知することができる。

【0018】

ＳＲの別の例は、複合現実（ＭＲ）である。ＭＲ環境とは、コンピュータ生成された感覚入力（例えば、仮想オブジェクト）を、物理的環境又はその表現からの感覚入力と統合するように設計された模擬環境を指す。現実スペクトルでは、複合現実環境は、一方の端部でのＶＲ環境と他方の端部での完全な物理的環境との間にあり、これらを含まない。

【0019】

いくつかのＭＲ環境において、コンピュータ生成された感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（すなわち、物理的環境からの物理的要素又はその表現）と対話することを可能にするために、物理的環境に対する向き及び／又は位置を監視することができる。例えば、システムは、仮想植物が物理的な建物に対して静止して見えるように、移動を監視することができる。

【0020】

複合現実の一例は、拡張現実（ＡＲ）である。ＡＲ環境は、少なくとも１つの仮想オブジェクトが物理的環境上か又はその表現上に重ねられた模擬環境を指す。例えば、電子システムは、不透明なディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする少なくとも１つの撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に表示する。個人は、システムを使用して、物理的環境の画像又はビデオによって間接的に物理的環境を見て、物理的環境上に重ねられた仮想オブジェクトを観察する。システムが画像センサ（単数又は複数）を使用して物理的環境の画像をキャプチャし、それらの画像を使用して不透明なディスプレイ上にＡＲ環境を提示する場合、表示された画像は、ビデオパススルーと呼ばれる。あるいは、ＡＲ環境を表示するための電子システムは、個人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを表示し、それによって、個人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを観察してもよい。別の例において、システムは、仮想オブジェクトを物理的環境に投影する投影システムを含んでもよい。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察してもよい。

【0021】

拡張現実環境はまた、物理的環境の表現がコンピュータ生成された感覚情報によって変換される模擬環境を指してもよい。例えば、物理的環境の表現の一部分は、変更された部分が依然として元々キャプチャされた画像（単数又は複数）の表現であり得るが、忠実に再現されたバージョンではないように、グラフィカルに変換（例えば、拡大）されてもよい。別の例として、ビデオパススルーを提供する際、システムは、センサ画像のうちの少なくとも１つを変更して、画像センサ（単数又は複数）によってキャプチャされた視点とは異なる特定の視点を課すことができる。更なる例として、物理的環境の表現は、その一部をグラフィカルに不明瞭化又は排除することによって変換されてもよい。

【0022】

複合現実の別の例は、拡張仮想現実（ＡＶ）である。ＡＶ環境とは、コンピュータ生成された環境又は仮想環境が物理的環境からの少なくとも１つの感覚入力を組み込む、模擬環境を指す。物理的環境からの感覚入力（単数又は複数）は、物理的環境の少なくとも１つの特性の表現であってもよい。例えば、仮想オブジェクトは、撮像センサ（単数又は複数）によってキャプチャされた物理的要素の色を想定してもよい。別の例において、仮想オブジェクトは、撮像、気象関連センサ、及び／又はオンライン気象データを介して識別されるように、物理的環境における実際の気象条件と一致する特性を示し得る。更に別の例において、拡張現実の森林は、仮想的な木及び構造を有してもよいが、動物は、物理的動物の撮影画像から正確に再現される特徴を有してもよい。

【0023】

多くの電子システムは、個人が様々なＳＲ環境と対話する及び／又はそれを感知することを可能にする。一実施例は、ヘッドマウントシステムを含む。ヘッドマウントシステムは、不透明なディスプレイ及びスピーカ（単数又は複数）を有してもよい。あるいは、ヘッドマウントシステムは、外部ディスプレイ（例えば、スマートホン）を受け入れるように設計されてもよい。ヘッドマウントシステムは、それぞれ物理的環境の画像／ビデオを撮影する及び／又は音声をキャプチャするための、撮像センサ（単数又は複数）及び／又はマイクロフォンを有してもよい。ヘッドマウントシステムはまた、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が個人の目に向けられる基板を組み込んでもよい。ディスプレイは、ＬＥＤ、ＯＬＥＤ、デジタル光プロジェクタ、レーザ走査光源、シリコン上の液晶、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過される基板は、光導波路、光学結合器、光学リフレクタ、ホログラフ基板、又はこれらの基材の任意の組み合わせであってもよい。一実施形態において、透明又は半透明のディスプレイは、不透明状態と透明又は半透明状態との間で選択的に遷移してもよい。別の例において、電子システムは、投影ベースシステムであってもよい。投影ベースシステムは、網膜投影を使用して、個人の網膜上に画像を投影することができる。あるいは、投影システムはまた、仮想オブジェクトを物理的環境に（例えば、物理的表面上に、又はホログラフとして）投影することができる。ＳＲシステムの他の例としては、ヘッドアップディスプレイ、グラフィックを表示する機能を有する自動車用フロントガラス、グラフィックを表示する機能を有する窓、グラフィックを表示する機能を有するレンズ、ヘッドホン又はイヤホン、スピーカ構成、入力機構（例えば、触覚フィードバックを有する又は有さないコントローラ）、タブレット、スマートホン、及びデスクトップコンピュータ又はラップトップコンピュータが挙げられる。

【0024】

コンピュータ模擬現実における１つの課題は、ヘッドマウントデバイスによって表示された仮想オブジェクトと対話している間に、ユーザが仮想現実環境に没入し過ぎて、ユーザの物理的近くにある物理的障害物及び／又は境界の認識を失う可能性があることである。ヘッドマウントデバイスは、不透明であってもよく、いくつかの実施形態において、ユーザの両目を覆うことができる。したがって、ユーザは、ユーザの物理的環境を見る（例えば、直接見る）ことができない可能性がある。したがって、ユーザデバイスが、物理的障害物を回避するのを助ける及び／又は物理的障害物の周囲をナビゲートするためにユーザにインジケーションを提供することが望ましい。更に、ユーザデバイスは、ユーザの仮想現実エクスペリエンスに著しく影響を与えない方法で、これらのインジケーションを提供することが望ましい。

【0025】

本明細書に記載のいくつかの実施形態によれば、仮想現実環境がユーザに表示されている間に、仮想現実デバイスは、デバイスと物理的環境の物理的オブジェクトとの間の距離を判定する。仮想現実デバイスは、デバイスが物理的環境の物理的オブジェクトに対して（第１の）閾値距離内であるか否かを更に判定する。デバイスが物理的オブジェクトに近過ぎると判定した場合、デバイスは、視覚効果を仮想現実環境内に表示して近くの物理的障害物の存在をユーザに警告する。視覚効果は、物理的オブジェクトに関連付けられた距離に対応し、例えば、１つ以上の仮想オブジェクトを含む。いくつかの例において、視覚効果はガラス板の外観を有し、ユーザが前方に移動し続ける場合にユーザが衝突し得る近くの物理的壁を表す。他の例を以下に説明する。仮想現実デバイスは、このようにユーザに近くの物理的オブジェクトを警告する。視覚効果にも関わらず、仮想現実デバイスが物理的オブジェクトに更に近くになる（第２の閾値距離内）ように、ユーザが物理的オブジェクトに近づき続ける場合、デバイスは、物理的環境の生の画像又はビデオを表示する。このようにして、ヘッドマウント仮想現実デバイスを取り外すことなく、ユーザが正確な物理的障害物を見ることができるように、ユーザは物理的環境に対するパススルー視覚を提供される。

【0026】

図１Ａ及び図１Ｂは、仮想現実及び複合現実を含む、様々な模擬現実技術で使用するための例示的なシステム１００を示す。

【0027】

いくつかの実施形態において、図１Ａに示すように、システム１００は、デバイス１００ａを含む。デバイス１００ａは、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、メモリ（単数又は複数）１０６、画像センサ（単数又は複数）１０８、向きセンサ（単数又は複数）１１０、マイクロフォン（単数又は複数）１１２、位置センサ（単数又は複数）１１６、スピーカ（単数又は複数）１１８、ディスプレイ（単数又は複数）１２０、及びタッチ感知面１２２などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス１００ａの通信バス（単数又は複数）１５０を介して通信する。

【0028】

いくつかの実施形態において、システム１００の要素は、基地局デバイス（例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス）内に実装され、システム１００の他の要素は、第２のデバイス（例えば、ヘッドマウントデバイス）内に実装される。いくつかの例において、デバイス１００ａは、基地局デバイス又は第２のデバイス内に実装される。

【0029】

図１Ｂに示すように、いくつかの実施形態において、システム１００は、有線接続又は無線接続などを介して通信する２つ（又はそれより多）のデバイスを含む。第１のデバイス１００ｂ（例えば、基地局デバイス）は、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、及びメモリ（単数又は複数）１０６を含む。これらの構成要素は、任意選択的に、デバイス１００ｂの通信バス（単数又は複数）１５０を介して通信する。第２のデバイス１００ｃ（例えば、ヘッドマウントデバイス）は、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、メモリ（単数又は複数）１０６、画像センサ（単数又は複数）１０８、向きセンサ（単数又は複数）１１０、マイクロフォン（単数又は複数）１１２、位置センサ（単数又は複数）１１６、スピーカ（単数又は複数）１１８、ディスプレイ（単数又は複数）１２０、及びタッチ感知面１２２などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス１００ｃの通信バス（単数又は複数）１５０を介して通信する。

【0030】

システム１００は、プロセッサ（単数又は複数）１０２及びメモリ（単数又は複数）１０６を含む。プロセッサ（単数又は複数）１０２は、１つ以上の汎用プロセッサ、１つ以上のグラフィックプロセッサ、及び／又は１つ以上のデジタル信号プロセッサを含む。いくつかの実施形態において、メモリ（単数又は複数）１０６は、後述する技術を実行するためにプロセッサ（単数又は複数）１０２によって実行されるように構成されているコンピュータ可読命令を記憶する１つ以上の非一時的コンピュータ可読記憶媒体（例えば、フラッシュメモリ、ランダムアクセスメモリ）である。

【0031】

システム１００は、ＲＦ回路（単数又は複数）１０４を含む。ＲＦ回路（単数又は複数）１０４は、任意選択的に、電子デバイス、インターネット、イントラネット及び／又は、セルラーネットワーク及び無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワークなどのネットワークと通信するための回路を含む。ＲＦ回路（単数又は複数）１０４は、任意選択的に、近距離通信及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）などの短距離通信を使用して通信するための回路を含む。

【0032】

システム１００は、ディスプレイ（単数又は複数）１２０を含む。ディスプレイ（単数又は複数）１２０は、不透明なディスプレイを有してもよい。ディスプレイ（単数又は複数）１２０は、画像を表す光が個人の目に向けられる基板を組み込んでもよい透明又は半透明のディスプレイを有してもよい。ディスプレイ（単数又は複数）１２０は、ＬＥＤ、ＯＬＥＤ、デジタル光プロジェクタ、レーザ走査光源、シリコン上の液晶、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過される基板は、光導波路、光学結合器、光学リフレクタ、ホログラフ基板、又はこれらの基材の任意の組み合わせであってもよい。一実施形態において、透明又は半透明のディスプレイは、不透明状態と透明又は半透明状態との間で選択的に遷移してもよい。ディスプレイ（単数又は複数）１２０の他の例としては、ヘッドアップディスプレイ、グラフィックを表示する機能を有する自動車フロントガラス、グラフィックを表示する機能を有する窓、グラフィックを表示する機能を有するレンズ、タブレット、スマートホン、及びデスクトップコンピュータ又はラップトップコンピュータが挙げられる。あるいは、システム１００は、外部ディスプレイ（例えば、スマートホン）を受け入れるように設計されてもよい。いくつかの実施形態において、システム１００は、網膜投影を使用して画像を個人の網膜上に投影するか、又は仮想オブジェクトを物理的環境に（例えば、物理的表面上に又はホログラフとして）投影する投影ベースのシステムである。

【0033】

いくつかの実施形態において、システム１００は、タップ入力及びスワイプ入力などのユーザ入力を受け取るためのタッチ感知面（単数又は複数）１２２を含む。いくつかの例において、ディスプレイ（単数又は複数）１２０及びタッチ感知面（単数又は複数）１２２は、タッチ感知ディスプレイ（単数又は複数）を形成する。

【0034】

システム１００は画像センサ（単数又は複数）１０８を含む。画像センサ（単数又は複数）１０８は、任意選択的に、電荷結合デバイス（ＣＣＤ）センサなどの１つ以上の可視光画像センサ、及び／又は物理的環境から物理的要素の画像を取得するように動作可能な相補型金属酸化膜半導体（ＣＭＯＳ）センサを含む。画像センサ（単数又は複数）はまた、任意選択的に、物理的環境からの赤外光を検出するための、パッシブＩＲセンサ又はアクティブＩＲセンサなどの１つ以上の赤外線（ＩＲ）センサ（単数又は複数）を含む。例えば、アクティブＩＲセンサは、赤外光を物理的環境に放射するためのＩＲドットエミッタなどのＩＲエミッタを含む。画像センサ（単数又は複数）１０８はまた、任意選択的に、物理的環境における物理的要素の移動をキャプチャするように構成されている１つ以上のイベントカメラを含む。画像センサ（単数又は複数）１０８はまた、任意選択的に、システム１００からの物理的要素の距離を検出するように構成された１つ以上の深度センサ（単数又は複数）を含む。いくつかの例において、システム１００は、ＣＣＤセンサ、イベントカメラ、及び深度センサを組み合わせて使用して、システム１００の周囲の物理的環境を検出する。いくつかの例において、画像センサ（単数又は複数）１０８は、第１の画像センサ及び第２の画像センサを含む。第１の画像センサ及び第２の画像センサは、任意選択的に、２つの異なるパースペクティブから、物理的環境内の物理的要素の画像をキャプチャするように構成されている。いくつかの例において、システム１００は、画像センサ（単数又は複数）１０８を使用して、ハンドジェスチャなどのユーザ入力を受け取る。いくつかの例において、システム１００は、画像センサ（単数又は複数）１０８を使用して、物理的環境におけるシステム１００及び／又はディスプレイ（単数又は複数）１２０の位置及び向きを検出する。例えば、システム１００は、画像センサ（単数又は複数）１０８を使用して、物理的環境内の１つ以上の固定要素に対するディスプレイ（単数又は複数）１２０の位置及び向きを追跡する。

【0035】

いくつかの実施形態において、システム１００は、マイクロフォン（単数又は複数）１１２を含む。システム１００は、マイクロフォン（単数又は複数）１１２を使用して、ユーザ及び／又はユーザの物理的環境からの音声を検出する。いくつかの例において、マイクロフォン（単数又は複数）１１２は、周囲ノイズを特定するか、又は物理的環境の空間内の音源の位置を特定するために、任意選択的に並んで動作するマイクロフォンのアレイ（複数のマイクロフォンを含む）を含む。

【0036】

システム１００は、システム１００及び／又はディスプレイ（単数又は複数）１２０の向き及び／又は移動を検出するための向きセンサ（単数又は複数）１１０を含む。例えば、システム１００は、向きセンサ（単数又は複数）１１０を使用して、システム１００及び／又はディスプレイ（単数又は複数）１２０の位置及び／又は向きの変化を、物理的環境内の物理的要素などに対して追跡する。向きセンサ（単数又は複数）１１０は、１つ以上のジャイロスコープ及び／又は１つ以上の加速度計を含む。

【0037】

ここで図２、３Ａ～３Ｄ、４Ａ～４Ｅ、５Ａ～５Ｃ及び６Ａ～６Ｂを参照し、いくつかの実施形態に係る、電子デバイス（例えば、１００ａ）上に仮想現実環境を表示している間に、物理的障害物を示すための例示的な電子デバイス及びユーザインタフェースを説明する。これらの図は、図７Ａ及び７Ｂでのプロセスを含む、以下に説明するプロセスを例示するために使用される。

【0038】

図２は、ユーザデバイス２０６が配置される例示的な物理的環境２００と、ユーザデバイス２０６によって表示される例示的な仮想現実環境２６０とを示す。本実施形態において、ユーザデバイス２０６は、ハンドヘルド型モバイルデバイス（例えば、スマートホン）、又は独立型ヘッドマウントデバイスなどの独立型デバイスである。他の実施形態において、ユーザデバイス２０６は、基地局デバイス（例えば、基地局デバイス１００ｂ）などの別のデバイスに通信可能に連結され得ることを認識されたい。これらの実施形態において、コンピュータ模擬現実環境内の物理的障害物を示すための以下に記載される動作は、ユーザデバイス２０６と他のデバイスとの間の任意の方法で分割することができる。例えば、本出願に記載されている方法又はプロセスのいずれかを実行する電子デバイスは、ユーザデバイス２０６と基地局デバイス１００ｂとの組み合わせであり得る。

【0039】

図２は、ユーザデバイス２０６がヘッドマウントデバイスとして使用される実施形態を示す。いくつかの実施形態において、ヘッドマウントデバイスは不透明であり、ユーザ２０４の両目を覆う。したがって、場合によっては、ユーザデバイス２０６を装着しているユーザ２０４は、物理的環境２００内の物理的オブジェクトを直接見ることができない。ユーザデバイス２０６はまた、１つ以上のカメラを使用して画像及びビデオを取得することができる。カメラは、例えば、デジタル画像又はビデオをキャプチャするデジタルカメラ（例えば、電荷結合デバイス（ＣＣＤ）型カメラ）であり得る。カメラは、動的視覚センサ（ＤＶＳ）カメラなどのイベントカメラであり得る。いくつかの実施形態において、イベントカメラは、それぞれ画素位置、サイン、及び正確なタイミングを有する非同期スパイクのストリームを出力し、個々の画素が閾値強度（例えば、対数強度）変化を記録する時を示す。例えば、イベントカメラは、物理的環境の変化（例えば、部屋に入る人などの新しい物理的オブジェクト）によってトリガされることができる。

【0040】

図２を参照すると、いくつかの実施形態において、物理的環境２００は、１つ以上の物理的オブジェクト２０８Ａ～Ｅ（まとめて物理的オブジェクト２０８）を含む部屋などの室内環境である。物理的環境内の物理的オブジェクトは、例えば、壁、テーブル、椅子、窓、人、動物、植物などを含むことができる。

【0041】

いくつかの実施形態において、ユーザデバイス２０６は、物理的環境２００内に配置された物理的オブジェクトに対して移動することができる。例えば、ユーザ２０４が物理的オブジェクト２０８Ａ及び２０８Ｅに対して（例えば、それに向かって）移動する時、ユーザデバイス２０６もまた、物理的オブジェクト２０８Ａ及び２０８Ｅに対して移動される。いくつかの実施形態において、ユーザデバイス２０６は、物理的環境２００内の物理的オブジェクトに近づいているか否かを判定するように構成され得る。ユーザデバイス２０６は、ユーザデバイス２０６の１つ以上のカメラ及び／又は深度センサを使用して、そのような判定を行うように構成され得る。例えば、複数のカメラ（例えば、デジタルカメラ、赤外線カメラ）を使用して、ユーザデバイス２０６は、ユーザデバイス２０６と物理的環境２００内の物理的オブジェクトのうちの１つ以上との間の距離を判定することができる。一例として、距離は、ユーザデバイス２０６の２つ以上のカメラによってキャプチャされた３Ｄ知覚の不一致に基づいて判定される。別の例として、深度センサ（例えば、３Ｄ飛行時間型センサ）を使用して、物理的環境２００内のそれぞれの物理的オブジェクトとユーザデバイス２０６との間の距離を推定する。深度センサは、例えば、ＬｉＤＡＲセンサであってもよい。

【0042】

図２を参照すると、ユーザデバイス２０６は、例示的な仮想現実環境２６０（例えば、ビーチを示す仮想屋外環境）を表示する。いくつかの実施形態において、ユーザデバイス２０６によって表示される仮想現実環境２６０は、物理的環境２００内のユーザデバイス２０６の移動に応答して変化することができる。例えば、仮想現実環境２６０内のオブジェクト（例えば、仮想ビーチチェア２６２Ａ及び仮想ビーチパラソル２６２Ｂ）は、ユーザ２０４がユーザデバイス２０６と共に前方又は後方に移動するにつれて、ユーザ２０４により近く／より遠くに見える場合がある。別の例として、ユーザ２０４が自分の頭部をユーザデバイス２０６と共に左又は右に移動させると、仮想現実環境２６０内に表示された画像／ビデオ内のオブジェクトは、ユーザ２０４の視点に対してそれらの位置／角度を変更することができる。

【0043】

図３Ａを参照すると、動作中、ユーザデバイス２０６は、ユーザデバイス２０６と、物理的環境２００内の１つ以上の特定の物理的オブジェクトとの間の距離の変動を監視し、それが１つ以上の物理的オブジェクトに対して移動しているか否かを判定する。例えば、図３Ａを参照すると、物理的オブジェクト２０８Ａ（例えば、コンピュータデスク）とユーザデバイス２０６との間の距離が減少している、変化していない、又は増加していると判定される場合、ユーザデバイス２０６は、それぞれ、物理的オブジェクト２０８Ａに近づいている、移動していない（静止している）、又は物理的オブジェクト２０８Ａから遠ざかっていると判定するように構成される。

【0044】

いくつかの実施形態において、ユーザデバイス２０６が物理的オブジェクト２０８Ａに近づいていると判定される場合、ユーザデバイス２０６は、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離３０４Ａが第１の閾値距離３０６以下であるか否かを判定するように更に構成され得る。ユーザデバイス２０６が移動していない、又は物理的オブジェクト２０８Ａから遠ざかっていると判定された場合、ユーザデバイス２０６は、ユーザデバイス２０６の移動を監視し続ける。例えば、ユーザ２０４は、物理的オブジェクト２０８Ａの前に座っているか又は立っていてもよく、それに応答して、ユーザデバイス２０６は、自身が移動していないと判定してもよい。したがって、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離が、第１の閾値距離３０６未満、したがって第１の閾値距離内であってもよい間、ユーザ２０４に物理的オブジェクト２０８Ａを認識させる必要がない可能性がある（例えば、ユーザ２０４と物理的オブジェクト２０８Ａとの間の衝突の危険性がない）ため、物理的オブジェクト２０８Ａに対応する視覚効果をユーザ２０４に即時に提供する必要はない。これらの状況下で、ユーザデバイス２０６は、仮想現実環境２６０をユーザ２０４に表示し続けながら、移動を監視し続ける。

【0045】

上述のように、ユーザデバイス２０６は、例えば、深度センサ又は複数のカメラのうちの少なくとも１つを使用して、物理的環境２００内のユーザデバイス２０６と各物理的オブジェクト（例えば、図２に示すオブジェクト２０８Ａ～Ｅ）との間の距離を判定するように構成され得る。したがって、ユーザデバイス２０６は、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離３０４Ａを判定し、判定された距離３０４Ａを第１の閾値距離３０６と比較することができる。第１の閾値距離３０６は、ユーザ２０４に物理的オブジェクトを認識させるように、１つ以上の物理的オブジェクト（例えば、オブジェクト２０８Ａ及び２０８Ｅ）に対応する１つ以上の視覚効果が、仮想環境２６０内でユーザ２０４に表示される距離を表す。第１の閾値距離３０６は、例えば３～５フィートであるように構成されてもよい。

【0046】

図３Ａを参照すると、ユーザデバイス２０６は、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離３０４Ａが第１の閾値距離３０６以下であるか否かを判定することができる。図３Ａに示すように、いくつかの実施形態において、ユーザデバイス２０６は距離３０４が第１の閾値距離３０６よりも大きいと判定し、ユーザデバイス２０６が依然として物理的オブジェクト２０８Ａから遠く離れているため、ユーザ２０４に物理的オブジェクト２０８Ａを認識させる必要がないことを示す。したがって、ユーザデバイス２０６は、物理的オブジェクト２０８Ａの視覚効果又は画像／ビデオを表示することなく、仮想現実環境２６０を表示し続ける。

【0047】

図３Ｂは、第１の閾値距離３０６内の距離３０４Ｂに配置されたユーザデバイス２０６と、対応する仮想現実環境２６０内に表示される例示的な仮想インジケーション３２４とを示す。図３Ｂを参照すると、ユーザ２０４が物理的オブジェクト２０８Ａにより近くに歩くにつれて、ユーザデバイス２０６は物理的オブジェクト２０８Ａに連続的に近づいてもよい。ユーザデバイス２０６は、ユーザデバイス２０６と物理的環境２００の物理的オブジェクト２０８Ａとの間の距離３０４Ｂが第１の閾値距離３０６以下であるか否かを判定する。その場合、ユーザデバイス２０６は、距離３０４Ｂが第１の閾値距離内であると判定する。図３Ａは、ユーザに物理的オブジェクトを認識させるために視覚効果が表示されるべきか否かを判定するための第１の閾値条件として第１の閾値距離３０６を使用する実施形態を示し、第１の閾値条件は、ユーザデバイス２０６の角度、ユーザデバイス２０６の移動方向、物理的オブジェクト２０８Ａの種類などの他の条件の１つ以上を含むことができることが理解される。

【0048】

いくつかの実施形態において、ユーザデバイス２０６は、距離３０４Ｂが第２の閾値距離４０６よりも大きいか否かを更に判定する。その場合、ユーザデバイス２０６は、距離３０４Ｂが第２の閾値距離４０６内にないと判定する。図３Ｂを参照すると、いくつかの実施形態において、距離３０４Ｂが第１の閾値距離３０６以下であり、かつ第２の閾値距離４０６より大きいとの判定に従って、ユーザデバイス２０６は、仮想現実環境２６０内に視覚効果を表示するように構成されている。いくつかの実施形態において、視覚効果は、例えば、物理的オブジェクト２０８Ａがユーザデバイス２０６から第１の閾値距離３０６（例えば、３フィート）内に位置するが、依然として第２の閾値距離４０６（例えば、１フィート）の外側に位置することを示す。

【0049】

いくつかの実施形態において、視覚効果は、１つ以上の仮想オブジェクトを含む。視覚効果はまた、物理的環境の１つ以上のオブジェクトを表すオブジェクト（例えば、物理的オブジェクトの画像）を含み得ることが理解されるであろう。いくつかの例において、視覚効果を提供するための１つ以上の仮想オブジェクトは、表示されている仮想現実環境内の既存の仮想オブジェクトに対応し得る。図３Ｂに示すように、例えば、ユーザデバイス２０６は、現在、仮想現実環境２６０を表示している。物理的環境２００内の物理的オブジェクト２０８Ａに対応する視覚効果を提供するために、ユーザデバイス２０６は、仮想ビーチチェア２６２Ａ及び仮想ビーチパラソル２６２Ｂを見ることができる仮想ガラス壁３２４を表示するように構成され得る。いくつかの例において、仮想ガラス壁３２４は、物理的環境２００内の物理的オブジェクト２０８Ａに対応することができ、ユーザの移動の経路内に配置された物理的オブジェクト２０８Ａをユーザ２０４に認識させるように、ユーザ２０４に視覚効果（例えば、半透明性）を提供することができる。

【0050】

いくつかの実施形態において、（仮想）ガラスのペインの位置は、物理的環境２００に関連付けられた第２の閾値距離４０６に対応する。物理的環境２００において、第２の閾値距離４０６は、ユーザデバイス２０６が物理的オブジェクト（例えば、物理的オブジェクト２０８Ａ及び２０８Ｅ、椅子、テーブル、壁）に非常に近いことを示す距離とすることができる。ユーザデバイス２０６が第２の閾値距離４０６内にある場合、ユーザデバイス２０６によって表示される視覚効果は、ユーザ２０４に物理的環境を認識させるのに十分でなくてもよい。したがって、いくつかの実施形態において、ユーザデバイス２０６は、物理的環境の少なくとも一部分の画像を表示する。第２の閾値距離４０６は、仮想現実環境２６０内に、例えば、仮想オブジェクト（例えば、仮想ビーチチェア２６２Ａ、仮想ビーチパラソル２６２Ｂ、仮想壁、仮想絵画など）と仮想ガラス壁３２４との間の距離として表され得る。以下でより詳細に記載されるように、ユーザデバイス２０６が第２の閾値距離４０６以下の距離に配置されている場合、ユーザデバイス２０６は、物理的環境２００の少なくとも一部の視覚的表現（例えば、画像／ビデオ）を表示する。それに対応して、仮想現実環境２６０において、ユーザデバイス２０６は、効果を生成し（例えば、仮想ガラス壁３２４が割れるか又は砕ける）、物理的環境２００の少なくとも一部の視覚的表現を表示することができる。いくつかの実施形態において、ユーザデバイス２０６は、ユーザデバイス２０６と物理的オブジェクトとの間の距離が変化するにつれて、仮想ガラス壁３２４に関連付けられた異なるパターン及び／又は不透明性を表示するように構成され得る。例えば、仮想ガラス壁３２４は、ユーザデバイス２０６が物理的環境２００内の物理的オブジェクト２０８Ａに近づくにつれてますます不透明になり得る。

【0051】

いくつかの実施形態において、仮想ビーチチェア２６２Ａ及び仮想ビーチパラソル２６２Ｂは、仮想現実環境２６０内に表示されている既存の仮想オブジェクトである。仮想ガラス壁３２４は、ユーザデバイス２０６によって新たに生成された仮想オブジェクトであり、ユーザデバイス２０６が第１の閾値距離３０６内の距離に配置されているとの判定に従って、仮想現実環境２６０に追加される。したがって、仮想ガラス壁３２４は、仮想現実環境２６０内に既に存在する任意の仮想オブジェクトに対応しなくてもよい。いくつかの実施形態において、仮想ガラス壁３２４を使用することにより、ユーザは仮想ガラス壁３２４を通して既存の仮想オブジェクトを見ることが可能になり、それにより、仮想現実環境２６０に新しい仮想オブジェクトを追加する影響を低減する。仮想現実環境における視覚効果として新しい仮想オブジェクトを追加する影響を低減することにより、ユーザエクスペリエンスが向上する。図３Ｂは仮想インジケーションを提供するための仮想ガラス壁３２４などの仮想オブジェクトを図示しているが、任意の仮想オブジェクト（例えば、仮想現実環境内の既存の仮想オブジェクト又は新しい仮想オブジェクト）を使用して、ユーザデバイス２０６からの閾値距離未満の物理的オブジェクト（単数又は複数）をユーザに認識させるように、視覚効果を提供することができることが理解される。図４Ａ～４Ｅは、以下でより詳細に論じられるように、視覚効果として使用される仮想オブジェクトのより多くの例を提供する。

【0052】

図３Ｃは、第２の閾値距離４０６内の距離３０４Ｃに配置されたユーザデバイス２０６と、ユーザデバイス２０６によって表示される物理的環境２００の画像４３０とを示す。図３Ｃを参照すると、ユーザデバイス２０６は、ユーザデバイス２０６と物理的環境２００内の物理的オブジェクト２０８Ａとの間の距離３０４Ｃが第２の閾値距離４０６内にあるか否かを判定するように構成され得る。いくつかの実施形態において、距離３０４Ｃが第１の閾値距離３０６内であると判定した後、ユーザデバイス２０６は、ユーザデバイス２０６が物理的オブジェクト２０８Ａに近づき続ける（例えば、ユーザ２０４は、ユーザデバイス２０６と共に物理的オブジェクト２０８Ａに向かって歩き続ける）か否かを更に判定するように構成される。ユーザデバイス２０６が物理的オブジェクト２０８Ａに近づき続けていると判定した場合、ユーザデバイス２０６は、距離３０４Ｃが第２の閾値距離４０６内にあるか否かを判定するように更に構成され得る。ユーザデバイス２０６が、ユーザデバイス２０６が移動していないか、又は物理的オブジェクト２０８Ａから遠ざかっていると判定した場合、ユーザデバイス２０６は、上述のように、自身の移動を監視し続ける。例えば、視覚効果（例えば、仮想ガラス壁）を見た後、ユーザは、物理的オブジェクトに接近していることを認識し、ユーザが物理的オブジェクト２０８Ａの前に座っているか又は立っているように移動を停止することができる。結果として、ユーザデバイス２０６は、ユーザデバイス２０６が移動していないと判定する。したがって、ユーザデバイス２０６が、物理的オブジェクト２０８Ａの更なる警告をユーザ２０４に即時に提供する必要がなく、したがって、ユーザデバイス２０６は、自身の移動を監視し続ける。

【0053】

図３Ｃを参照すると、第２の閾値距離４０６は、例えば、物理的環境２００内の物理的オブジェクト２０８Ａとユーザデバイス２０６との間の距離であり得る。上述のように、ユーザデバイス２０６は、深度センサ又は複数のカメラのうちの少なくとも１つを使用して、物理的環境２００内のユーザデバイス２０６と各物理的オブジェクトとの間の距離を判定する。したがって、ユーザデバイス２０６は、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離３０４Ｃを判定し、判定された距離３０４Ｃを第２の閾値距離４０６と比較することができる。第２の閾値距離４０６は、視覚効果が、ユーザ２０４の経路内に配置された物理的オブジェクト（単数又は複数）を、ユーザ２０４に（例えば、適時に）認識させるのに十分でない可能性がある距離に、ユーザデバイス２０６があることを（例えば、仮想オブジェクトを使用して）示す。代わりに、ユーザデバイス２０６は、物理的環境の視覚的表現をユーザ２０４に提供することができる。例えば、物理的環境２００内の１つ以上の物理的オブジェクト２０８（例えば、オブジェクト２０８Ａ及び２０８Ｅ）の視覚的表現（例えば、表示された画像又はビデオ）がユーザ２０４に表示されて、ユーザ２０４がユーザ２０４の経路内の物理的オブジェクト２０８を更に認識することができる。

【0054】

いくつかの実施形態において、第１及び第２の閾値距離は、ユーザデバイス２０６及び／又は物理的オブジェクト２０８などの物理的オブジェクトの１つ以上の特性に基づく。例えば、ユーザデバイス２０６は、ユーザの移動の速度を判定することができ、第１及び第２の閾値距離は、判定された速度に基づいて動的及び／又は適応的に構成され得る。したがって、ユーザ２０４が走っており、ユーザデバイス２０６が、ユーザの動きの速度が制限を超えると判定した場合、ユーザデバイス２０６は、ユーザの移動の速度を考慮するために第１及び第２の閾値距離を増加させるように構成され得る。閾値距離を増加させることにより、物理的環境の視覚効果（例えば、仮想オブジェクト）又は視覚的表現（例えば、画像）を表示するのに十分な時間を提供することができ、それにより、ユーザ２０４は、物理的オブジェクト２０８との衝突を回避することができる。別の実施形態として、ユーザデバイス２０６は、物理的オブジェクトの種類を判定することができ、第１及び第２の閾値距離は、物理的オブジェクトの種類に基づいて動的及び／又は適応的に構成され得る。例えば、ユーザデバイス２０６は、特定の種類の物理的オブジェクト（例えば、暖炉、ストーブ、水泳プール）に対して、他の種類の物理的オブジェクト（例えば、テーブル、椅子、ソファ）に対するより大きな距離で、物理的環境の視覚効果又は視覚的表現を提供することができる。

【0055】

図３Ｃを参照すると、ユーザデバイス２０６は、ユーザデバイス２０６と物理的環境２００の物理的オブジェクト２０８Ａとの間の距離３０４Ｃが第２の閾値距離４０６以下であるか否かを判定することによって、距離３０４Ｃを第２の閾値距離４０６と比較することができる。例えば、ユーザデバイス２０６が、距離３０４Ｃが、１フィートの第２の閾値距離より小さい０．５フィートであると判定した場合、ユーザデバイス２０６は、距離３０４Ｃが第２の閾値距離４０６内にあると判定する。図３Ｃは、第２の閾値条件として例示として第２の閾値距離４０６を使用するが、第２の閾値条件は、ユーザデバイス２０６の角度、ユーザデバイス２０６の移動の方向、物理的オブジェクト２０８の種類などの他の条件のうちの１つ以上を含むことができることが理解されるであろう。

【0056】

図３Ｃを参照すると、ユーザデバイス２０６は、距離３０４Ｃが第２の閾値距離４０６内にあるとの判定に従って、仮想現実環境の表示の少なくとも一部分を、物理的環境の少なくとも一部分の視覚的表現に置き換えるように構成され得る。視覚的表現は、物理的環境の画像及び／又はビデオ（例えば、ライブストリームビデオ）であり得る。視覚的表現は、ユーザデバイス２０６の１つ以上のカメラによって提供されて、物理的オブジェクト２０８Ａがユーザデバイス２０６から第２の閾値距離（例えば、１フィート）内にあることを示すことができる。したがって、距離３０４Ｃにおいて、物理的オブジェクト２０８Ａは、ユーザ２０４に非常に近くにあってもよく、それに応答して、ユーザデバイス２０６は、物理的オブジェクト２０８Ａの画像及び／又はビデオをユーザ２０４に表示する。図３Ｃに示す実施形態において、ユーザデバイス２０６は、仮想現実環境２６０全体を、表示画像４３０（例えば、物理的オブジェクト２０８Ａ及び２０８Ａの少なくとも一部の画像及び／又はビデオ）に置き換える。以下により詳細に記載されるように、いくつかの実施形態において、ユーザデバイス２０６は、仮想現実環境の、全体ではなく一部分を、物理的環境の視覚的表現に置き換えることができる。

【0057】

図３Ｄを参照すると、ユーザデバイス２０６は第２の閾値距離４０６内の距離３０４Ｃに配置され、物理的オブジェクトとユーザデバイス２０６によって表示される例示的な仮想現実環境５１４に背を向けるように配向される。図３Ｃで上述したように、ユーザデバイス２０６が物理的オブジェクト２０８Ａからの自身の距離が第２の閾値距離４０６内にあると判定した場合、ユーザデバイス２０６は、仮想現実環境の表示の少なくとも一部分を、物理的環境２００の視覚的表現（例えば、画像／ビデオ）に置き換えることができる。いくつかの実施形態において、仮想現実環境の表示の少なくとも一部分を、物理的環境２００の少なくとも一部分の視覚的表現（例えば、画像／ビデオ）に置き換えた後、ユーザデバイス２０６は、ユーザ２０４の視線が物理的環境２００の少なくとも一部分の視覚的表現から遠ざかるか否かを判定する。ユーザデバイス２０６は、ユーザデバイス２０６の向きが変化するか否かを検出することによって、そのような判定を行うことができる。例えば、１つ以上の動きセンサ、カメラ、加速度計などを使用して、ユーザデバイス２０６の向きが変化する（例えば、ユーザ２０４は、物理的オブジェクトから背を向けるように方向転換する）とユーザデバイス２０６は判定することができる。それに応答して、ユーザデバイス２０６は、ユーザデバイス２０６が物理的オブジェクト２０８Ａから向きを変えていると判定し、図３Ｄに示すように仮想現実環境２６０の少なくとも一部の表示を再開する。ユーザデバイス２０６はまた、例えば、デバイスと物理的オブジェクトとの間の距離が増加しているか否かを検出することによって、デバイスが物理的オブジェクト２０８Ａから遠ざかっているか否かを検出することによって、そのような判定を行うことができる。

【0058】

図３Ｄは、ユーザデバイス２０６のディスプレイの表示領域５１２を示す。ユーザデバイス２０６は、表示領域５１２内に第２の仮想現実環境５１４を表示することができる。例えば、ユーザ２０４が物理的オブジェクト２０８Ａから背を向けるように方向転換したとユーザデバイス２０６が判定した後に、第２の仮想現実環境５１４は表示されることができる。いくつかの実施形態において、仮想現実環境５１４は、（図３Ｃに関して説明したように）物理的環境２００の視覚的表現（例えば、画像／ビデオ）の少なくとも一部分に置き換えられる前に表示された、以前の仮想現実環境２６０と同じ又は類似している。例えば、第２の仮想現実環境５１４は、ユーザ２０４が方向転換したかのように見られる仮想現実環境２６０の一部として表示され得る。表示領域５１２は、窓、ゲート、又は任意の他の所望の形状の形状を有することができる。

【0059】

上述のように、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離３０４Ｃが第２の閾値距離４０６の範囲内にある場合、ユーザデバイス２０６は、物理的環境２００の視覚的表現（例えば、図３Ｃに示す画像４３０）を表示する（例えば、仮想現実環境全体を、物理的環境２００の少なくとも一部の視覚的表現に置き換える）。図３Ｄを参照すると、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離３０４Ｃが増加し、及び／又はユーザデバイス２０６の向きが変化する（例えば、ユーザ２０４が反対方向を向くと、ユーザデバイス２０６は物理的オブジェクト２０８Ａから背を向ける）場合、物理的環境２００の少なくとも一部の画像／ビデオを表示し続けることは望ましくないか、又は必要とされない可能性がある。したがって、いくつかの実施形態において、ユーザデバイス２０６は、物理的環境２００の少なくとも一部の視覚的表現の表示を任意選択的に除去するか、暗くするか、又は中止する（例えば、背景領域５０２を空白にするか又は暗くする）。図３Ｄに示すように、ユーザデバイス２０６は、背景領域５０２内の表示領域５１２内に第２の仮想現実環境５１４を表示する。いくつかの実施形態において、表示領域５１２の少なくとも１つの寸法は、ユーザデバイス２０６と物理的オブジェクト２０８との間の距離に基づいて変化する。例えば、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離３０４Ｃが増加すると、第２の仮想現実環境５１４のより多くの領域が表示されるように、表示領域５１２が拡大される。

【0060】

いくつかの実施形態において、表示領域５１２内に表示される第２の仮想現実環境５１４は、物理的環境の視覚的表現に以前に置き換えられた、同じ仮想現実環境である。例えば、図３Ｄに示すように、表示領域５１２内に表示された第２の仮想現実環境５１４は、物理的環境２００の視覚的表現に置き換えられる前に、仮想現実環境２６０内に以前に表示された（ユーザ２０４が方向転換したかのように見られる）同じ仮想ビーチであり得る。

【0061】

図３Ｂに関して上述したように、距離３０４Ｂが第１の閾値距離３０６未満であり、第２の閾値距離４０６を超えるとユーザデバイス２０６が判定する場合、ユーザデバイス２０６は、仮想現実環境２６０内に視覚効果を表示するように構成されている。図３Ｂは、視覚効果の一例としての仮想ガラス壁３２４を示す。図４Ａ～４Ｅは、物理的オブジェクト２０８（例えば、オブジェクト２０８Ａ及び２０８Ｅ）から第１の閾値距離３０６より小さく、かつ第２の閾値距離４０６よりも大きい距離に配置されているユーザデバイスに対応する仮想現実環境２６０に表示される様々な例示的な視覚効果を示す。

【0062】

例えば、図４Ａに示すように、仮想現実環境２６０は、１つ以上の仮想オブジェクト（例えば、仮想ビーチパラソル２６２Ｂ）を含んでもよい。いくつかの実施形態において、物理的環境２００内の物理的オブジェクトに対応する視覚効果を提供するために、ユーザデバイス２０６は、仮想壁３１４及び／又は仮想壁３１４に掛けられた仮想絵画３１２を表示するように構成され得る。仮想壁３１４及び／又は仮想絵画３１２は、ユーザの移動の経路内に配置された物理的オブジェクトをユーザに認識させるように、ユーザに視覚効果を提供することができる。いくつかの実施形態において、仮想壁３１４及び／又は仮想絵画３１２は、仮想現実環境２６０内に存在する他の仮想オブジェクトに対応する（例えば、複製する）ことができる。ユーザデバイス２０６は、任意選択的に、例えば、これらの既存の仮想オブジェクトを再使用して、物理的オブジェクトに対応する視覚効果を提供する新しい仮想オブジェクトを生成するように構成される。仮想現実環境内に存在しないオブジェクトを使用するのではなく、既存の仮想オブジェクトを再使用することは、仮想現実環境の表示に対する視覚効果の影響を低減することができる。視覚効果の影響を低減することにより、ユーザエクスペリエンスが向上し、仮想現実環境を著しく変更する必要なく仮想オブジェクトを生成する効率を向上させる。

【0063】

物理的オブジェクトに関連付けられた距離３０４Ｂに対応する視覚効果を提供する追加の実施形態を図４Ｂに示す。図４Ｂを参照すると、仮想現実環境２６０が表示され、仮想ビーチチェア、仮想ビーチパラソルなどを含むことができる。図４Ｂに示すように、いくつかの実施形態において、ユーザデバイス２０６は仮想オブジェクトの外観を仮想インジケーションとして変更することができる。外観の変化は、ユーザデバイス２０６と物理的オブジェクト２０８（例えば、２０８Ａ及び２０８Ｅ）との間の距離に基づくことができる。例えば、ユーザデバイス２０６が物理的オブジェクト２０８Ａに近づくにつれて、仮想オブジェクト２６２Ａ～Ｂ（図３Ａに示す）の外観は、それぞれ仮想オブジェクト３３２Ａ～Ｂ（図４Ｂに示す）の外観に遷移することができる。仮想オブジェクト３３２Ａ～Ｂは、それぞれ仮想オブジェクト２６２Ａ～Ｂと同様の形状を有することができるが、粒子／フェザリング効果を有することができる。いくつかの実施形態において、ユーザデバイス２０６が物理的オブジェクト２０８Ａに近づくにつれて、仮想オブジェクト３３２Ａ～Ｂは、より不透明になり得る、及び／又はより高密度の粒子を有し得る（又はその逆）。より不透明な仮想オブジェクト又はより高密度の粒子を有する仮想オブジェクトは、対応する物理的オブジェクトが、より不透明であるか、又はより粗い粒子を有する仮想オブジェクトよりも近いことを示す視覚効果を提供することができる。いくつかの実施形態において、この種類の視覚効果は、直感的であり、ユーザによって容易に理解又はキャプチャされ、それにより、ユーザエクスペリエンスを更に高め、視覚効果の有効性を改善することができる。図４Ｂは仮想オブジェクト３３２Ａ～Ｂを使用して仮想オブジェクトを例示しているが、ユーザが近づいている物理的環境内の物理的オブジェクトをユーザに認識させるように、任意の仮想オブジェクト（例えば、仮想現実環境内の既存のオブジェクト又は新しい仮想オブジェクト）を使用して視覚効果を提供することができることが理解される。

【0064】

物理的オブジェクトに関連付けられた距離３０４Ｂに対応する視覚効果を提供する追加の実施形態を図４Ｃ～４Ｄに示す。図４Ｃを参照すると、ユーザデバイス２０６は現在、仮想現実環境２６０を表示している。仮想現実環境２６０は、仮想ビーチチェア２６２Ａ及び仮想ビーチパラソル２６２Ｂなどの仮想オブジェクトを含んでもよい。物理的環境２００内の物理的オブジェクト（例えば、オブジェクト２０８Ａ）に対応する視覚効果を提供するために、ユーザデバイス２０６は、仮想ビーチチェア２６２Ａ及び仮想ビーチパラソル２６２Ｂなどの１つ以上の既存の仮想オブジェクトの前に配置された仮想霧３５２を表示する。仮想現実環境２６０内の霧の位置は、いくつかの実施形態において、ユーザ２０４に対する物理的環境２００内の物理的オブジェクト（例えば、オブジェクト２０８Ａ）の位置を示すことができる。いくつかの実施形態において、霧３５２の外観は、下にある仮想オブジェクト（例えば、２６２Ａ～Ｂ）を調和させる及び／又はぼかすことによって作製され、半透明の視覚効果を生成する。

【0065】

いくつかの実施形態において、図４Ｄに示すように、ユーザデバイス２０６は、仮想現実環境２６０の１つ以上の仮想オブジェクト及び／又は部分の輝度を同様に低減するか、又は暗色効果３５４を加えて、ユーザ２０４に対する物理的環境２００の１つ以上の物理的オブジェクト２０８（例えば、２０８Ａ）の位置を示してもよい。仮想霧３５２及び／又は暗色効果３５４は、ユーザの経路内に配置された物理的オブジェクトをユーザに認識させるように、ユーザに視覚効果を提供することができる。いくつかの実施形態において、仮想霧３５２又は暗色効果３５４に基づいて生成される視覚効果は、直感的であり、ユーザによって容易に理解又はキャプチャされ、それにより、ユーザエクスペリエンスを更に高め、視覚効果の有効性を改善することができる。例えば、ユーザは、典型的には、霧又は暗色領域に入る可能性が低く、又は回避する可能性がより高い。

【0066】

物理的オブジェクトに関連付けられた距離３０４Ｂに対応する視覚効果を提供する追加の実施形態を図４Ｅに示す。図４Ｅを参照すると、ユーザデバイス２０６は現在、仮想現実環境２６０を表示している。仮想現実環境２６０は、仮想ビーチチェア２６２Ａ及び仮想ビーチパラソル２６２Ｂなどの仮想オブジェクトを含む。物理的環境２００内の物理的オブジェクトに対応する視覚効果を提供するために、ユーザデバイス２０６は、暗色領域３６２を表示するように構成され得る。いくつかの実施形態において、暗色領域３６２は、仮想地面３６６上（例えば、仮想ビーチ上）に配置され、物理的環境２００内の物理的オブジェクト（例えば、オブジェクト２０８Ａ、２０８Ｅ及び２０８Ｆ）の位置に対応する。例えば、暗色領域３６２は、物理的オブジェクト２０８Ａ（例えば、机）、２０８Ｅ（例えば、椅子）、及び２０８Ｆ（例えば、ソファ）の位置又は境界に対応する（例えば、追従する）境界を有するように構成され得る。

【0067】

いくつかの実施形態において、暗色領域３６２などの暗色領域の少なくとも１つの寸法は、物理的オブジェクトの対応する寸法を示すように構成され得る。例えば、物理的オブジェクトの長手方向寸法が横方向寸法よりも大きい場合、暗色領域３６２は、対応するより大きい長手方向寸法を有するように構成され得る。いくつかの実施形態において、ユーザデバイス２０６は、ユーザデバイス２０６と物理的オブジェクトとの間の距離に基づいて、暗色領域３６２内の暗色化の程度を変化させるように構成され得る。例えば、ユーザデバイス２０６が物理的オブジェクトに近づくにつれて、暗色領域３６２が暗くなる程度は、増加する（例えば、より暗くなる）、又は減少することができる。いくつかの例において、暗色領域は、任意の形状を有し得る。暗色領域は、例えば、実質的に三角形、矩形、円形、楕円形、又は任意の他の形状であってもよい。

【0068】

暗色領域３６２は、ユーザの経路内に配置された物理的オブジェクトをユーザに認識させるように、ユーザに視覚効果を提供する。上述のように、仮想現実環境における特定の領域の暗色化に基づいて生成される視覚効果は、直感的であり、ユーザによって容易に理解又はキャプチャされ、それにより、ユーザエクスペリエンスを更に高め、視覚効果の有効性を改善することができる。例えば、ユーザは、典型的には、暗色領域に入る可能性が低く、又は回避する可能性がより高い。図４Ｅは、視覚効果として暗色領域３６２を使用することを示しているが、ユーザの近くにある及び／又はユーザが近づいている物理的環境内の物理的オブジェクトをユーザに認識させるように、視覚効果を提供するために、任意の仮想効果（例えば、陰影、着色、歪み、ぼかし、振動など）が任意の方法で仮想現実環境に加えられ得る（例えば、天井、壁、床、又は１つ以上のオブジェクトに加えられる）ことが理解される。

【0069】

上述のように、図３Ｂ及び４Ａ～４Ｅに示されるように、距離３０４Ｂが、第１の閾値３０６内にあり、かつ任意選択で、図３Ｂ及び４Ａ～４Ｅに示されるように、第２の閾値距離４０６内にない、とユーザデバイス２０６が判定する場合、様々な視覚効果（例えば、仮想壁、仮想ガラス、仮想霧、粒子／フェザリング効果、暗色領域など）を仮想現実環境に加える又は配置することができる。いくつかの実施形態において、上述のように、ユーザ２０４に視覚効果を提供するにも関わらず、ユーザ（及びユーザによって装着されたユーザデバイス２０６）は第１の閾値距離３０６超えて物理的オブジェクトに近づき続け、したがって、ユーザデバイス２０６と物理的オブジェクトとの間の距離３０４Ｂは、距離３０４Ｃまで減少し続け得る。

【0070】

上述のように、図３Ｃは、ユーザデバイス２０６が、距離３０４Ｃが第２の閾値距離４０６内にあると判定し、したがって、仮想現実環境２６０の表示全体を、物理的環境２００の少なくとも一部の視覚的表現（例えば、画像４３０）に置き換える例を示す。図５Ａ～５Ｃは、第２の閾値距離４０６内の様々な距離に配置されたユーザデバイス２０６と、ユーザデバイス２０６によって表示される対応する例示的な物理的環境２００の少なくとも一部の画像とを示す。

【0071】

図５Ａの例において、いくつかの実施形態において、ユーザデバイス２０６は、物理的オブジェクト２０８から距離３０４Ｄに位置する。距離３０４Ｄは、例えば、第２の閾値距離４０６より小さいが、第３の閾値距離５０６より大きくてもよい。上述したように、距離３０４Ｄは第２の閾値距離４０６より小さい（したがって、第２の閾値距離４０６内）と判定されるため、ユーザデバイス２０６は、物理的環境２００の少なくとも一部分（例えば、物理的オブジェクト２０８Ａ及び２０８Ｅ）の視覚的表現４１６Ａ（例えば、画像及び／又はビデオ）と、仮想現実環境２６０の少なくとも一部分（例えば、仮想ビーチ及び仮想空）とを表示する。図５Ａに示すように、距離３０４Ｄは第３の閾値距離５０６以上である（以下により詳細に記載される）ため、ユーザデバイス２０６は、仮想現実環境２６０の表示の、全体ではなく、一部分のみを視覚的表現４１６Ａに置き換え、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離（例えば、図３Ｃ及び５Ｃに示される距離３０４Ｃ）が第３の閾値距離５０６よりも小さい場合、ユーザデバイス２０６は、仮想現実環境２６０の表示全体を置き換える。視覚的表現４１６Ａは、いくつかの例において、窓、ゲート、又は任意の他の所望の形状の形状を有することができる。

【0072】

いくつかの実施形態において、視覚的表現４１６Ａの少なくとも１つの寸法は、ユーザデバイス２０６と物理的オブジェクト２０８（例えば、オブジェクト２０８Ａ）との間の距離に基づいて変化する。図５Ａに示すように、視覚的表現４１６Ａはディスプレイの任意の領域（例えば、左下角）に提供され、仮想現実環境２６０の一部分に取って代わることができる。いくつかの実施形態において、ユーザデバイス２０６が物理的オブジェクト２０８Ａに近づき続ける場合、ユーザデバイス２０６は、視覚的表現４１６Ａを表示するためのエリアの寸法を増加させる。図５Ｂに示すように、ユーザデバイス２０６が物理的オブジェクト２０８Ａに近づくにつれて（例えば、距離３０４Ｅまで移動する）、ユーザデバイス２０６は、仮想現実環境２６０のより大きな部分を視覚的表現４１６Ｂに置き換えることができる。視覚的表現４１６Ｂは、例えば、図５Ｂに示される視覚的表現４１６Ａの寸法（例えば、幅及び／又は長さ）より大きい寸法を有する。いくつかの実施形態において、視覚的表現を表示するための領域の少なくとも１つの寸法は、物理的オブジェクトの種類に基づいて変化する。例えば、視覚的表現を表示するための領域は、他の種類の物理的オブジェクト（例えば、テーブル、椅子、ソファ）の場合よりも、特定の種類の物理的オブジェクト（例えば、暖炉、ストーブ、水泳プール）のために、仮想現実環境２６０のより多くの領域を置き換える。

【0073】

いくつかの実施形態において、物理的オブジェクトは、ユーザに非常に近接して（例えば、ユーザが接触又は知覚することができる距離内）位置する場合があり、インジケーション又は強調表示のための表示領域の一部分内の視覚的表現を使用することは、十分ではない場合がある。図５Ｃは、仮想現実環境２６０全体を、物理的環境２００の少なくとも一部の視覚的表現（例えば、画像４３０）に置き換える例を提供する。例えば、ユーザデバイス２０６は、物理的オブジェクト２０８Ａから第３の閾値距離５０６より小さい距離３０４Ｃまで移動される場合がある。第３の閾値距離５０６は、第２の閾値距離４０６より小さい。いくつかの実施形態において、ユーザデバイス２０６が第３の閾値距離５０６内に配置されている場合、ユーザデバイス２０６は、ユーザ２０４が物理的オブジェクト２０８Ａと衝突するのを防ぐために、即時の注意又は警告が必要であると判定することができる。例えば、物理的オブジェクト２０８Ａは、ユーザの直前に、又はユーザが物理的オブジェクト２０８Ａに接触する可能性がある距離内に、位置する可能性がある。距離３０４Ｃが第３の閾値距離５０６以下であるとユーザデバイス２０６が判定した場合、ユーザデバイス２０６は、仮想現実環境全体を、物理的オブジェクト２０８（例えば、オブジェクト２０８Ａ及び２０８Ｅ）を含む物理的環境２００の少なくとも一部の視覚的表現（例えば、画像４３０）に置き換える。図５Ｃに示すように、ユーザデバイス２０６は、フルスクリーンモードで仮想表現（例えば、画像又はビデオ４３０）を表示し、仮想現実環境２６０全体を置き換える。いくつかの実施形態において、仮想現実環境を表示するための領域の一部に視覚的表現を表示することに対して、仮想現実環境全体を物理的環境の視覚的表現に置き換えることにより、インジケーションの増大したレベルを提供することができ、ユーザに強調表示、及び／又は警告する。結果として、ユーザデバイス２０６は、ここで仮想現実環境２６０を表示し、ユーザ２０４は、物理的環境２００内に位置する任意の物理的オブジェクト又は障害物との接触又は衝突を回避するために、即座にアクションを取ることができる。例えば、ユーザ２０４は、物理的オブジェクト２０８Ａに近づくことを停止してもよく、異なる方向に移動するか、又は物理的オブジェクト２０８Ａから遠ざかってもよい。

【0074】

図３Ｄに関して上述したように、いくつかの実施形態において、ユーザデバイス２０６が物理的オブジェクト２０８Ａから向きを変えている（例えば、ユーザ２０４が方向転換した）とユーザデバイス２０６が判定する場合には、ユーザデバイス２０６は、以前の仮想現実環境２６０の表示の少なくとも一部分を、物理的環境の少なくとも一部の視覚的表現に置き換えた後に、第２の仮想現実環境５１４を表示する。図３Ｄに示す実施形態において、第２の仮想現実環境５１４は、表示領域５１２内に表示される。表示領域５１２の外側にある背景領域５０２内の物理的環境２００の画像及び／又はビデオは、除去されるか、暗くされるか、又は表示を中止する。

【0075】

図６Ａ～６Ｂは、第２の閾値距離４０６内の距離３０４Ｃに配置され、かつ物理的オブジェクトに背を向けるように配向されたユーザデバイス２０６と、ユーザデバイス２０６によって表示される物理的環境の例示的な仮想現実環境及び／又は画像とを示す。図６Ａ及び６Ｂは、例えば、ユーザ２０４が物理的オブジェクト２０８Ａから方向転換した、又は遠ざかったとユーザデバイス２０６が判定することに応答して、ユーザデバイス２０６は、表示領域５１２内に第２の仮想現実環境５１４を表示する。表示領域５１２は、窓、ゲート、又は任意の他の所望の形状の形状を有することができる。

【0076】

図６Ａは、表示領域５１２内に第２の仮想現実環境５１４（例えば、仮想ビーチ）の一部と、表示領域５１２の外側に第２の仮想現実環境５１４の別の部分（例えば、背景領域５０２内）とを表示する実施形態を示す。この実施形態において、ユーザデバイス２０６は、以前に表示された物理的環境２００の視覚的表現全体を仮想現実環境５１４に置き換える。結果として、ユーザデバイス２０６は、表示領域５１２内に第２の仮想現実環境５１４の一部と、表示領域５１２の外側にある背景領域５０２内に別の部分とを表示する。いくつかの実施形態において、ユーザデバイス２０６が物理的環境２００内の物理的オブジェクト２０８Ａから方向転換されるか、又は遠ざかると、以前に表示された仮想現実環境２６０と類似しているか、又はその続きである第２の仮想現実環境５１４を提供すると、ユーザが以前に表示された仮想現実環境２６０に再び入るかのような効果を生成することができる。この効果は、ユーザエクスペリエンスを向上させる。

【0077】

図６Ｂは、第３の仮想現実環境５２０が表示される表示領域５２６を示す。図６Ｂに示すように、例えば、ユーザ２０４が物理的オブジェクト２０８Ａから方向転換した、及び／又は遠ざかると、ユーザデバイス２０６の向きが変更したとユーザデバイス２０６が判定することに応答して、ユーザデバイス２０６は、表示領域５２６内に第３の仮想現実環境５２０を表示する。図３Ｃに関して上述したように、ユーザデバイス２０６と物理的オブジェクト２０８（例えば、２０８Ａ）との間の距離３０４Ｃが第２の閾値距離４０６内にある場合、ユーザデバイス２０６は、仮想現実環境２６０全体を、物理的環境の少なくとも一部の視覚的表現（例えば、画像／ビデオ）に置き換えることができる（例えば、距離３０４Ｃが第３の閾値距離５０６より小さい場合）。図６Ｂは、物理的環境２００のそのような画像５２４を示す。ユーザ２０４の視線が物理的環境の画像５２４から遠ざかる（例えば、ユーザが方向転換するか、又はユーザデバイス２０６の向きが変わる）、及び／又はユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離が増加するとユーザデバイス２０６が判定する場合、ユーザデバイス２０６は、表示領域５２６内に第３の仮想現実環境５２０を表示することができる。いくつかの実施形態において、表示領域５２６の少なくとも１つの寸法は、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離に基づいて変化するように構成され得る。例えば、ユーザデバイス２０６と物理的オブジェクト２０８Ａとの間の距離が増加するにつれて、第３の仮想現実環境５２０のより多くの領域が表示されるように、表示領域５２６の寸法はより大きくなる。図６Ｂに示すように、表示領域５２６は、ゲート又はドアの形状を有することができ、第３の仮想現実環境５２０は、以前に表示された仮想現実環境２６０と類似しているか、又はその続きであり得る。したがって、表示領域５２６を提供することは、ユーザがゲート又はドアの中に歩いて入り、以前に表示された仮想現実環境２６０に入る（又は再び入る）効果を生成することができる。表示領域５２６を地面に対して位置付けることによって、ユーザデバイス２０６が物理的環境内にあるかのように、ユーザは、ユーザデバイス２０６と表示領域５２６の位置との間の距離をより容易に判定することができる。

【0078】

ここで図７Ａを参照すると、複合現実環境内の物理的障害物を示すための例示的なプロセス７００のフローチャートが示されている。以下の説明では、プロセス７００は、ユーザデバイス（例えば、デバイス１００ａ）を使用して実行されるものとして説明される。ユーザデバイスは、例えば、図１Ａ及び図１Ｃ～図１Ｉのデバイス１００ａ、及び図２、３Ａ～３Ｄ、４Ａ～４Ｅ、５Ａ～５Ｃ、及び６Ａ～６Ｂのデバイス２０６などの、ハンドヘルド型モバイルデバイス又はヘッドマウントデバイスである。他の実施形態において、プロセス７００は、ベースデバイスなどの別のデバイスに通信可能に結合されたユーザデバイスなどの、２つ以上の電子デバイスを使用して実行されることを認識されたい。これらの実施形態において、プロセス７００の動作は、ユーザデバイスと１つ以上の他のデバイスとの間で任意の方法で分散される。更に、ユーザデバイスのディスプレイは、透明又は不透明であってもよいことを理解されたい。プロセス７００の１つ以上のブロックを省略することができる、及び／又はプロセス７００の間の任意の時点で１つ以上の追加のブロックを実行することができることを理解されたい。

【0079】

ブロック７０２において、仮想現実環境が電子デバイスのディスプレイ上に表示される。ブロック７０４において、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が判定される。電子デバイスは、仮想現実ヘッドセットである。ブロック７０６において、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が第１の閾値距離内であるか否かが判定される。いくつかの実施形態において、電子デバイスと物理的オブジェクトとの間の距離が第１の閾値距離内であるか否かを判定することは、電子デバイスが物理的環境内の物理的オブジェクトに近づいているか否かを判定することを含む。

【0080】

ブロック７０８において、距離が第１の閾値距離内であるとの判定に従って、視覚効果が仮想現実環境内に表示される。視覚効果は、物理的オブジェクトに関連付けられた距離に対応する。距離が第１の閾値距離内にないとの判定に従って、仮想現実環境は、物理的オブジェクトの視覚効果を伴わずに連続して表示される。

【0081】

いくつかの実施形態において、仮想インジケーションを表示することは、表示された仮想現実環境上に１つ以上の仮想オブジェクト（例えば、仮想壁、仮想ガラス壁、仮想霧、粒子／フェザリング効果、暗色化）を表示することを含む。１つ以上の仮想オブジェクトは、物理的オブジェクトが電子デバイスから第１の閾値距離内にあることを示す。いくつかの実施形態において、１つ以上の仮想オブジェクトのうちの少なくとも１つの外観は、電子デバイスと物理的オブジェクトとの間の距離に基づいて変化する。

【0082】

いくつかの実施形態において、仮想インジケーションを表示することは、表示された仮想現実環境の仮想接地に暗色領域を表示することを含む。暗色領域は、物理的環境内の物理的オブジェクトの位置に対応する。暗色領域内の暗色化の程度は、電子デバイスと物理的オブジェクトとの間の距離に基づいて変化し得る。暗色領域の少なくとも１つの寸法は、物理的オブジェクトの１つ以上の対応する寸法を示すことができる。いくつかの実施形態において、暗色領域は、実質的に三角形の形状を有する。

【0083】

ブロック７１０において、電子デバイスと物理的環境内の物理的オブジェクトとの間の距離が第２の閾値距離内であるか否かが判定される。いくつかの実施形態において、電子デバイスが第１の閾値距離を超えて物理的オブジェクトに近づき続けるか否かが判定される。電子デバイスが第１の閾値距離を超えて物理的オブジェクトに近づき続けているとの判定に従って、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が第２の閾値距離以下であるか否かが判定される。

【0084】

いくつかの実施形態において、第１の閾値距離及び第２の閾値距離のうちの１つ又は両方は、電子デバイスの移動の速度に基づいて、及び／又は物理的オブジェクトの種類に基づいて構成される。

【0085】

ブロック７１２において、距離が第２の閾値距離内であるとの判定に従って、物理的環境の少なくとも一部の視覚的表現が表示される。視覚的表現は、１つ以上のカメラによって提供される。いくつかの実施形態において、電子デバイスが物理的オブジェクトに近づいているか、又は遠ざかっているかが判定される。電子デバイスが物理的オブジェクトに近づいているとの判定に従って、暗色領域は、電子デバイスと物理的オブジェクトとの間の距離に基づいて暗くされる。電子デバイスが物理的オブジェクトから遠ざかっているとの判定に従って、暗色領域が明るくされる。視覚的表現の少なくとも１つの寸法は、電子デバイスと物理的オブジェクトとの間の距離に基づいて、及び／又は物理的オブジェクトの種類に基づいて変化し得る。

【0086】

いくつかの実施形態において、表示される仮想現実環境の少なくとも一部分を物理的環境の少なくとも一部の視覚的表現に置き換えた後、電子デバイスと物理的オブジェクトとの間の距離が増加しているか否かが判定される。例えば、ユーザデバイスが物理的オブジェクトから遠ざかっている場合、距離は増加する。電子デバイスと物理的オブジェクトとの間の距離が増加しているとの判定に従って、第２の仮想現実環境が表示される。

【0087】

いくつかの実施形態において、第２の仮想現実環境は、物理的環境の少なくとも一部の視覚的表現に置き換えられる、以前に表示された仮想現実環境の続きである。第２の仮想現実環境を表示することは、物理的環境の少なくとも一部の視覚的表現全体を第２の仮想現実環境に置き換えることを含み得る。いくつかの実施形態において、電子デバイスと物理的オブジェクトとの間の距離が増加するにつれて、第２のポータルの少なくとも１つの寸法は増加され得る。

【0088】

ここで図７Ｂを参照すると、仮想現実環境内の物理的障害物を示すための例示的なプロセス７４０のフローチャートが示されている。以下の説明では、プロセス７４０は、ユーザデバイス（例えば、デバイス１００ａ又は２０６）を使用して実行されるものとして説明される。ユーザデバイスは、例えば、ハンドヘルド型モバイルデバイス又はヘッドマウントデバイスである。いくつかの実施形態において、プロセス７４０は、ベースデバイスなどの別のデバイスに通信可能に結合されたユーザデバイスなどの、１つ以上の電子デバイスを使用して実行されることを認識されたい。これらの実施形態において、プロセス７４０の動作は、ユーザデバイスと他のデバイスとの間で任意の方法で分散される。更に、ユーザデバイスのディスプレイは、透明又は不透明であってもよいことを理解されたい。プロセス７４０の１つ以上のブロックは任意であり得、及び／又は追加のブロックが実行され得ることを理解されたい。

【0089】

ブロック７４２において、仮想現実環境が電子デバイスのディスプレイ上に表示され、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が判定される。電子デバイスは、いくつかの実施形態において、仮想現実ヘッドセット、スマートホン、又はタブレットである。仮想現実環境は、いくつかの実施形態において、地面を表す表面を有する。ブロック７４４において、電子デバイスと物理的環境の物理的オブジェクトとの間の距離が閾値距離内であるか否かが判定される。ブロック７４８において、距離が閾値距離内であるとの判定に従って、視覚効果が仮想現実環境内に表示される。いくつかの実施形態において、視覚効果は、物理的オブジェクトに関連付けられた距離に対応し、かつ仮想現実環境の地面に配置される。

【0090】

いくつかの実施形態において、仮想接地に加えられる視覚効果の外観は、電子デバイスと物理的オブジェクトとの間の距離に基づいて変化し得る。仮想接地に加えられる視覚効果の少なくとも１つの寸法は、物理的オブジェクトのサイズに基づく。仮想接地に加えられる視覚効果は、実質的に三角形の暗色領域である。

【0091】

プロセス７００及び７４０が仮想現実環境を参照して説明されているが、プロセス７００及び７４０はそのように限定されないことを認識されたい。例として、いくつかの例において、プロセス７００及び７４０は、拡張現実環境を使用して実装される。例えば、視覚効果に使用されるものを含むがこれらに限定されない１つ以上の仮想オブジェクトは、物理的環境内の物理的オブジェクトの視覚的表現に置き換えられ得る。

【0092】

特定の実施形態の前述の説明を、例示と説明のために提示してきた。これらは、網羅的であることも、又は特許請求の範囲を開示される厳密な形態に限定することも意図するものではなく、上記の教示に照らして多くの変更及び変形が可能であることを理解されたい。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7A】

【図7B】