知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-139781(P2019-139781A)
(43)【公開日】2019年8月22日
(54)【発明の名称】拡張現実および仮想現実のためのシステムおよび方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20190726BHJP
G06F 3/0481 20130101ALI20190726BHJP
H04N 5/64 20060101ALI20190726BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481
H04N5/64 511A
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【全頁数】54
(21)【出願番号】特願2019-46952(P2019-46952)
(22)【出願日】2019年3月14日
(62)【分割の表示】特願2016-501326(P2016-501326)の分割
【原出願日】2014年3月11日
(31)【優先権主張番号】61/776,771
(32)【優先日】2013年3月11日
(33)【優先権主張国】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】サムエル エー． ミラー
(72)【発明者】
【氏名】ロニー アボビッツ
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA27
5E555BA04
5E555BA38
5E555BB04
5E555BB38
5E555BE17
5E555CA01
5E555CA42
5E555CA45
5E555CA47
5E555CB65
5E555CB66
5E555DA08
5E555DB32
5E555DB53
5E555DB57
5E555DC43
5E555FA00
(57)【要約】
【課題】２人またはそれを上回るユーザが仮想世界データを含む仮想世界と相互作用することを可能にするためのシステムを提供すること。【解決手段】システムは、メモリと、処理回路と、少なくとも部分的にメモリに記憶され、仮想世界データの少なくとも一部分を処理するように処理回路によって実行可能であるソフトウェアとを備える、１つまたはそれを上回るコンピューティングデバイスを備える、コンピュータネットワークを備え、仮想世界データの少なくとも第１の部分は、第１のユーザにローカルである第１のユーザ仮想世界が起源であり、第１のユーザ仮想世界の側面が第２のユーザに効果的に渡されるように、第２のユーザが第２のユーザの位置から第１の部分を体験し得るように、コンピュータネットワークは、第２のユーザに提示するために第１の部分をユーザデバイスに伝送するように動作可能である。
【選択図】図１
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
（発明の分野）本発明は、概して、１人またはそれを上回るユーザのための双方向仮想または拡張現実環境を促進するように構成されるシステムおよび方法に関する。
【背景技術】
【0002】
（背景）仮想および拡張現実環境は、部分的に、環境を表すデータを使用して、コンピュータによって生成される。このデータは、例えば、ユーザが感知して相互作用し得る、種々のオブジェクトを表してもよい。これらのオブジェクトの実施例は、ユーザが見るためにレンダリングおよび表示されるオブジェクト、ユーザが聞くために再生されるオーディオ、およびユーザが感じるための触知（または触覚）フィードバックを含む。ユーザは、種々の視覚、聴覚、および触覚手段を通して、仮想および拡張現実環境を感知し、それらと相互作用してもよい。
【発明の概要】
【課題を解決するための手段】
【0003】
（要約）本発明の実施形態は、１人またはそれを上回るユーザのための仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。
【0004】
一実施形態は、ユーザディスプレイデバイスであって、ユーザの頭部に搭載可能な筐体フレームと、筐体フレームに連結され、ユーザの眼の移動を追跡し、追跡された眼移動に基づいて、焦点深度を推定するための第１の対のカメラと、光生成機構を有し、推定される焦点深度に基づいて、ディスプレイオブジェクトが焦点に現れるように、ディスプレイオブジェクトアプリと関連付けられた投影光を生成および修正するための投影モジュールと、筐体フレーム上に搭載される、レンズと、投影モジュールに通信可能に連結され、ディスプレイ画像と関連付けられたデータを投影モジュールに通信するためのプロセッサとを備える、デバイスを対象とする。レンズは、ユーザの眼の正面に位置付けられ、投影された光をユーザの眼の中に入り込ませるための少なくとも１つの透明ミラーを備えてもよい。少なくとも１つの透明ミラーは、ローカル環境からの光の透過を選択的に可能にしてもよい。
【0005】
ユーザディスプレイデバイスはさらに、筐体フレーム上に搭載可能であって、第２の対のカメラのそれぞれに対応する眼の視野画像を捕捉するための第２の対のカメラを備えてもよい。プロセッサは、捕捉された視野画像に基づいて、ユーザの頭部姿勢を計算してもよい。
【0006】
投影モジュールは、推定される焦点深度に基づいて、ディスプレイオブジェクトと関連付けられた投影された光ビームを修正するための走査式レーザ配列を備えてもよい。投影された光ビームの直径は、０．７ｍｍ未満であってもよい。
【0007】
一実施形態では、第１の対のカメラは、ユーザの眼のそれぞれの移動を追跡するために、赤外線光源と対合される、赤外線カメラを備えてもよい。ユーザディスプレイデバイスはさらに、ユーザの移動、ユーザの場所、ユーザの方向、およびユーザの配向のうちの少なくとも１つを感知するための少なくとも１つのセンサを備える、センサアセンブリを備えてもよい。少なくとも１つのセンサは、加速度計、コンパスまたはジャイロスコープであってもよい。プロセッサは、ユーザの移動、ユーザの場所、ユーザの方向、およびユーザの配向のうちの少なくとも１つに基づいて、ユーザの頭部の姿勢を推定してもよい。ユーザディスプレイデバイスは、ＧＰＳシステムを備えてもよい。ユーザディスプレイデバイスはさらに、投影モジュールに通信可能に連結され、触知フィードバックを提供するための触覚インターフェースデバイスを備えてもよい。ユーザディスプレイデバイスはさらに、ユーザの環境をデジタル的に再構築するための環境感知システムを備えてもよい。
【0008】
プロセッサは、コンピュータネットワークに通信可能に連結され、仮想世界データの少なくとも一部を伝送し、仮想世界データの別の部分を受信してもよい。
【0009】
ユーザディスプレイデバイスは、頭部フレーム上に搭載可能であって、音を出力するためのオーディオスピーカモジュールを備えてもよい。ユーザディスプレイデバイスはさらに、筐体フレーム上に搭載可能であって、ユーザにローカルの音を捕捉するためのマイクロホンを備えてもよい。
【0010】
投影モジュールは、他のオブジェクトがぼやけて現れるように、ディスプレイオブジェクトではない別のオブジェクトと関連付けられた別の投影された光を修正してもよい。プロセッサは、少なくとも６０フレーム／秒の率でディスプレイオブジェクトのフレームをレンダリングしてもよい。
【0011】
ディスプレイオブジェクトは、仮想オブジェクト、レンダリングされた物理的オブジェクト、画像、およびビデオのうちの少なくとも１つであってもよい。
【0012】
別の実施形態では、方法は、ユーザの眼の移動を追跡するステップと、追跡された眼移動に基づいて、ユーザの眼の焦点深度を推定するステップと、ディスプレイオブジェクトが焦点に表されるように、推定される焦点深度に基づいて、ディスプレイオブジェクトと関連付けられた光ビームを修正するステップと、修正された光ビームをユーザの眼の中に投影するステップとを含む。ユーザの眼に投影された投影光ビームの直径は、０．７ｍｍ未満であってもよい。
【0013】
本方法はさらに、ディスプレイオブジェクトの可視化モードに基づいて、ユーザのローカル環境からの光の透過を選択的に可能にするステップを含んでもよい。可視化モードは、拡張現実モード、仮想現実モード、ならびに拡張および仮想現実モードの組み合わせのうちの１つであってもよい。
【0014】
本方法はさらに、ユーザの眼のそれぞれの視野画像を捕捉するステップを含んでもよい。捕捉された視野画像は、ユーザの頭部の姿勢を推定するために使用されてもよい。捕捉された視野画像は、少なくとも１つの物理的オブジェクトを物理的にレンダリングされた仮想オブジェクトに変換し、物理的にレンダリングされた仮想オブジェクトをユーザに表示するために使用されてもよい。
【0015】
本方法はさらに、捕捉された視野画像内の点集合を抽出するステップと、抽出された点集合に基づいて、捕捉された視野画像内の少なくとも１つの物理的オブジェクトのための基準を作成するステップとを含んでもよい。本方法はさらに、抽出された点集合および作成された基準のうちの少なくとも１つをクラウドコンピュータに伝送するステップと、抽出された点集合および作成された基準のうちの少なくとも１つをオブジェクトのタイプにタグ付けするステップとを含んでもよい。本方法はさらに、オブジェクトのタイプと関連付けられたタグ付けされた点集合およびオブジェクトのタイプと関連付けられたタグ付けされた作成された基準のうちの少なくとも１つに基づいて、異なる物理的オブジェクトがオブジェクトのタイプに属すると認識するステップを含んでもよい。
【0016】
本方法はさらに、ユーザの移動、ユーザの場所、ユーザの方向、およびユーザの配向のうちの少なくとも１つを感知するステップと、少なくとも１つの感知された移動、感知された場所、感知された方向、および感知された配向に基づいて、ユーザの姿勢を計算するステップとを含んでもよい。センサは、加速度計、コンパス、およびジャイロスコープのうちの少なくとも１つであってもよい。
【0017】
本方法はさらに、クラウドネットワークへのディスプレイオブジェクトと関連付けられた仮想世界データを処理するステップと、第２のユーザが、第２の場所におけるディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を体験し得るように、ディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を第２の場所に位置する第２のユーザに伝送するステップとを含んでもよい。
【0018】
本方法はさらに、物理的オブジェクトを感知するステップと、感知された物理的オブジェクトとの所定の関係に基づいて、ディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を修正するステップとを含んでもよい。本方法はさらに、修正された仮想世界データを第２のユーザに提示するステップを含む。
【0019】
本方法はさらに、他のオブジェクトがぼやけて現れるように、ディスプレイオブジェクトではない別のオブジェクトと関連付けられた別の光を修正するステップを含んでもよい。
【0020】
本方法はさらに、ユーザインターフェースを通してユーザ入力を受信するステップと、受信されたユーザ入力に基づいて、ディスプレイオブジェクトを修正するステップとを含んでもよい。ユーザインターフェースは、触覚インターフェースデバイス、キーボード、マウス、ジョイスティック、モーションキャプチャコントローラ、光学追跡デバイス、およびオーディオ入力デバイスのうちの少なくとも１つであってもよい。ディスプレイオブジェクトは、仮想オブジェクト、レンダリングされた物理的オブジェクト、画像、およびビデオのうちの少なくとも１つであってもよい。
【0021】
別の実施形態では、方法は、頭部搭載型ユーザディスプレイデバイスを通して仮想世界データを含む仮想世界と相互作用するステップであって、頭部搭載型ユーザディスプレイデバイスは、ユーザの眼の推定される焦点深度に基づいて、仮想世界データの少なくとも一部と関連付けられたディスプレイ画像をユーザにレンダリングする、ステップと、頭部搭載型ユーザデバイスと仮想世界の相互作用およびユーザの物理的環境との相互作用のうちの少なくとも１つを起源とする付加的仮想世界データを作成するステップと、付加的仮想世界データをコンピュータネットワークに伝送するステップとを含む。仮想世界は、２次元形式または３次元形式で提示されてもよい。
【0022】
本方法はさらに、第２のユーザが第２の場所からの付加的仮想世界データを体験することができるように、提示のために、付加的仮想世界データを第２の場所における第２のユーザに伝送するステップを含んでもよい。付加的仮想世界データは、頭部搭載型ユーザディスプレイデバイスを通して捕捉された視野画像と関連付けられてもよい。付加的仮想世界データは、ユーザの感知された移動、ユーザの感知された場所、ユーザの感知された方向、およびユーザの感知された配向のうちの少なくとも１つと関連付けられてもよい。付加的仮想世界データは、頭部搭載型ユーザディスプレイデバイスによって感知された物理的オブジェクトと関連付けられてもよい。付加的仮想世界データは、感知された物理的オブジェクトとの所定の関係を有するディスプレイオブジェクトと関連付けられてもよい。
【0023】
本方法はさらに、ユーザ入力に基づいて、ユーザと頭部搭載型ユーザディスプレイデバイスとの間の相互作用を可能にするためのインターフェースを選択するステップと、選択されるインターフェースに基づいて、仮想世界データの少なくとも一部と関連付けられたディスプレイオブジェクトをレンダリングするステップとを含んでもよい。選択されるインターフェースは、仮想現実モード、拡張現実モード、混合現実モード、ならびに仮想現実および拡張現実モードの組み合わせのうちの１つであってもよい。
【0024】
別の実施形態では、２人またはそれを上回るユーザが、仮想世界データを含む仮想世界と相互作用することを可能にする方法は、第１のユーザの第１の可視化モードにおいて、第１のユーザディスプレイデバイスを通して仮想世界を表示するステップと、コンピュータネットワークを通して第２のユーザディスプレイに仮想世界データの少なくとも一部を伝送するステップと、第２のユーザの第２のユーザディスプレイデバイスにおいて、第２の可視化モードにおいて、仮想世界データの伝送される部分と関連付けられた仮想世界を表示するステップとを含む。第１の可視化モードは、第２の可視化モードと異なってもよい。第１の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに仮想現実および拡張現実モードの組み合わせのうちの少なくとも１つであってもよい。
【0025】
別の実施形態では、方法は、ユーザの選択に基づいて、実際の物理的オブジェクトの画像と関連付けられたレンダリングされた物理的画像データおよび仮想ディスプレイオブジェクトと関連付けられた仮想画像データのうちの少なくとも１つを処理するステップと、ユーザによってリアルタイムで見られるような実際の物理的オブジェクト、ユーザによってリアルタイムで見られるような実際の物理的オブジェクトに基づいてレンダリングされる、レンダリングされた物理的仮想オブジェクト、および仮想ディスプレイオブジェクトの選択される組み合わせをユーザに選択的に表示するステップとを含む。実際の物理的オブジェクト、レンダリングされた物理的仮想オブジェクト、および仮想ディスプレイオブジェクトのうちの少なくとも１つは、可視化モードのユーザ入力に基づいて選択的に表示されてもよい。可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに仮想および拡張現実モードの組み合わせのうちの少なくとも１つであってもよい。
【0026】
本方法はさらに、コンピュータネットワークを通して別のディスプレイオブジェクトと関連付けられた画像データを受信するステップと、ユーザが、選択される可視化モードにおいて、他のディスプレイオブジェクトを視認することができるように、画像データを選択される可視化モードと互換性があるデータ形式に変換するステップとを含む。
【0027】
本方法はさらに、選択される可視化モードに基づいて、ユーザが、実際の物理的オブジェクトを視認することができるように、外側環境からの光の透過を選択的に可能にするステップを含む。
【0028】
別の実施形態では、方法は、頭部搭載型ユーザディスプレイデバイスのレンズを通して、外側環境からの光の透過を選択的に可能にするステップを含み、頭部搭載型ユーザディスプレイデバイスは、全体的仮想オブジェクト、全体的物理的オブジェクト、または仮想オブジェクトおよび物理的オブジェクトの組み合わせのいずれかを表示するために構成される。
【0029】
光の透過の選択的可能化は、所望の可視化モードに基づいてもよく、所望の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに拡張および仮想現実モードの組み合わせのうちの１つである。
【0030】
本方法はさらに、ユーザが、全体的物理的オブジェクトのみを視認するように、頭部搭載型ユーザディスプレイデバイスがオフにされると、外側環境からの光の完全透過を可能にするステップを含んでもよい。
【0031】
本方法はさらに、特定の形状を有する少なくとも１つのディスプレイオブジェクトと関連付けられた光ビームをユーザの眼の中に投影させるステップと、ユーザが、外側環境内の物理的オブジェクトとともに、ディスプレイオブジェクトを視認するように、少なくとも１つのディスプレイオブジェクトの特定の形状に基づいて、外側環境からの光の透過を選択的に可能にするステップとを含んでもよい。本方法はさらに、ユーザが、全体的仮想オブジェクトのみを視認することができるように、外側環境からの光の透過を防止するステップを含んでもよい。
【0032】
別の実施形態では、２人またはそれを上回るユーザが、仮想世界データを含む仮想世界と相互作用することを可能にする方法は、第１のユーザが、第１の場所における第１のユーザデバイスを通して仮想世界にアクセスするために、遠隔アバターを作成するステップと、第１のユーザが、第１の場所における第１のユーザデバイスを通して実際の地理的場所を体験することができるように、第１のユーザの遠隔アバターを実際の地理的場所に設置するステップと、実際の地理的場所に設置された遠隔アバターを通して、実際の地理的場所における第２のユーザデバイスを通して仮想世界にアクセスする第２のユーザと相互作用するステップとを含む。第１の場所は、実際の地理的場所と異なってもよく、または第１の場所は、実質的に、実際の地理的場所と同一であってもよい。
【0033】
遠隔アバターは、実際の地理的場所における物理的オブジェクトと所定の関係を有してもよい。遠隔アバターは、実際の地理的場所における環境キューに応答してもよい。遠隔アバターの移動は、第１のユーザによって制御されてもよい。遠隔アバターは、実際の地理的場所における第２のユーザと相互作用してもよい。
【0034】
別の実施形態では、方法は、頭部搭載型ユーザディスプレイデバイスを通して、ユーザの眼のそれぞれの視野画像を捕捉するステップと、捕捉された視野画像内の点集合を抽出するステップと、抽出された点集合と特定のオブジェクトを関連付けるステップと、特定のオブジェクトの関連付けられた点集合に基づいて、異なるオブジェクトを認識するステップとを含む。
【0035】
別の実施形態は、２人またはそれを上回るユーザが仮想世界データを含む仮想世界と相互作用することを可能にするためのシステムであって、１つまたはそれを上回るコンピューティングデバイスであって、メモリと、処理回路と、少なくとも部分的にメモリに記憶され、仮想世界データの少なくとも一部分を処理するように処理回路によって実行可能であるソフトウェアとを備える、１つまたはそれを上回るコンピューティングデバイスを備える、コンピュータネットワークを備え、仮想世界データの少なくとも第１の部分は、第１のユーザにローカルである第１のユーザ仮想世界が起源であり、第１のユーザ仮想世界の側面が第２のユーザに効果的に渡されるように、第２のユーザが第２のユーザの位置から第１の部分を体験し得るように、コンピュータネットワークは、第２のユーザに提示するために第１の部分をユーザデバイスに伝送するように動作可能である、システムを対象とする。第１および第２のユーザは、異なる物理的位置、または実質的に同一の物理的位置にあってもよい。仮想世界の少なくとも一部分は、仮想世界データの変更に応答して変化するように構成されてもよい。仮想世界の少なくとも一部分は、ユーザデバイスによって感知される物理的オブジェクトに応答して変化するように構成されてもよい。仮想世界データの変更は、物理的オブジェクトとの所定の関係を有する仮想オブジェクトを表してもよい。仮想世界データの変更は、所定の関係に従って、第２のユーザに提示するために第２のユーザデバイスに提示されてもよい。仮想世界は、コンピュータサーバまたはユーザデバイスのうちの少なくとも１つによってレンダリングされるように動作可能であり得る。仮想世界は、２次元形式で提示されてもよい。仮想世界は、３次元形式で提示されてもよい。ユーザデバイスは、拡張現実モードでユーザと仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能であり得る。ユーザデバイスは、仮想現実モードでユーザと仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能であり得る。ユーザデバイスは、拡張および仮想現実モードの組み合わせでユーザと仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能であり得る。仮想世界データは、データネットワーク上で伝送されてもよい。コンピュータネットワークは、ユーザデバイスから仮想世界データの少なくとも一部分を受信するように動作可能であり得る。ユーザデバイスに伝送される仮想世界データの少なくとも一部分は、仮想世界の少なくとも一部分を生成するための命令を備えてもよい。仮想世界データの少なくとも一部分は、処理または配信のうちの少なくとも１つのためにゲートウェイに伝送されてもよい。１つまたはそれを上回るコンピュータサーバのうちの少なくとも１つは、ゲートウェイによって配信される仮想世界データを処理するように動作可能であり得る。
【0036】
別の実施形態は、遠隔アバターが、音声抑揚および顔認識ソフトウェアからの随意的な入力を用いて、少なくとも部分的に装着型デバイス上のデータに基づいて動画化される、仮想および／または拡張ユーザ体験のためのシステムを対象とする。
【0037】
別の実施形態は、カメラ姿勢または視点位置およびベクトルが、ある世界セクタ内のいずれかの場所に配置されてもよい、仮想および／または拡張ユーザ体験のためのシステムを対象とする。
【0038】
別の実施形態は、世界またはその一部が、多様かつ選択可能な尺度でユーザを観察するためにレンダリングされてもよい、仮想および／または拡張ユーザ体験のためのシステムを対象とする。
【0039】
別の実施形態は、姿勢タグ付け画像に加えて、点またはパラメトリック線等の特徴が、世界モデルの基礎データとして利用され得、そこからソフトウェアロボットまたはオブジェクト認識装置が、セグメント化オブジェクトおよび世界モデルに手動で含むためのソース特徴をタグ付けする、実世界オブジェクトのパラメトリック表現を作成するために利用され得る、仮想および／または拡張ユーザ体験のためのシステムを対象とする。
【0040】
本発明の付加的ならびに他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。本願明細書は、例えば、以下の項目も提供する。
（項目１）
ユーザディスプレイデバイスであって、
ユーザの頭部に搭載可能な筐体フレームと、
前記筐体フレームに連結され、前記ユーザの眼の移動を追跡し、前記追跡された眼移動に基づいて、焦点深度を推定するための第１の対のカメラと、
光生成機構を有し、前記推定される焦点深度に基づいて、ディスプレイオブジェクトが焦点に現れるように、ディスプレイオブジェクトアプリと関連付けられた投影光を生成および修正するための投影モジュールと、
前記筐体フレーム上に搭載される、レンズと、
前記投影モジュールに通信可能に連結され、前記ディスプレイ画像と関連付けられたデータを前記投影モジュールに通信するためのプロセッサと、
を備える、デバイス。
（項目２）
前記レンズはさらに、前記ユーザの眼の正面に位置付けられ、前記投影された光を前記ユーザの眼の中に入り込ませるための少なくとも１つの透明ミラーを備える、項目１に記載のユーザディスプレイデバイス。
（項目３）
前記少なくとも１つの透明ミラーは、選択的に、ローカル環境からの光の透過を可能にする、項目２に記載のユーザディスプレイデバイス。
（項目４）
前記筐体フレーム上に搭載可能であって、第２の対のカメラのそれぞれに対応する眼の視野画像を捕捉するための第２の対のカメラをさらに備える、項目１に記載のユーザディスプレイデバイス。
（項目５）
前記プロセッサは、前記捕捉された視野画像に基づいて、前記ユーザの頭部姿勢を計算する、項目４に記載のユーザディスプレイデバイス。
（項目６）
前記投影モジュールは、前記推定される焦点深度に基づいて、前記ディスプレイオブジェクトと関連付けられた投影された光を修正するための走査式レーザ配列を備える、項目１に記載のユーザディスプレイデバイス。
（項目７）
前記投影された光は、直径０．７ｍｍ未満を有する光ビームである、項目６に記載のユーザディスプレイデバイス。
（項目８）
前記第１の対のカメラは、前記ユーザの眼のそれぞれの移動を追跡するために、赤外線光源と対合される、赤外線カメラを備える、項目１に記載のユーザディスプレイデバイス。
（項目９）
前記ユーザの移動、前記ユーザの場所、前記ユーザの方向、および前記ユーザの配向のうちの少なくとも１つを感知するための少なくとも１つのセンサを備える、センサアセンブリをさらに備える、項目１に記載のユーザディスプレイデバイス。
（項目１０）
前記少なくとも１つのセンサは、加速度計、コンパス、およびジャイロスコープのうちの少なくとも１つである、項目９に記載のユーザディスプレイデバイス。
（項目１１）
前記プロセッサは、前記ユーザの移動、前記ユーザの場所、前記ユーザの方向、および前記ユーザの配向のうちの少なくとも１つに基づいて、前記ユーザの頭部姿勢を推定する、項目９に記載のユーザディスプレイデバイス。
（項目１２）
ＧＰＳシステムをさらに備える、項目１に記載のユーザディスプレイデバイス。
（項目１３）
前記プロセッサは、コンピュータネットワークに通信可能に連結され、仮想世界データの少なくとも一部を伝送し、前記仮想世界データの別の部分を受信する、項目１に記載のユーザディスプレイデバイス。
（項目１４）
前記頭部フレーム上に搭載可能であって、音を出力するためのオーディオスピーカモジュールをさらに備える、項目１に記載のユーザディスプレイデバイス。
（項目１５）
前記筐体フレーム上に搭載可能であって、前記ユーザにローカルの音を捕捉するためのマイクロホンをさらに備える、項目１に記載のユーザディスプレイデバイス。
（項目１６）
前記投影モジュールは、他のオブジェクトがぼやけて現れるように、ディスプレイオブジェクトではない別のオブジェクトと関連付けられた別の投影された光を修正する、項目１に記載のユーザディスプレイデバイス。
（項目１７）
前記プロセッサは、少なくとも６０フレーム／秒の率で前記ディスプレイオブジェクトのフレームをレンダリングする、項目１に記載のユーザディスプレイデバイス。
（項目１８）
前記投影モジュールに通信可能に連結され、触知フィードバックを提供するための触覚インターフェースデバイスをさらに備える、項目１に記載のユーザディスプレイデバイス。
（項目１９）
前記ディスプレイオブジェクトは、仮想オブジェクト、レンダリングされた物理的オブジェクト、画像、およびビデオのうちの少なくとも１つである、項目１に記載のユーザディスプレイデバイス。
（項目２０）
前記ユーザの環境をデジタル的に再構築するための環境感知システムをさらに備える、項目１に記載のユーザディスプレイデバイス。
（項目２１）
方法であって、
ユーザの眼の移動を追跡するステップと、
前記追跡された眼移動に基づいて、前記ユーザの眼の焦点深度を推定するステップと、
ディスプレイオブジェクトが焦点に表されるように、前記推定される焦点深度に基づいて、ディスプレイオブジェクトと関連付けられた光ビームを修正するステップと、
前記修正された光ビームを前記ユーザの眼の中に投影するステップと、
を含む、方法。
（項目２２）
前記ディスプレイオブジェクトの可視化モードに基づいて、前記ユーザのローカル環境からの光の透過を選択的に可能にするステップをさらに含み、前記可視化モードは、拡張現実モード、仮想現実モード、ならびに拡張および仮想現実モードの組み合わせのうちの１つである、項目２１に記載の方法。
（項目２３）
前記ユーザの眼のそれぞれの視野画像を捕捉するステップをさらに含む、項目２１に記載の方法。
（項目２４）
前記ユーザの眼の少なくとも１つの視野画像に基づいて、前記ユーザの頭部姿勢を推定するステップをさらに含む、項目２３に記載の方法。
（項目２５）
前記捕捉された視野画像内の少なくとも１つの物理的オブジェクトを物理的にレンダリングされた仮想オブジェクトに変換するステップと、
前記物理的にレンダリングされた仮想オブジェクトを前記ユーザに表示するステップと、
をさらに含む、項目２３に記載の方法。
（項目２６）
前記捕捉された視野画像内の点集合を抽出するステップと、
前記抽出された点集合に基づいて、前記捕捉された視野画像内の少なくとも１つの物理的オブジェクトのための基準を作成するステップと、
をさらに含む、項目２３に記載の方法。
（項目２７）
前記抽出された点集合および前記作成された基準のうちの少なくとも１つをクラウドコンピュータに伝送するステップと、
前記抽出された点集合および前記作成された基準のうちの少なくとも１つをオブジェクトのタイプにタグ付けするステップと、
をさらに含む、項目２６に記載の方法。
（項目２８）
前記オブジェクトのタイプと関連付けられたタグ付けされた点集合および前記オブジェクトのタイプと関連付けられたタグ付けされた作成された基準のうちの少なくとも１つに基づいて、異なる物理的オブジェクトが前記オブジェクトのタイプに属すると認識するステップをさらに含む、項目２７に記載の方法。
（項目２９）
前記投影された光は、直径０．７ｍｍ未満を有する光ビームである、項目２１に記載の方法。
（項目３０）
前記ユーザの移動、前記ユーザの場所、前記ユーザの方向、および前記ユーザの配向のうちの少なくとも１つを感知するステップと、
前記少なくとも１つの感知された移動、感知された場所、感知された方向、および感知された配向に基づいて、前記ユーザの姿勢を計算するステップと、
をさらに含む、項目２１に記載の方法。
（項目３１）
前記少なくとも１つのセンサは、加速度計、コンパス、およびジャイロスコープのうちの少なくとも１つである、項目３０に記載の方法。
（項目３２）
コンピュータネットワークへの前記ディスプレイオブジェクトと関連付けられた仮想世界データを処理するステップと、
第２のユーザが、第２の場所におけるディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を体験し得るように、前記ディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を第２の場所に位置する第２のユーザに伝送するステップと、
をさらに含む、項目２１に記載の方法。
（項目３３）
物理的オブジェクトを感知するステップと、
前記感知された物理的オブジェクトとの所定の関係に基づいて、前記ディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を修正するステップと、
をさらに含む、項目３２に記載の方法。
（項目３４）
前記修正された仮想世界データを前記第２のユーザに提示するステップをさらに含む、項目３３に記載の方法。
（項目３５）
他のオブジェクトがぼやけて現れるように、ディスプレイオブジェクトではない別のオブジェクトと関連付けられた別の光を修正するステップをさらに含む、項目２１に記載の方法。
（項目３６）
ユーザインターフェースを通してユーザ入力を受信するステップと、
前記受信されたユーザ入力に基づいて、前記ディスプレイオブジェクトを修正するステップと、
をさらに含む、項目２１に記載の方法。
（項目３７）
前記ユーザインターフェースは、触覚インターフェースデバイス、キーボード、マウス、ジョイスティック、モーションキャプチャコントローラ、光学追跡デバイス、およびオーディオ入力デバイスのうちの少なくとも１つである、項目３６に記載の方法。
（項目３８）
前記ディスプレイオブジェクトは、仮想オブジェクト、レンダリングされた物理的オブジェクト、画像、およびビデオのうちの少なくとも１つである、項目２１に記載の方法。
（項目３９）
方法であって、
頭部搭載型ユーザディスプレイデバイスを通して仮想世界データを含む仮想世界と相互作用するステップであって、前記頭部搭載型ユーザディスプレイデバイスは、前記ユーザの眼の推定される焦点深度に基づいて、前記仮想世界データの少なくとも一部と関連付けられたディスプレイ画像をユーザにレンダリングする、ステップと、
前記頭部搭載型ユーザデバイスと前記仮想世界の相互作用および前記ユーザの物理的環境との相互作用のうちの少なくとも１つを起源とする付加的仮想世界データを作成するステップと、
前記付加的仮想世界データをコンピュータネットワークに伝送するステップと、
を含む、方法。
（項目４０）
第２のユーザが第２の場所からの付加的仮想世界データを体験することができるように、提示のために、前記付加的仮想世界データを第２の場所における第２のユーザに伝送するステップをさらに含む、項目３９に記載の方法。
（項目４０）
前記付加的仮想世界データは、前記頭部搭載型ユーザディスプレイデバイスを通して捕捉された視野画像と関連付けられる、項目３９に記載の方法。
（項目４１）
前記付加的仮想世界データは、前記ユーザの感知された移動、前記ユーザの感知された場所、前記ユーザの感知された方向、および前記ユーザの感知された配向のうちの少なくとも１つと関連付けられる、項目３９に記載の方法。
（項目４２）
前記付加的仮想世界データは、前記頭部搭載型ユーザディスプレイデバイスによって感知された物理的オブジェクトと関連付けられる、項目３９に記載の方法。
（項目４３）
前記付加的仮想世界データは、前記感知された物理的オブジェクトとの所定の関係を有するディスプレイオブジェクトと関連付けられる、項目４２に記載の方法。
（項目４４）
ユーザ入力に基づいて、前記ユーザと前記頭部搭載型ユーザディスプレイデバイスとの間の相互作用を可能にするためのインターフェースを選択するステップと、 前記選択されるインターフェースに基づいて、前記仮想世界データの少なくとも一部と関連付けられたディスプレイオブジェクトをレンダリングするステップと、 をさらに含む、項目３９に記載の方法。
（項目４５）
前記選択されるインターフェースは、仮想現実モード、拡張現実モード、混合現実モード、ならびに前記仮想現実および拡張現実モードの組み合わせのうちの１つである、項目４４に記載の方法。
（項目４６）
前記仮想世界は、２次元形式で提示される、項目３９に記載の方法。
（項目４７）
前記仮想世界は、３次元形式で提示される、項目３９に記載の方法。
（項目４８）
２人またはそれを上回るユーザが、仮想世界データを含む仮想世界と相互作用することを可能にする方法であって、
第１のユーザの第１の可視化モードにおいて、第１のユーザディスプレイデバイスを通して前記仮想世界を表示するステップと、
コンピュータネットワークを通して第２のユーザディスプレイに前記仮想世界データの少なくとも一部を伝送するステップと、
第２のユーザの第２のユーザディスプレイデバイスにおいて、第２の可視化モードにおいて、前記仮想世界データの伝送される部分と関連付けられた仮想世界を表示するステップと、
を含む、方法。
（項目４９）
前記第１の可視化モードは、前記第２の可視化モードと異なる、項目４８に記載の方法。
（項目５０）
前記第１の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに前記仮想現実および拡張現実モードの組み合わせのうちの少なくとも１つである、項目４８に記載の方法。
（項目５１）
前記第２の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに前記仮想現実および拡張現実モードの組み合わせのうちの少なくとも１つである、項目４８に記載の方法。
（項目５２）
方法であって、
ユーザの選択に基づいて、実際の物理的オブジェクトの画像と関連付けられたレンダリングされた物理的画像データおよび仮想ディスプレイオブジェクトと関連付けられた仮想画像データのうちの少なくとも１つを処理するステップと、
前記ユーザによってリアルタイムで見られるような実際の物理的オブジェクト、前記ユーザによってリアルタイムで見られるような実際の物理的オブジェクトに基づいてレンダリングされる、レンダリングされた物理的仮想オブジェクト、および前記仮想ディスプレイオブジェクトの選択される組み合わせをユーザに選択的に表示するステップと、
を含む、方法。
（項目５３）
実際の物理的オブジェクト、前記レンダリングされた物理的仮想オブジェクト、および前記仮想ディスプレイオブジェクトのうちの少なくとも１つは、可視化モードのユーザ入力に基づいて選択的に表示される、項目５２に記載の方法。
（項目５４）
前記可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに前記仮想および拡張現実モードの組み合わせのうちの少なくとも１つである、項目５３に記載の方法。
（項目５５）
コンピュータネットワークを通して別のディスプレイオブジェクトと関連付けられた画像データを受信するステップと、
前記ユーザが、前記選択される可視化モードにおいて、他のディスプレイオブジェクトを視認することができるように、前記画像データを前記選択される可視化モードと互換性があるデータ形式に変換するステップと、
をさらに含む、項目５３に記載の方法。
（項目５６）
前記選択される可視化モードに基づいて、前記ユーザが、前記実際の物理的オブジェクトを視認することができるように、外側環境からの光の透過を選択的に可能にするステップをさらに含む、項目５２に記載の方法。
（項目５７）
方法であって、
頭部搭載型ユーザディスプレイデバイスのレンズを通して、外側環境からの光の透過を選択的に可能にするステップを含み、前記頭部搭載型ユーザディスプレイデバイスは、全体的仮想オブジェクト、全体的物理的オブジェクト、または仮想オブジェクトおよび物理的オブジェクトの組み合わせのいずれかを表示するために構成される、方法。
（項目５８）
前記光の透過の選択的可能化は、所望の可視化モードに基づき、前記所望の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに拡張および仮想現実モードの組み合わせのうちの１つである、項目５７に記載の方法。
（項目５９）
前記ユーザが、前記全体的物理的オブジェクトのみを視認するように、前記頭部搭載型ユーザディスプレイデバイスがオフにされると、前記外側環境からの光の完全透過を可能にするステップをさらに含む、項目５７に記載の方法。
（項目６０）
特定の形状を有する少なくとも１つのディスプレイオブジェクトと関連付けられた光ビームを前記ユーザの眼の中に投影させるステップと、
前記ユーザが、前記外側環境内の物理的オブジェクトとともに、前記ディスプレイオブジェクトを視認するように、前記少なくとも１つのディスプレイオブジェクトの特定の形状に基づいて、前記外側環境からの光の透過を選択的に可能にするステップと、
をさらに含む、項目５７に記載の方法。
（項目６１）
前記ユーザが、前記全体的仮想オブジェクトのみを視認するように、前記外側環境からの光の透過を防止するステップをさらに含む、項目５７に記載の方法。
（項目６２）
２人またはそれを上回るユーザが、仮想世界データを含む仮想世界と相互作用することを可能にする方法であって、
第１のユーザが、第１の場所における第１のユーザデバイスを通して前記仮想世界にアクセスするために、遠隔アバターを作成するステップと、
前記第１のユーザが、前記第１の場所における前記第１のユーザデバイスを通して前記実際の地理的場所を体験することができるように、前記第１のユーザの遠隔アバターを実際の地理的場所に設置するステップと、
前記実際の地理的場所に設置された遠隔アバターを通して、前記実際の地理的場所における第２のユーザデバイスを通して前記仮想世界にアクセスする第２のユーザと相互作用するステップと、
を含む、方法。
（項目６３）
前記第１の場所は、前記実際の地理的場所と異なる、項目６２に記載の方法。
（項目６４）
前記第１の場所は、実質的に、前記実際の地理的場所と同一である、項目６２に記載の方法。
（項目６５）
前記遠隔アバターは、前記実際の地理的場所における物理的オブジェクトと所定の関係を有する、項目６２に記載の方法。
（項目６６）
前記遠隔アバターは、前記実際の地理的場所における環境キューに応答する、項目６２に記載の方法。
（項目６７）
前記遠隔アバターの移動は、前記第１のユーザによって制御される、項目６２に記載の方法。
（項目６８）
前記遠隔アバターは、前記実際の地理的場所における第２のユーザと相互作用することができる、項目６２に記載の方法。
（項目６９）
方法であって、
頭部搭載型ユーザディスプレイデバイスを通して、前記ユーザの眼のそれぞれの視野画像を捕捉するステップと、
前記捕捉された視野画像内の点集合を抽出するステップと、
前記抽出された点集合と特定のオブジェクトを関連付けるステップと、
前記特定のオブジェクトの関連付けられた点集合に基づいて、異なるオブジェクトを認識するステップと、
を含む、方法。
（項目７０）
２人またはそれを上回るユーザが仮想世界データを含む仮想世界と相互作用することを可能にするためのシステムであって、
１つまたはそれを上回るコンピューティングデバイスを備えるコンピュータネットワークであって、前記１つまたはそれを上回るコンピューティングデバイスは、メモリと、処理回路と、少なくとも部分的に前記メモリに記憶され、前記仮想世界データの少なくとも一部分を処理するように前記処理回路によって実行可能であるソフトウェアとを備える、コンピュータネットワークを備え、
前記仮想世界データの少なくとも第１の部分は、第１のユーザにローカルである第１のユーザ仮想世界が起源であり、前記第１のユーザ仮想世界の側面が前記第２のユーザに効果的に渡されるように、前記第２のユーザが第２のユーザの位置から第１の部分を体験し得るように、前記コンピュータネットワークは、前記第２のユーザに提示するために前記第１の部分をユーザデバイスに伝送するように動作可能である、システム。
（項目７１）
前記第１および第２のユーザは、異なる物理的位置にある、項目７０に記載のシステム。
（項目７２）
前記第１および第２のユーザは、実質的に同一の物理的位置にある、項目７０に記載のシステム。
（項目７３）
前記仮想世界の少なくとも一部分は、前記仮想世界データの変更に応答して変化する、項目７０に記載のシステム。
（項目７４）
前記仮想世界の少なくとも一部分は、前記ユーザデバイスによって感知される物理的オブジェクトに応答して変化する、項目７０に記載のシステム。
（項目７５）
仮想世界データの前記変更は、前記物理的オブジェクトとの所定の関係を有する仮想オブジェクトを表す、項目７４に記載のシステム。
（項目７６）
仮想世界データの前記変更は、前記所定の関係に従って、前記第２のユーザに提示するために第２のユーザデバイスに提示される、項目７５に記載のシステム。
（項目７７）
前記仮想世界は、前記コンピュータサーバまたはユーザデバイスのうちの少なくとも１つによってレンダリングされるように動作可能である、項目７０に記載のシステム。
（項目７８）
前記仮想世界は、２次元形式で提示される、項目７０に記載のシステム。
（項目７９）
前記仮想世界は、３次元形式で提示される、項目７０に記載のシステム。
（項目８０）
前記ユーザデバイスは、拡張現実モードでユーザと前記仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能である、項目７０に記載のシステム。
（項目８１）
前記ユーザデバイスは、仮想現実モードでユーザと前記仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能である、項目７０に記載のシステム。
（項目８２）
前記ユーザデバイスは、拡張および仮想現実モードの組み合わせでユーザと前記仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能である、項目８０に記載のシステム。
（項目８３）
前記仮想世界データは、データネットワーク上で伝送される、項目７０に記載のシステム。
（項目８４）
前記コンピュータネットワークは、ユーザデバイスから前記仮想世界データの少なくとも一部分を受信するように動作可能である、項目７０に記載のシステム。
（項目８５）
前記ユーザデバイスに伝送される前記仮想世界データの少なくとも一部分は、前記仮想世界の少なくとも一部分を生成するための命令を備える、項目７０に記載のシステム。
（項目８６）
前記仮想世界データの少なくとも一部分は、処理または配信のうちの少なくとも１つのためにゲートウェイに伝送される、項目７０に記載のシステム。
（項目８７）
前記１つまたはそれを上回るコンピュータサーバのうちの少なくとも１つは、前記ゲートウェイによって配信される仮想世界データを処理するように動作可能である、項目８６に記載のシステム。
【図面の簡単な説明】
【0041】
【発明を実施するための形態】
【0042】
（詳細な説明）図１を参照すると、システム１００は、以下で説明されるプロセスを実装するための代表的なハードウェアである。この代表的なシステムは、１つまたはそれを上回る高帯域幅インターフェース１１５を通して接続される１つまたはそれを上回るコンピュータサーバ１１０から成るコンピューティングネットワーク１０５を備える。コンピューティングネットワーク内のサーバは、同一場所に位置する必要はない。１つまたはそれを上回るサーバ１１０はそれぞれ、プログラム命令を実行するための１つまたはそれを上回るプロセッサを備える。サーバはまた、プログラム命令、およびプログラム命令の指示の下でサーバによって実行されているプロセスによって使用および／または生成されるデータを記憶するためのメモリも含む。
【0043】
コンピューティングネットワーク１０５は、１つまたはそれを上回るデータネットワーク接続１３０上で、サーバ１１０の間で、およびサーバと１つまたはそれを上回るユーザデバイス１２０との間でデータを伝達する。そのようなデータネットワークの実施例は、限定ではないが、移動式および有線の両方である、ありとあらゆるタイプの公衆およびプライベートデータネットワークを含み、例えば、一般的にインターネットと呼ばれる、そのようなネットワークの多くの相互接続を含む。いかなる特定のメディア、トポロジー、またはプロトコルも、図によって暗示されることを目的としていない。
【0044】
ユーザデバイスは、コンピューティングネットワーク１０５、またはサーバ１１０のうちのいずれかと直接通信するために構成される。代替として、ユーザデバイス１２０は、データを処理するため、および／またはネットワーク１０５と１つまたはそれを上回るローカルユーザデバイス１２０との間でデータを伝達するために、特別にプログラムされたローカルゲートウェイ１４０を通して、遠隔サーバ１１０と、および随意に、ローカルで他のユーザデバイスと通信する。
【0045】
図示されるように、ゲートウェイ１４０は、ソフトウェア命令を実行するためのプロセッサと、ソフトウェア命令およびデータを記憶するためのメモリとを含む、別個のハードウェア構成要素として実装される。ゲートウェイは、コンピューティングネットワーク１０５を備える、サーバ１１０と通信するためのデータネットワークへの独自の有線および／または無線接続を有する。代替として、ゲートウェイ１４０は、ユーザによって装着または携行される、ユーザデバイス１２０と統合することができる。例えば、ゲートウェイ１４０は、ユーザデバイス１２０に含まれるプロセッサ上にインストールされて実行する、ダウンロード可能なソフトウェアアプリケーションとして実装されてもよい。ゲートウェイ１４０は、一実施形態では、データネットワーク１３０を介して、コンピューティングネットワーク１０５へのアクセスを１人またはそれを上回るユーザに提供する。
【0046】
サーバ１１０はそれぞれ、例えば、データおよびソフトウェアプログラムを記憶するための作業メモリおよび記憶装置、プログラム命令を実行するためのマイクロプロセッサ、グラフィック、画像、ビデオ、オーディオ、およびマルチメディアファイルをレンダリングして生成するためのグラフィックプロセッサおよび他の特殊プロセッサを含む。コンピューティングネットワーク１０５はまた、サーバ１１０によってアクセス、使用、または作成されるデータを記憶するためのデバイスを備えてもよい。
【0047】
サーバ、随意に、ユーザデバイス１２０およびゲートウェイ１４０上で実行するソフトウェアプログラムは、ユーザがユーザデバイス１２０と相互作用する、デジタル世界（本明細書では、仮想世界とも呼ばれる）を生成するために使用される。デジタル世界は、ユーザが体験して相互作用するために、ユーザデバイス１２０を通してユーザに提示することができる、仮想の存在しないエンティティ、環境、および条件を表す、および／または定義する、データおよびプロセスによって表される。例えば、ユーザによって視認または体験されている光景でインスタンス化されるときに物理的に存在しているように見えるであろう、何らかのタイプのオブジェクト、エンティティ、またはアイテムは、その外見、その挙動、どのようにしてユーザがそれと相互作用することを許可されるか、および他の特性の説明を含んでもよい。仮想世界（仮想オブジェクトを含む）の環境を作成するために使用されるデータは、例えば、大気データ、地形データ、気象データ、温度データ、位置データ、および仮想環境を定義する、および／または表すために使用される他のデータを含んでもよい。加えて、仮想世界の動作を支配する種々の条件を定義するデータは、例えば、物理法則、時間、空間的関係、および仮想世界（仮想オブジェクトを含む）の動作を支配する種々の条件を定義および／または作成するために使用され得る他のデータを含んでもよい。
【0048】
デジタル世界のエンティティ、オブジェクト、条件、特性、挙動、または他の特徴は、概して、文脈が特に指示しない限り、本明細書ではオブジェクト（例えば、デジタルオブジェクト、仮想オブジェクト、レンダリングされた物理的オブジェクト等）と呼ばれるであろう。オブジェクトは、限定されないが、建造物、植物、車両、人、動物、生物、機械、データ、ビデオ、テキスト、写真、および他のユーザを含む、任意のタイプの有生または無生オブジェクトであってもよい。オブジェクトはまた、アイテム、挙動、または物理的世界に実際に存在する条件に関する情報を記憶するために、デジタル世界で定義されてもよい。エンティティ、オブジェクト、またはアイテムを表す、または定義する、あるいはその現在の状態を記憶するデータは、概して、本明細書では、オブジェクトデータと呼ばれる。このデータは、オブジェクトのインスタンスをインスタンス化し、ユーザがユーザデバイスを体験するために適切な方式でオブジェクトをレンダリングするように、サーバ１１０によって、あるいは実装に応じて、ゲートウェイ１４０またはユーザデバイス１２０によって処理される。
【0049】
デジタル世界を開発および／または作成するプログラマが、オブジェクト、およびそれらがインスタンス化される条件を作成または定義する。しかしながら、デジタル世界は、他者がオブジェクトを作成または修正することを可能にすることができる。いったんオブジェクトがインスタンス化されると、オブジェクトの状態は、デジタル世界を体験している１人またはそれを上回るユーザによって、変更、制御、または操作されることを許可されてもよい。
【0050】
例えば、一実施形態では、デジタル世界の開発、制作、および管理は、概して、１人またはそれを上回るシステム管理プログラマによって提供される。いくつかの実施形態では、これは、デジタル世界における話の筋、テーマ、および事象の開発、設計、および／または実行、ならびに、例えば、映画、デジタル、ネットワーク、移動、拡張現実、およびライブ娯楽等の種々の形態の事象およびメディアを通した、談話の配信を含んでもよい。システム管理プログラマはまた、デジタル世界およびそれと関連付けられるユーザコミュニティの技術管理、議論の管理、およびキュレーション、ならびに典型的にはネットワーク管理人員によって行われる他のタスクに対処してもよい。
【0051】
ユーザは、概して、ユーザデバイス１２０として設計されている、何らかのタイプのローカルコンピューティングデバイスを使用して、１つまたはそれを上回るデジタル世界と相互作用する。そのようなユーザデバイスの実施例は、スマートフォン、タブレットデバイス、ヘッドアップディスプレイ（ＨＵＤ）、ゲーム機、またはデータを伝達し、インターフェースまたはディスプレイをユーザに提供することが可能な任意の他のデバイス、あるいはそのようなデバイスの組み合わせを含むが、それらに限定されない。いくつかの実施形態では、ユーザデバイス１２０は、例えば、キーボード、マウス、ジョイスティック、ゲームコントローラ、触覚インターフェースデバイス、モーションキャプチャコントローラ、Ｌｅａｐ Ｍｏｔｉｏｎ， Ｉｎｃ．から入手可能なもの、またはＫｉｎｅｃｔ（ＲＴＭ）という商標の下でＭｉｃｒｏｓｏｆｔから入手可能なもの等の視覚的追跡デバイス、オーディオ機器、音声機器、プロジェクタシステム、３Ｄディスプレイ、およびホログラフィック３Ｄコンタクトレンズ等のローカル周辺または入力／出力構成要素を含み、またはそれらと通信してもよい。
【0052】
システム１００と相互作用するためのユーザデバイス１２０の実施例が、図２で図示されている。図２に示される例示的実施形態では、ユーザ２１０が、スマートフォン２２０を通して１つまたはそれを上回るデジタル世界と対話してもよい。ゲートウェイは、スマートフォン２２０上に記憶されて実行する、ソフトウェアアプリケーション２３０によって実装される。この特定の実施例では、データネットワーク１３０は、ユーザデバイス（すなわち、スマートフォン２２０）をコンピュータネットワーク１０５に接続する、無線移動ネットワークを含む。
【0053】
好ましい実施形態の１つの実装では、システム１００は、何らかのタイプのユーザデバイス１２０を使用して、同一のデジタル世界と、または複数のデジタル世界とそれぞれ対話する、多数の同時ユーザ（例えば、何百万人ものユーザ）をサポートすることが可能である。
【0054】
ユーザデバイスは、他のユーザおよびユーザに提示されるオブジェクト（現実または仮想）を含む、ユーザとサーバ１１０によって生成されるデジタル世界との間の視覚、可聴、および／または物理的相互作用を可能にするためのインターフェースをユーザに提供する。インターフェースは、視認する、聞く、または別様に感知することができる、レンダリングされた光景、およびリアルタイムで光景と相互作用する能力をユーザに提供する。ユーザがレンダリングされた光景と相互作用する方式は、ユーザデバイスの能力によって決定付けられてもよい。例えば、ユーザデバイスがスマートフォンである場合、ユーザ相互作用は、ユーザがタッチスクリーンに接触することによって実装されてもよい。別の実施例では、ユーザデバイスがコンピュータまたはゲーム機である場合、ユーザ相互作用は、キーボードまたはゲームコントローラを使用して実装されてもよい。ユーザデバイスは、センサ等のユーザ相互作用を可能にする付加的な構成要素を含んでもよく、センサによって検出されるオブジェクトおよび情報（ジェスチャを含む）は、ユーザデバイスを使用した仮想世界とのユーザ相互作用を表す入力として提供されてもよい。
【0055】
レンダリングされた光景は、例えば、２次元または３次元視覚表示（投影を含む）、音、および触覚または触知フィードバック等の種々の形式で提示することができる。レンダリングされた光景は、例えば、拡張現実、仮想現実、およびそれらの組み合わせを含む、１つまたはそれを上回るモードで、ユーザによって対話されてもよい。レンダリングされた光景の形式、ならびにインターフェースモードは、ユーザデバイス、データ処理能力、ユーザデバイス接続性、ネットワーク能力、およびシステム作業負荷のうちの１つまたはそれを上回るものによって決定付けられてもよい。デジタル世界と同時に相互作用する多数のユーザ、およびデータ交換のリアルタイム性質を有することは、コンピューティングネットワーク１０５、サーバ１１０、ゲートウェイ構成要素１４０（随意に）、およびユーザデバイス１２０によって可能にされる。
【0056】
一実施例では、コンピューティングネットワーク１０５ ＩＳは、高速接続（例えば、高帯域幅インターフェース１１５）を通して接続された単一および／またはマルチコアサーバ（すなわち、サーバ１１０）を有する、大規模コンピューティングシステムから成る。コンピューティングネットワーク１０５は、クラウドまたはグリッドネットワークを形成してもよい。サーバのそれぞれは、メモリを含み、デジタル世界のオブジェクトを作成、設計、変更、または処理するようにデータを実装するためのソフトウェアを記憶するためのコンピュータ可読メモリと連結される。これらのオブジェクトおよびそれらのインスタンス化は、動的であり、存在し、存在しなくなり、経時的に変化し、他の条件に応答して変化してもよい。オブジェクトの動的能力の実施例は、概して、種々の実施形態に関して本明細書で論議される。いくつかの実施形態では、システム１００と対話する各ユーザはまた、１つまたはそれを上回るデジタル世界内で、オブジェクトおよび／またはオブジェクトの集合として表されてもよい。
【0057】
コンピューティングネットワーク１０５内のサーバ１１０はまた、デジタル世界のそれぞれに対する計算状態データも記憶する。計算状態データ（本明細書では、状態データとも呼ばれる）は、オブジェクトデータの構成要素であってもよく、概して、時間における所与のインスタンスで、オブジェクトのインスタンスの状態を定義する。したがって、計算状態データは、経時的に変化してもよく、システム１００を維持する１人またはそれを上回るユーザおよび／またはプログラマのアクションによる影響を受けてもよい。ユーザが計算状態データ（またはデジタル世界を含む他のデータ）に影響を与えると、ユーザは、デジタル世界を直接変更するか、または別様に操作する。デジタル世界が他のユーザと共有または対話される場合、ユーザのアクションは、デジタル世界と相互作用する他のユーザによって体験されるものに影響を及ぼしてもよい。したがって、いくつかの実施形態では、ユーザによって行われるデジタル世界への変更は、システム１００と対話する他のユーザによって体験されるであろう。
【0058】
コンピューティングネットワーク１０５内の１つまたはそれを上回るサーバ１１０に記憶されたデータは、一実施形態では、高速にて、かつ少ない待ち時間で、１つまたはそれを上回るユーザデバイス１２０および／またはゲートウェイ構成要素１４０に伝送または展開される。一実施形態では、サーバによって共有されるオブジェクトデータは、完全であり得るか、または圧縮され、ユーザ側で完全オブジェクトデータを再作成するための命令を含有し、ユーザのローカルコンピュータデバイス（例えば、ゲートウェイ１４０および／またはユーザデバイス１２０）によってレンダリングおよび可視化されてもよい。コンピューティングネットワーク１０５のサーバ１１０上で実行するソフトウェアは、いくつかの実施形態では、ユーザの特定のデバイスおよび帯域幅の関数として、デジタル世界内のオブジェクト（またはコンピューティングネットワーク１０５によって交換される任意の他のデータ）について、それが生成して特定のユーザのデバイス１２０に送信するデータを適合させてもよい。例えば、ユーザがユーザデバイス１２０を通してデジタル世界と相互作用するとき、サーバ１１０は、ユーザによって使用されている特定のタイプのデバイス、ユーザデバイスとサーバとの間のデバイスの接続性および／または利用可能な帯域幅を認識し、ユーザ相互作用を最適化するように、デバイスに送達されているデータのサイズを適切に決定して均衡を保ってもよい。これの実施例は、データが、低解像度ディスプレイを有する特定のユーザデバイス上で表示され得るように、伝送されたデータのサイズを低解像度品質に低減させることを含んでもよい。好ましい実施形態では、コンピューティングネットワーク１０５および／またはゲートウェイ構成要素１４０は、１５フレーム／秒またはそれを上回り、かつ高解像度品質またはそれを上回るデータ分解能で動作するインターフェースを提示するのに十分な速度で、データをユーザデバイス１２０に送達する。
【0059】
ゲートウェイ１４０は、１人またはそれを上回るユーザのためのコンピューティングネットワーク１０５へのローカル接続を提供する。いくつかの実施形態では、それは、ユーザデバイス１２０または図２に示されるもの等の別のローカルデバイス上で実行する、ダウンロード可能なソフトウェアアプリケーションによって実装されてもよい。他の実施形態では、それは、ユーザデバイス１２０と通信しているが、それとともに組み込まれない、または取り付けられないか、あるいはユーザデバイス１２０とともに組み込まれるかのいずれかである、ハードウェア構成要素（構成要素上に記憶された適切なソフトウェア／ファームウェアを伴う、プロセッサを有する構成要素）によって実装されてもよい。ゲートウェイ１４０は、データネットワーク１３０を介してコンピューティングネットワーク１０５と通信し、コンピューティングネットワーク１０５と１つまたはそれを上回るローカルユーザデバイス１２０との間のデータ交換を提供する。以下でさらに詳細に論議されるように、ゲートウェイ構成要素１４０は、ソフトウェア、ファームウェア、メモリ、および処理回路を含んでもよく、ネットワーク１０５と１つまたはそれを上回るローカルユーザデバイス１２０との間で伝達されるデータを処理することが可能であり得る。
【0060】
いくつかの実施形態では、ゲートウェイ構成要素１４０は、特定のユーザデバイス１２０のための最適データ処理能力を可能にするように、ユーザデバイス１２０とコンピュータネットワーク１０５との間で交換されるデータの速度を監視して調節する。例えば、いくつかの実施形態では、ゲートウェイ１４０は、ユーザデバイスと接続されたインターフェースを通してユーザに提示される視野を越えるものでさえも、デジタル世界の静的および動的側面の両方をバッファリングおよびダウンロードする。そのような実施形態では、静的オブジェクトのインスタンス（構造化データ、ソフトウェア実装方法、または両方）は、（ゲートウェイ構成要素１４０、ユーザデバイス１２０、または両方のローカルにある）メモリに記憶されてもよく、コンピューティングネットワーク１０５および／またはユーザのデバイス１２０によって提供されるデータによって示されるように、ローカルユーザの現在の位置に対して参照される。例えば、他のユーザおよび／またはローカルユーザによって制御される知的ソフトウェアエージェントおよびオブジェクトを含み得る、動的オブジェクトのインスタンスが、高速メモリバッファに記憶される。ユーザに提示された光景内の２次元または３次元オブジェクトを表す、動的オブジェクトは、例えば、移動しているが変化してない静的形状、および変化している動的形状等の構成要素形状に分類することができる。変化している動的オブジェクトの一部は、ゲートウェイ構成要素１４０によって管理される、コンピューティングネットワーク１０５を通したサーバ１１０からのリアルタイムスレッド高優先順位データ流によって更新することができる。優先スレッドデータ流の一実施例として、ユーザの眼の６０度視野内にあるデータには、より周辺にあるデータよりも高い優先順位が与えられてもよい。別の実施例は、背景の静的オブジェクトよりも、ユーザの視野内の動的キャラクタおよび／またはオブジェクトを優先することを含む。
【0061】
コンピューティングネットワーク１０５とユーザデバイス１２０との間のデータ接続を管理することに加えて、ゲートウェイ構成要素１４０は、ユーザデバイス１２０に提示され得るデータを記憶および／または処理してもよい。例えば、ゲートウェイ構成要素１４０は、いくつかの実施形態では、コンピューティングネットワーク１０５から、例えば、ユーザによる視認のためにレンダリングされるグラフィカルオブジェクトを表す、圧縮データを受信し、コンピューティングネットワーク１０５からユーザデバイス１２０に伝送されるデータ負荷を軽減するように高度レンダリング技術を行ってもよい。ゲートウェイ１４０が別個のデバイスである、別の実施例では、ゲートウェイ１４０は、処理のためにデータをコンピューティングネットワーク１０５に伝達するよりもむしろ、オブジェクトのローカルインスタンスのデータを記憶および／または処理してもよい。
【0062】
ここで図３も参照すると、デジタル世界は、ユーザのデバイスの能力に依存し得る種々の形式で、１人またはそれを上回るユーザによって体験されてもよい。いくつかの実施形態では、ユーザデバイス１２０は、例えば、スマートフォン、タブレットデバイス、ヘッドアップディスプレイ（ＨＵＤ）、ゲーム機、または装着型デバイスを含んでもよい。概して、ユーザデバイスは、ディスプレイと連結される、デバイス上のメモリに記憶されたプログラムコードを実行するためのプロセッサと、通信インターフェースとを含むであろう。ユーザデバイスの例示的実施形態が、図３で図示されており、ユーザデバイスは、移動式の装着型デバイス、すなわち、頭部装着型表示システム３００を備える。本開示の実施形態によれば、頭部装着型表示システム３００は、ユーザインターフェース３０２と、ユーザ感知システム３０４と、環境感知システム３０６と、プロセッサ３０８とを含む。プロセッサ３０８は、代替実施形態では、頭部装着型システム３００から分離している孤立構成要素として図３で示されるが、プロセッサ３０８は、頭部装着型システム３００の１つまたはそれを上回る構成要素と統合されてもよく、または例えば、ゲートウェイ１４０等の他のシステム１００構成要素に組み込まれてもよい。
【0063】
ユーザデバイスは、デジタル世界と相互作用し、それを体験するためのインターフェース３０２をユーザに提示する。そのような相互作用は、ユーザおよびデジタル世界、システム１００と対話する１人またはそれを上回る他のユーザ、およびデジタル世界内のオブジェクトを伴ってもよい。インターフェース３０２は、概して、画像および／または音声感覚入力（およびいくつかの実施形態では物理的感覚入力）をユーザに提供する。したがって、インターフェース３０２は、スピーカ（図示せず）と、いくつかの実施形態では、立体３Ｄ視認および／または人間の視覚系のより自然な特性を具現化する３Ｄ視認を有効にすることが可能な表示構成要素３０３とを含んでもよい。いくつかの実施形態では、表示構成要素３０３は、「オフ」設定であるときに、光学的ひずみまたはコンピューティングオーバーレイがほとんど皆無である、ユーザの周囲の物理的環境の光学的に正しい視界を有効にする、（透明ＯＬＥＤ等の）透明インターフェースを備えてもよい。以下でさらに詳細に論議されるように、インターフェース３０２は、種々の視覚／インターフェース性能および機能性を可能にする、付加的な設定を含んでもよい。
【0064】
ユーザ感知システム３０４は、いくつかの実施形態では、システム３００を装着する個別ユーザに関係する、ある特徴、特性、または情報を検出するように動作可能である、１つまたはそれを上回るセンサ３１０を含んでもよい。例えば、いくつかの実施形態では、センサ３１０は、例えば、瞳孔収縮／拡張、各瞳孔の角度測定／位置付け、球形度、（経時的な眼形変化としての）眼形、および他の解剖学的データのうちの１つまたはそれを上回るもの等の、ユーザのリアルタイム光学的特性／測定を検出することが可能なカメラまたは光学検出／走査回路を含んでもよい。このデータは、ユーザの視認体験を最適化するために頭部装着型システム３００および／またはインターフェースシステム１００によって使用され得る情報（例えば、ユーザの視覚焦点）を提供してもよく、または情報を計算するために使用されてもよい。例えば、一実施形態では、センサ３１０はそれぞれ、ユーザの眼のそれぞれの瞳孔収縮速度を測定してもよい。このデータは、プロセッサ３０８に（あるいはゲートウェイ構成要素１４０に、またはサーバ１１０に）伝送されてもよく、データは、例えば、インターフェースディスプレイ３０３の輝度設定に対するユーザの反応を判定するために使用される。インターフェース３０２は、例えば、ディスプレイ３０３の輝度レベルが高すぎることをユーザの反応が示す場合に、ディスプレイ３０３を薄暗くすることによって、ユーザの反応に従って調整されてもよい。ユーザ感知システム３０４は、上記で論議される、または図３で図示されるもの以外の他の構成要素を含んでもよい。例えば、いくつかの実施形態では、ユーザ感知システム３０４は、ユーザから音声入力を受信するためのマイクロホンを含んでもよい。ユーザ感知システムはまた、１つまたはそれを上回る赤外線カメラセンサ、１つまたはそれを上回る可視スペクトルカメラセンサ、構造光エミッタおよび／またはセンサ、赤外光エミッタ、コヒーレント光エミッタおよび／またはセンサ、ジャイロ、加速度計、磁気探知器、近接センサ、ＧＰＳセンサ、超音波エミッタおよび検出器、ならびに触覚インターフェースを含んでもよい。
【0065】
環境感知システム３０６は、ユーザの周囲の物理的環境からデータを取得するための１つまたはそれを上回るセンサ３１２を含む。センサによって検出されるオブジェクトまたは情報は、入力としてユーザデバイスに提供されてもよい。いくつかの実施形態では、この入力は、仮想世界とのユーザ相互作用を表してもよい。例えば、デスク上の仮想キーボードを視認するユーザは、仮想キーボードをタイプしているかのように指でジェスチャを使ってもよい。移動する指の動きは、センサ３１２によって捕捉され、入力としてユーザデバイスまたはシステムに提供されてもよく、入力は、仮想世界を変化させるため、または新しい仮想オブジェクトを作成するために使用されてもよい。例えば、指の動きは、タイピングとして（ソフトウェアプログラムを使用して）認識されてもよく、認識されたタイピングのジェスチャは、仮想キーボード上の仮想キーの既知の場所と組み合わせられてもよい。次いで、システムは、ユーザ（またはシステムと対話する他のユーザ）に表示される仮想モニタをレンダリングしてもよく、仮想モニタは、ユーザによってタイプされているテキストを表示する。
【0066】
センサ３１２は、例えば、略外向きのカメラ、または例えば、連続的および／または断続的に投影された赤外構造光を通して、光景情報を解釈するためのスキャナを含んでもよい。環境感知システム３０６は、静的オブジェクト、動的オブジェクト、人、ジェスチャ、ならびに種々の照明、大気、および音響条件を含む、局所環境を検出して登録することによって、ユーザの周囲の物理的環境の１つまたはそれを上回る要素をマップするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システム３０６は、ローカルコンピューティングシステム（例えば、ゲートウェイ構成要素１４０またはプロセッサ３０８）に組み込まれ、センサ３１２によって検出される１つまたはそれを上回るオブジェクトまたは情報をデジタルで再構築するように動作可能である、画像ベースの３Ｄ再構築ソフトウェアを含んでもよい。１つの例示的な実施形態では、環境感知システム３０６は、モーションキャプチャデータ（ジェスチャ認識を含む）、深度感知、顔認識、オブジェクト認識、独特オブジェクト特徴認識、音声／オーディオ認識および処理、音源局在化、雑音低減、赤外線または類似レーザ投影、ならびにモノクロおよび／またはカラーＣＭＯＳセンサ（または他の類似センサ）、視野センサ、および種々の他の光強化センサのうちの１つまたはそれを上回るものを提供する。環境感知システム３０６は、上記で論議される、または図３で図示されるもの以外の他の構成要素を含んでもよいことを理解されたい。例えば、いくつかの実施形態では、環境感知システム３０６は、局所環境から音声を受信するためのマイクロホンを含んでもよい。ユーザ感知システムはまた、１つまたはそれを上回る赤外線カメラセンサ、１つまたはそれを上回る可視スペクトルカメラセンサ、構造光エミッタおよび／またはセンサ、赤外光エミッタ、コヒーレント光エミッタおよび／またはセンサ、ジャイロ、加速度計、磁気探知器、近接センサ、ＧＰＳセンサ、超音波エミッタおよび検出器、ならびに触覚インターフェースを含んでもよい。
【0067】
上述のように、プロセッサ３０８は、いくつかの実施形態では、頭部装着型システム３００の他の構成要素と統合され、インターフェースシステム１００の他の構成要素と統合されてもよく、または図３に示されるような孤立デバイス（装着型またはユーザから分離している）であってもよい。プロセッサ３０８は、物理的有線接続を通して、または、例えば、移動ネットワーク接続（携帯電話およびデータネットワークを含む）、Ｗｉ−Ｆｉ、またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を通して、頭部装着型システム３００の種々の構成要素および／またはインターフェースシステム１００の構成要素に接続されてもよい。プロセッサ３０８は、メモリモジュール、統合および／または付加的なグラフィック処理ユニット、無線および／または有線インターネット接続性、およびソース（例えば、コンピューティングネットワーク１０５、ユーザ感知システム３０４、環境感知システム３０６、またはゲートウェイ構成要素１４０）からのデータを画像およびオーディオデータに変換することが可能なコーデックおよび／またはファームウェアを含んでもよく、画像／ビデオおよびオーディオは、インターフェース３０２を介してユーザに提示されてもよい。
【0068】
プロセッサ３０８は、頭部装着型システム３００の種々の構成要素のためのデータ処理、ならびに頭部装着型システム３００とゲートウェイ構成要素１４０、いくつかの実施形態ではコンピューティングネットワーク１０５との間のデータ交換を取り扱う。例えば、プロセッサ３０８は、ユーザとコンピューティングネットワーク１０５との間のデータストリーミングをバッファリングおよび処理し、それによって、平滑、連続的、および高忠実度ユーザ体験を可能にするために使用されてもよい。いくつかの実施形態では、プロセッサ３０８は、３２０×２４０解像度で８フレーム／秒から高解像度（１２８０×７２０）で２４フレーム／秒の間のいずれか、または６０〜１２０フレーム／秒および４ｋ解像度およびそれよりも高いもの（１０ｋ＋解像度および５０，０００フレーム／秒）等のそれを上回るものを達成するのに十分な速度で、データを処理してもよい。加えて、プロセッサ３０８は、コンピューティングネットワーク１０５からリアルタイムでストリーミング配信されるよりもむしろ、ユーザに提示され得るデータを記憶および／または処理してもよい。例えば、プロセッサ３０８は、いくつかの実施形態では、コンピューティングネットワーク１０５から圧縮データを受信し、コンピューティングネットワーク１０５からユーザデバイス１２０に伝送されるデータ負荷を軽減するように、（明暗または陰影付け等の）高度レンダリング技術を行ってもよい。別の実施例では、プロセッサ３０８は、データをゲートウェイ構成要素１４０に、またはコンピューティングネットワーク１０５に伝送するよりもむしろ、ローカルオブジェクトデータを記憶および／または処理してもよい。
【0069】
頭部装着型システム３００は、いくつかの実施形態では、種々の視覚／インターフェース性能および機能性を可能にする、種々の設定またはモードを含んでもよい。モードは、ユーザによって手動で、あるいは頭部装着型システム３００の構成要素またはゲートウェイ構成要素１４０によって自動的に選択されてもよい。前述のように、頭部装着型システム３００の一実施例は、インターフェース３０２が実質的にいかなるデジタルまたは仮想コンテンツも提供しない、「オフ」モードを含む。オフモードでは、表示構成要素３０３は、透明であり得、それによって、光学的ひずみまたはコンピューティングオーバーレイがほとんど皆無である、ユーザの周囲の物理的環境の光学的に正しい視界を有効にする。
【0070】
１つの例示的実施形態では、頭部装着型システム３００は、インターフェース３０２が拡張現実インターフェースを提供する、「拡張」モードを含む。拡張モードでは、インターフェースディスプレイ３０３は、実質的に透明であり得、それによって、ユーザが局所物理的環境を視認することを可能にする。同時に、コンピューティングネットワーク１０５、プロセッサ３０８、および／またはゲートウェイ構成要素１４０によって提供される仮想オブジェクトデータは、物理的局所環境と組み合わせて、ディスプレイ３０３上で提示される。
【0071】
図４は、インターフェース３０２が拡張モードで動作しているときにユーザによって視認されるオブジェクトの例示的実施形態を図示する。図４に示されるように、インターフェース３０２は、物理的オブジェクト４０２および仮想オブジェクト４０４を提示する。図４で図示される実施形態では、物理的オブジェクト４０２が、ユーザの局所環境に存在する実際の物理的オブジェクトである一方で、仮想オブジェクト４０４は、システム１００によって作成され、ユーザインターフェース３０２を介して表示されるオブジェクトである。いくつかの実施形態では、仮想オブジェクト４０４は、物理的環境内の固定位置または場所で表示されてもよく（例えば、物理的環境内に位置する特定の道路標識の隣に立つ仮想サル）、またはユーザインターフェース／ディスプレイ３０３に対する位置に位置するオブジェクトとしてユーザに表示されてもよい（例えば、ディスプレイ３０３の左上隅で可視的な仮想時計または温度計）。
【0072】
いくつかの実施形態では、仮想オブジェクトは、ユーザの視野内または外に物理的に存在するオブジェクトから合図を出され、またはそれによってトリガされてもよい。仮想オブジェクト４０４は、物理的オブジェクト４０２から合図を出され、またはそれによってトリガされる。例えば、物理的オブジェクト４０２は、実際にはスツールであってもよく、仮想オブジェクト４０４は、スツールの上に立つ仮想動物としてユーザに（いくつかの実施形態ではシステム１００と対話する他のユーザに）表示されてもよい。そのような実施形態では、環境感知システム３０６は、物理的オブジェクト４０２をスツールとして識別する種々の特徴および／または形状パターン（センサ３１２によって捕捉される）を認識するために、例えば、プロセッサ３０８に記憶されたソフトウェアおよび／またはファームウェアを使用してもよい。例えば、スツールの最上部等のこれらの認識された形状パターンは、仮想オブジェクト４０４の配置をトリガするために使用されてもよい。他の実施例は、壁、テーブル、家具、車、建造物、人、床、植物、動物を含み、１つまたは複数のオブジェクトと何らかの関係を持って拡張現実体験をトリガするために、見ることができる任意のオブジェクトを使用することができる。
【0073】
いくつかの実施形態では、トリガされる特定の仮想オブジェクト４０４は、ユーザによって選択され、あるいは頭部装着型システム３００の他の構成要素またはインターフェースシステム１００によって自動的に選択されてもよい。加えて、仮想オブジェクト４０４が自動的にトリガされる実施形態では、特定の仮想オブジェクト４０４は、仮想オブジェクト４０４が合図を出される、またはトリガされる、特定の物理的オブジェクト４０２（またはその特徴）に基づいて選択されてもよい。例えば、物理的オブジェクトがプール上に延在する飛び込み板として識別された場合、トリガされた仮想オブジェクトは、シュノーケル、水着、浮遊デバイス、または他の関連アイテムを着用した生物であってもよい。
【0074】
別の例示的実施形態では、頭部装着型システム３００は、インターフェース３０２が仮想現実インターフェースを提供する、「仮想」モードを含んでもよい。仮想モードでは、物理的環境は、ディスプレイ３０３から省略され、コンピューティングネットワーク１０５、プロセッサ３０８、および／またはゲートウェイ構成要素１４０によって提供される仮想オブジェクトデータは、ディスプレイ３０３上で提示される。物理的環境の省略は、（例えば、カバーを介して）視覚ディスプレイ３０３を物理的に遮断することによって、またはディスプレイ３０３が不透明設定に移行する、インターフェース３０２の特徴を通して、達成されてもよい。仮想モードでは、ライブおよび／または記憶された視覚および音声感覚が、インターフェース３０２を通してユーザに提示されてもよく、ユーザは、インターフェース３０２の仮想モードを通してデジタル世界（デジタルオブジェクト、他のユーザ等）を体験し、それと相互作用する。したがって、仮想モードでユーザに提供されるインターフェースは、仮想デジタル世界を含む、仮想オブジェクトデータから成る。
【0075】
図５は、頭部装着型インターフェース３０２が仮想モードで動作しているときのユーザインターフェースの例示的実施形態を図示する。図５で示されるように、ユーザインターフェースは、デジタルオブジェクト５１０から成る仮想世界５００を提示し、デジタルオブジェクト５１０は、大気、天気、地形、建造物、および人を含んでもよい。図５で図示されていないが、デジタルオブジェクトはまた、例えば、植物、車両、動物、生物、機械、人工知能、位置情報、および仮想世界５００を定義する任意の他のオブジェクトまたは情報を含んでもよい。
【0076】
別の例示的実施形態では、頭部装着型システム３００は、「混合」モードを含んでもよく、頭部装着型システム３００の種々の特徴（ならびに仮想および拡張モードの特徴）は、１つまたはそれを上回るカスタムインターフェースモードを作成するように組み合わせられてもよい。１つのカスタムインターフェースモード例では、物理的環境は、ディスプレイ３０３から省略され、仮想オブジェクトデータは、仮想モードに類似する方式でディスプレイ３０３上に提示される。しかしながら、このカスタムインターフェースモード例では、仮想オブジェクトは、完全に仮想であり得（すなわち、それらは局所物理的環境内に存在しない）、またはそれらは、物理的オブジェクトの代わりにインターフェース３０２の中で仮想オブジェクトとしてレンダリングされる、実際の局所物理的オブジェクトであってもよい。したがって、特定のカスタムモード（本明細書では混合仮想インターフェースモードと呼ばれる）では、ライブおよび／または記憶された視覚および音声感覚が、インターフェース３０２を通してユーザに提示されてもよく、ユーザが、完全仮想オブジェクトおよびレンダリングされた物理的オブジェクトを含むデジタル世界を体験し、それと相互作用する。
【0077】
図６は、混合仮想インターフェースモードに従って動作するユーザインターフェースの例示的実施形態を図示する。図６に示されるように、ユーザインターフェースは、完全仮想オブジェクト６１０およびレンダリングされた物理的オブジェクト６２０（別様に光景の中で物理的に存在するオブジェクトのレンダリング）から成る仮想世界６００を提示する。図６で図示される実施例によれば、レンダリングされた物理的オブジェクト６２０は、建造物６２０Ａ、地面６２０Ｂ、およびプラットフォーム６２０Ｃを含み、オブジェクトがレンダリングされていることをユーザに示すように、太い輪郭６３０とともに示される。加えて、完全仮想オブジェクト６１０は、付加的なユーザ６１０Ａ、雲６１０Ｂ、太陽６１０Ｃ、およびプラットフォーム６２０Ｃの上の炎６１０Ｄを含む。完全仮想オブジェクト６１０は、例えば、大気、天気、地形、建造物、人、植物、車両、動物、生物、機械、人工知能、位置情報、および仮想世界６００を定義し、局所物理的環境内に存在するオブジェクトからレンダリングされていない任意の他のオブジェクトまたは情報を含んでもよいことを理解されたい。逆に、レンダリングされた物理的オブジェクト６２０は、インターフェース３０２の中で仮想オブジェクトとしてレンダリングされる、実際の局所物理的オブジェクトである。太い輪郭６３０は、レンダリングされた物理的オブジェクトをユーザに示すための一実施例を表す。そのようなものとして、レンダリングされた物理的オブジェクトは、本明細書で開示されるもの以外の方法を使用して等で示されてもよい。
【0078】
いくつかの実施形態では、レンダリングされた物理的オブジェクト６２０は、環境感知システム３０６のセンサ３１２を使用して（あるいはモーションまたは画像キャプチャシステム等の他のデバイスを使用して）検出され、例えば、処理回路３０８に記憶されたソフトウェアおよび／またはファームウェアによって、デジタルオブジェクトデータに変換されてもよい。したがって、ユーザが混合仮想インターフェースモードでシステム１００と相互作用すると、種々の物理的オブジェクトが、レンダリングされた物理的オブジェクトとしてユーザに表示されてもよい。これは、依然として局所物理的環境を安全にナビゲートすることが可能である一方で、ユーザがシステム１００と相互作用することを可能にするために、特に有用であり得る。いくつかの実施形態では、ユーザは、レンダリングされた物理的オブジェクトを選択的に除去し、またはインターフェースディスプレイ３０３に追加することが可能であり得る。
【0079】
別のカスタムインターフェースモード例では、インターフェースディスプレイ３０３は、実質的に透明であり得、それによって、種々の局所物理的オブジェクトが、レンダリングされた物理的オブジェクトとしてユーザに表示されている間に、ユーザが局所物理的環境を視認することを可能にする。このカスタムインターフェースモード例は、以前の実施例に関して上記で論議されるように、仮想オブジェクトのうちの１つまたはそれを上回るものがレンダリングされた物理的オブジェクトであってもよいことを除いて、拡張モードに類似する。
【0080】
前述のカスタムインターフェースモード例は、頭部装着型システム３００の混合モードによって提供されることが可能な種々のカスタムインターフェースモードのいくつかの例示的実施形態を表す。したがって、種々の他のカスタムインターフェースモードが、本開示の範囲から逸脱することなく、頭部装着型システム３００の構成要素および上記で論議される種々のモードによって提供される、特徴および機能性の種々の組み合わせから作成されてもよい。
【0081】
本明細書で論議される実施形態は、オフ、拡張、仮想、または混合モードで動作するインターフェースを提供するためのいくつかの実施例を説明するにすぎず、それぞれのインターフェースモードの範囲または内容、あるいは頭部装着型システム３００の構成要素の機能性を限定することを目的としていない。例えば、いくつかの実施形態では、仮想オブジェクトは、ユーザに表示されるデータ（時間、温度、高度等）、システム１００によって作成および／または選択されるオブジェクト、ユーザによって作成および／または選択されるオブジェクト、またはシステム１００と対話する他のユーザを表すオブジェクトさえも含んでもよい。加えて、仮想オブジェクトは、物理的オブジェクトの拡張（例えば、物理的プラットフォームから成長する仮想彫像）を含んでもよく、かつ物理的オブジェクトに視覚的に接続され、またはそこから断絶されてもよい。
【0082】
仮想オブジェクトはまた、動的であり得、時間とともに変化し、ユーザまたは他のユーザ、物理的オブジェクト、および他の仮想オブジェクトの間の種々の関係（例えば、位置、距離等）に従って変化し、および／または頭部装着型システム３００、ゲートウェイ構成要素１４０、またはサーバ１１０のソフトウェアおよび／またはファームウェアで特定される他の変数に従って変化してもよい。例えば、ある実施形態では、仮想オブジェクトは、ユーザデバイスまたはその構成要素（例えば、仮想ボールは、触覚デバイスがそれの隣に配置されたときに移動する）、物理的または口頭ユーザ相互作用（例えば、仮想生物は、ユーザがそれに接近するときに逃げる、またはユーザがそれに話し掛けるときに話す）、椅子が仮想生物に投げつけられて生物が椅子を避けること、他の仮想オブジェクト（例えば、第１の仮想生物が第２の仮想生物を見るときに反応する）、位置、距離、温度、時間等の物理的変数、またはユーザの環境内の他の物理的オブジェクトに応答してもよい（例えば、物理的な道に立って示される仮想生物は、物理的な車が通過するときに扁平になる）。
【0083】
本明細書で論議される種々のモードは、頭部装着型システム３００以外のユーザデバイスに適用されてもよい。例えば、拡張現実インターフェースが、携帯電話またはタブレットデバイスを介して提供されてもよい。そのような実施形態では、電話またはタブレットは、ユーザの周囲の物理的環境を捕捉するためにカメラを使用してもよく、仮想オブジェクトは、電話／タブレットディスプレイ画面上でオーバーレイされてもよい。加えて、仮想モードは、電話／タブレットのディスプレイ画面上でデジタル世界を表示することによって提供されてもよい。したがって、これらのモードは、本明細書で論議される電話／タブレットの構成要素、ならびにユーザデバイスに接続される、またはユーザデバイスと組み合わせて使用される他の構成要素を使用して、上記で説明されるような種々のカスタムインターフェースモードを作成するように混合されてもよい。例えば、混合仮想インターフェースモードは、モーションまたは画像キャプチャシステムと組み合わせて動作する、コンピュータモニタ、テレビ画面、またはカメラが欠けているデバイスによって提供されてもよい。この例示的実施形態では、仮想世界は、モニタ／画面から視認されてもよく、オブジェクト検出およびレンダリングは、モーションまたは画像キャプチャシステムによって行われてもよい。
【0084】
図７は、異なる地理的位置に位置する２人のユーザがそれぞれ、それぞれのユーザデバイスを通して、他方のユーザおよび共通仮想世界と相互作用する、本発明の例示的実施形態を図示する。この実施形態では、２人のユーザ７０１および７０２が、仮想ボール７０３（あるタイプの仮想オブジェクト）を前後に投げており、各ユーザは、仮想世界への他方のユーザの影響を観察することが可能である（例えば、各ユーザは、仮想ボールが方向を変えること、他方のユーザによって捕らえられること等を観察する）。仮想オブジェクト（すなわち、仮想ボール７０３）の移動および位置がコンピューティングネットワーク１０５内のサーバ１１０によって追跡されるため、システム１００は、いくつかの実施形態では、各ユーザに対するボール７０３の到着の正確な位置およびタイミングをユーザ７０１および７０２に伝達してもよい。例えば、第１のユーザ７０１がロンドンに位置する場合、ユーザ７０１は、システム１００によって計算される速度で、ロサンゼルスに位置する第２のユーザ７０２にボール７０３を投げてもよい。したがって、システム１００は、ボールの到着の正確な時間および位置を（例えば、Ｅメール、テキストメッセージ、インスタントメッセージ等を介して）第２のユーザ７０２に伝達してもよい。そのようなものとして、第２のユーザ７０２は、ボール７０３が特定の時間および位置に到着することを見るために、自分のデバイスを使用してもよい。１人またはそれを上回るユーザはまた、地球を仮想的に旅するにつれて、１つまたはそれを上回る仮想オブジェクトを追跡するために、地理位置情報マッピングソフトウェア（または類似物）を使用してもよい。これの実施例は、空を見上げ、実世界に重ね合わされた、頭上を飛ぶ仮想飛行機を見ている、３Ｄ頭部装着型ディスプレイを装着したユーザであってもよい。仮想飛行機は、ユーザによって、知能ソフトウェアエージェント（ユーザデバイスまたはゲートウェイ上で実行するソフトウェア）、局所および／または遠隔に存在し得る他のユーザ、および／またはこれらの組み合わせのうちのいずれかによって飛ばされてもよい。
【0085】
前述のように、ユーザデバイスは、触覚インターフェースデバイスを含んでもよく、触覚インターフェースデバイスは、触覚デバイスが、仮想オブジェクトに対して物理的空間位置に位置することがシステム１００によって判定されるときに、フィードバック（例えば、抵抗、振動、光、音等）をユーザに提供する。例えば、図７に関して上記で説明される実施形態は、図８に示されるように、触覚デバイス８０２の使用を含むように拡張されてもよい。
【0086】
この例示的実施形態では、触覚デバイス８０２は、野球のバットとして仮想世界で表示されてもよい。ボール７０３が到着するとき、ユーザ７０２は、仮想ボール７０３に向かって触覚デバイス８０２を振ってもよい。触覚デバイス８０２によって提供される仮想バットがボール７０３と「接触」したことをシステム１００が判定した場合には、触覚デバイス８０２が、振動し、または他のフィードバックをユーザ７０２に提供してもよく、仮想ボール７０３は、ボールとバットとの接触の検出された速度、方向、およびタイミングに従って、システム１００によって計算される方向に仮想バットを跳ね返してもよい。
【0087】
開示されたシステム１００は、いくつかの実施形態では、混合モード対話を促進してもよく、複数のユーザが、異なるインターフェースモード（例えば、拡張、仮想、混合等）を使用して、共通仮想世界（およびその中に含有される仮想オブジェクト）と対話してもよい。例えば、仮想インターフェースモードで特定の仮想世界と対話する第１のユーザは、拡張現実モードで同一の仮想世界と対話する第２のユーザと相互作用してもよい。
【0088】
図９Ａは、第１のユーザ９０１（混合仮想インターフェースモードでシステム１００のデジタル世界と対話する）および第１のオブジェクト９０２が、完全仮想現実モードでシステム１００の同一のデジタル世界と対話する第２のユーザ９２２にとって、仮想オブジェクトとして現れる、実施例を図示する。上記で説明されるように、混合仮想インターフェースモードを介してデジタル世界と対話するとき、局所物理的オブジェクト（例えば、第１のユーザ９０１および第１のオブジェクト９０２）が、走査され、仮想世界で仮想オブジェクトとしてレンダリングされてもよい。第１のユーザ９０１は、例えば、モーションキャプチャシステムまたは類似デバイスによって走査され、第１のレンダリングされた物理的オブジェクト９３１として、（モーションキャプチャシステム、ゲートウェイ構成要素１４０、ユーザデバイス１２０、システムサーバ１１０、または他のデバイスに記憶されたソフトウェア／ファームウェアによって）仮想世界でレンダリングされてもよい。同様に、第１のオブジェクト９０２は、例えば、頭部装着型インターフェース３００の環境感知システム３０６によって走査され、第２のレンダリングされた物理的オブジェクト９３２として、（プロセッサ３０８、ゲートウェイ構成要素１４０、システムサーバ１１０、または他のデバイスに記憶されたソフトウェア／ファームウェアによって）仮想世界でレンダリングされてもよい。第１のユーザ９０１および第１のオブジェクト９０２は、物理的世界で物理的オブジェクトとして、図９Ａの第１の部分９１０で示される。図９Ａの第２の部分９２０では、第１のユーザ９０１および第１のオブジェクト９０２は、完全仮想現実モードでシステム１００の同一のデジタル世界と対話する第２のユーザ９２２に現れる際に、第１のレンダリングされた物理的オブジェクト９３１および第２のレンダリングされた物理的オブジェクト９３２として示される。
【0089】
図９Ｂは、第１のユーザ９０１が、上記で論議されるように、混合仮想インターフェースモードでデジタル世界と対話しており、第２のユーザ９２２が、拡張現実モードで同一のデジタル世界（および第２のユーザの物理的局所環境９２５）と対話している、混合モード対話の別の例示的実施形態を図示する。図９Ｂの実施形態では、第１のユーザ９０１および第１のオブジェクト９０２は、第１の物理的位置９１５に位置し、第２のユーザ９２２は、第１の位置９１５からいくらかの距離によって分離された、異なる第２の物理的位置９２５に位置する。この実施形態では、仮想オブジェクト９３１および９３２は、第２の位置９２５に対応する仮想世界内の位置までリアルタイム（または近リアルタイム）で転置されてもよい。したがって、第２のユーザ９２２は、第２のユーザの物理的局所環境９２５で、それぞれ第１のユーザ９０１および第１のオブジェクト９０２を表す、レンダリングされた物理的オブジェクト９３１および９３２を観察し、それらと相互作用してもよい。
【0090】
図１０は、拡張現実モードでシステム１００と対話するときのユーザの視界の説明図例を図示する。図１０に示されるように、ユーザは、局所物理的環境（すなわち、複数の建造物を有する都市）ならびに仮想キャラクタ１０１０（すなわち、仮想オブジェクト）を見る。仮想キャラクタ１０１０の位置は、２Ｄ視覚標的（例えば、看板、はがき、または雑誌）および／または建造物、車、人、動物、飛行機、建造物の部分、および／または３Ｄ物理的オブジェクト、仮想オブジェクト、および／またはそれらの組み合わせ等の１つまたはそれを上回る３Ｄ基準座標系によってトリガされてもよい。図１０で図示される実施例では、都市の中の建造物の既知の位置が、仮想キャラクタ１０１０をレンダリングするための位置合わせ基準および／または情報および主要な特徴を提供してもよい。加えて、建造物に対するユーザの地理空間的位置（例えば、ＧＰＳ、姿勢／位置センサ等によって提供される）または移動位置は、仮想キャラクタ１０１０を表示するために使用されるデータの伝送をトリガするように、コンピューティングネットワーク１０５によって使用されるデータを含んでもよい。いくつかの実施形態では、仮想キャラクタ１０１０を表示するために使用されるデータは、レンダリングされたキャラクタ１０１０および／または仮想キャラクタ１０１０またはその部分をレンダリングするための命令（ゲートウェイ構成要素１４０および／またはユーザデバイス１２０によって実行される）を含んでもよい。いくつかの実施形態では、ユーザの地理空間的位置が利用不可能または不明である場合、サーバ１１０、ゲートウェイ構成要素１４０、および／またはユーザデバイス１２０は、時間および／または他のパラメータの関数としてユーザの最後の既知の位置を使用して、特定の仮想オブジェクトおよび／または物理的オブジェクトが位置し得る場所を推定する、推定アルゴリズムを使用して、仮想オブジェクト１０１０を依然として表示してもよい。これはまた、ユーザのセンサが閉塞した、および／または他の誤動作を体験した場合に、任意の仮想オブジェクトの位置を判定するために使用されてもよい。
【0091】
いくつかの実施形態では、仮想キャラクタまたは仮想オブジェクトは、仮想彫像を備えてもよく、仮想彫像のレンダリングは、物理的オブジェクトによってトリガされる。例えば、ここで図１１を参照すると、仮想彫像１１１０は、実際の物理的プラットフォーム１１２０によってトリガされてもよい。彫像１１１０のトリガは、ユーザデバイスまたはシステム１００の他の構成要素によって検出される視覚オブジェクトまたは特徴（例えば、基準、設計特徴、幾何学形状、パターン、物理的位置、高度等）に応答してもよい。ユーザがユーザデバイスを用いることなくプラットフォーム１１２０を視認するとき、ユーザは、彫像１１１０がないプラットフォーム１１２０を見る。しかしながら、ユーザがユーザデバイスを通してプラットフォーム１１２０を視認するとき、ユーザは、図１１に示されるように、プラットフォーム１１２０上の彫像１１１０を見る。彫像１１１０は、仮想オブジェクトであり、したがって、静止し、活動し、経時的に、またはユーザの視認位置に対して変化し、あるいはさらに、どの特定のユーザが彫像１１１０を視認しているかに応じて変化してもよい。例えば、ユーザが小さい子供である場合、彫像は犬であってもよく、その上、視聴者が成人男性である場合、彫像は、図１１に示されるような大きなロボットであってもよい。これらは、ユーザ依存性および状態依存性体験の実施例である。これは、１人またはそれを上回るユーザが、単独で、および／または物理的オブジェクトと組み合わせて、１つまたはそれを上回る仮想オブジェクトを知覚し、仮想オブジェクトのカスタマイズおよび個人化されたバージョンを体験することを可能にするであろう。彫像１１１０（またはその部分）は、例えば、ユーザデバイス上にインストールされたソフトウェア／ファームウェアを含む、システムの種々の構成要素によってレンダリングされてもよい。仮想オブジェクト（すなわち、彫像１１１０）の位置合わせ特徴と組み合わせて、ユーザデバイスの位置および姿勢を示すデータを使用して、仮想オブジェクト（すなわち、彫像１１１０）は、物理的オブジェクト（すなわち、プラットフォーム１１２０）との関係を形成する。例えば、１つまたはそれを上回る仮想オブジェクトと１つまたはそれを上回る物理的オブジェクトとの間の関係は、距離、位置付け、時間、地理位置情報、１つまたはそれを上回る他の仮想オブジェクトへの近接性、および／または任意の種類の仮想および／または物理的データを含む任意の他の機能的関係の関数であってもよい。いくつかの実施形態では、ユーザデバイスの中の画像認識ソフトウェアが、デジタルと物理的オブジェクトの関係をさらに強化してもよい。
【0092】
開示されたシステムおよび方法によって提供される双方向インターフェースは、例えば、１つまたはそれを上回る仮想環境およびオブジェクトと相互作用すること、他のユーザと相互作用すること、ならびに広告、音楽のコンサート、および映画を含む種々の形態のメディアコンテンツを体験すること等の種々のアクティビティを促進するように実装されてもよい。しかしながら、開示されたシステムは、ユーザが、メディアコンテンツを視聴する、または聴くだけでなく、むしろ、メディアコンテンツに能動的に参加して体験するように、ユーザ相互作用を促進する。いくつかの実施形態では、ユーザ参加は、既存のコンテンツを変更すること、または１つまたはそれを上回る仮想世界でレンダリングされる新しいコンテンツを作成することを含んでもよい。いくつかの実施形態では、メディアコンテンツ、および／またはコンテンツを作成するユーザは、１つまたはそれを上回る仮想世界の創造をテーマにしてもよい。
【0093】
一実施例では、音楽家（または他のユーザ）が、特定の仮想世界と相互作用するユーザにレンダリングされる音楽コンテンツを作成してもよい。音楽コンテンツは、例えば、種々のシングル、ＥＰ、アルバム、ビデオ、短編映画、およびコンサートの演奏を含んでもよい。一実施例では、多数のユーザが、音楽家によって演奏された仮想コンサートを同時に体験するように、システム１００と対話してもよい。
【0094】
いくつかの実施形態では、制作されるメディアは、特定のエンティティ（例えば、バンド、アーティスト、ユーザ等）と関連付けられる一意の識別子コードを含有してもよい。コードは、一式の英数字、ＵＰＣコード、ＱＲコード（登録商標）、２Ｄ画像トリガ、３Ｄ物理的オブジェクト特徴トリガ、または他のデジタルマーク、ならびに音、画像、および／または両方の形態であってもよい。いくつかの実施形態では、コードはまた、システム１００を使用して対話され得る、デジタルメディアに埋め込まれてもよい。ユーザは、（例えば、料金の支払を介して）コードを取得し、識別子コードと関連付けられるエンティティによって制作されたメディアコンテンツにアクセスするようにコードを引き換えてもよい。メディアコンテンツは、追加され、またはユーザのインターフェースから除去されてもよい。
【0095】
一実施形態では、クラウドコンピューティングシステムからユーザに連結されたローカルプロセッサへ等、少ない待ち時間で１つのコンピューティングシステムから別のコンピューティングシステムへリアルタイムまたは近リアルタイムビデオデータを渡すことの計算および帯域幅制限を回避するために、種々の形状および幾何学形状に関するパラメータ情報が転送され、表面を画定するために利用されてもよい一方で、テクスチャが転送され、パラメータ的に再現された顔の幾何学形状の上にマップされた個人の顔のビットマップベースのビデオ詳細等の静的または動的詳細をもたらすようにこれらの表面に追加されてもよい。別の実施例として、システムが個人の顔を認識するように構成され、個人のアバターが拡張世界に位置することを把握している場合、本システムは、１つの比較的大型の設定転送で関連世界情報および個人のアバター情報を渡すように構成されてもよく、その後、ローカルレンダリングのための図１で描写される３０８等のローカルコンピューティングシステムへの残りの転送は、初期設定転送またはリアルタイムビデオの受け渡しに対してはるかに小さい帯域幅で、個人の骨格構造の動きパラメータおよび個人の顔の移動ビットマップ等のパラメータおよびテクスチャ更新に限定されてもよい。したがって、クラウドが比較的少ない待ち時間を必要としない計算を取り扱い、ローカル処理アセットがタスクを取り扱う、統合様式で、クラウドベースおよびローカルコンピューティングアセットが使用されてもよく、少ない待ち時間が重視され、そのような場合において、ローカルシステムに転送されるデータの形態は、好ましくは、ある量のそのようなデータの形態（すなわち、全てのリアルタイムビデオと対比したパラメータ情報、テクスチャ等）により、比較的低い帯域幅で渡される。
【0096】
先に図１５を参照すると、略図がクラウドコンピューティングアセット（４６）とローカル処理アセット（３０８、１２０）との間の協調を図示する。一実施形態では、クラウド（４６）アセットは、有線または無線ネットワーキング（無線が移動性のために好まれ、有線が、所望され得る、ある高帯域幅または大データ容量転送に好まれる）を介して、ユーザの頭部（１２０）またはベルト（３０８）に連結されるように構成される構造に収納され得るプロセッサおよびメモリ構成等のローカルコンピューティングアセット（１２０、３０８）の一方または両方に直接的に（４０、４２）等、動作可能に連結される。ユーザにローカルである、これらのコンピューティングアセットは、有線および／または無線接続構成（４４）を介して、同様に相互に動作可能に連結されてもよい。一実施形態では、低慣性および小型頭部装着型サブシステム（１２０）を維持するために、ユーザとクラウド（４６）との間の一次転送は、ベルトベースのサブシステム（３０８）とクラウドとの間のリンクを介してもよく、頭部装着型サブシステム（１２０）は主に、例えば、パーソナルコンピューティング周辺接続用途で現在採用されているような超広帯域（「ＵＷＢ」）接続等の無線接続を使用して、ベルトベースのサブシステム（３０８）にデータ繋留される。
【0097】
効率的なローカルおよび遠隔処理協調、ならびに図３で特色とされるユーザインターフェース３０２またはユーザ「表示デバイス」、図１４を参照して以下で説明される表示ディスプレイ１４、またはその変形例等のユーザ用の適切な表示デバイスを用いて、ユーザの現在の実際または仮想位置に関連する１つの世界の側面が、ユーザに転送されるか、または「渡され」、効率的に更新されてもよい。実際に、一実施形態では、１人の個人が拡張現実モードで仮想現実システム（「ＶＲＳ」）を利用し、別の個人が第１の個人にローカルである同一の世界を探索するために完全仮想モードでＶＲＳを利用すると、２人のユーザは、種々の様式でその世界を相互に体験してもよい。例えば、図１２を参照すると、完全仮想現実シナリオから描写した拡張現実世界を通して飛んでいる第２のユーザのアバター２の可視化を追加した、図１１を参照して説明されるものに類似するシナリオが描写されている。換言すれば、図１２で描写される光景は、第１の個人にとって体験され、拡張現実で表示されてもよく、地面、背景の建造物、彫像プラットフォーム１１２０等の光景内のローカル世界の周囲の実際の物理的要素に加えて、２つの拡張現実要素（彫像１１１０および第２の個人の飛んでいるマルハナバチアバター２）が表示されている。アバター２が第１の個人にローカルである世界を通して飛ぶにつれて、第１の個人が第２の個人のアバター２の進展を可視化することを可能にするために、動的更新が利用されてもよい。
【0098】
再度、クラウドコンピューティングリソース上に存在し、そこから配信することができる、１つの世界モデルがある、上記で説明されるような構成を用いると、そのような世界は、リアルタイムビデオデータまたは同等物を回そうとすることに好ましい比較的低い帯域幅形式で１人またはそれを上回るユーザに「渡すことが可能」であり得る。彫像の付近に立っている（すなわち、図１２に示されるような）個人の拡張体験は、クラウドベースの世界モデルによって知らされてもよく、そのサブセットは、視界を完成するように、それらおよびそれらのローカル表示デバイスまで渡されてもよい。机の上に位置するパーソナルコンピュータと同じくらい単純であり得る、遠隔表示デバイスに向かって座っている個人は、クラウドから情報の同一のセクションを効率的にダウンロードし、それをそれらのディスプレイ上でレンダリングさせることができる。実際に、彫像の付近で公園内に実際に存在する１人の個人が、その公園内で散歩するために遠隔に位置する友達を連れてもよく、友達は仮想および拡張現実を通して参加する。本システムは、どこに道があるか、どこに木があるか、どこに彫像があるかを把握する必要があるであろうが、クラウド上にその情報があると、参加する友達がシナリオのクラウド側面からダウンロードし、次いで、実際に公園にいる個人に対してローカルである拡張現実として、一緒に歩き始めることができる。
【0099】
図１３を参照すると、図３で特色とされるユーザインターフェース３０２またはユーザ表示デバイス、図１４を参照して以下で説明される表示デバイス１４、またはそれらの変形例等の仮想および／または拡張現実インターフェースに関与している個人が、システムを利用しており（４）、１杯のコーヒーを注文するためにコーヒー店に入る（６）、時間および／または偶発性パラメータベースの実施形態が描写されている。ＶＲＳは、コーヒー店のドアの強調表示された場所、または関連コーヒーメニューのバブルウィンドウ等の個人のための拡張および／または仮想現実での表示増進を提供するために、ローカルおよび／または遠隔で感知およびデータ収集能力を利用するように構成されてもよい（８）。個人が注文した１杯のコーヒーを受け取るとき、または本システムによる何らかの他の関連パラメータの検出時に、本システムは、静的または動的のいずれか一方である、ジャングルの音声および他の効果を伴って、または伴わずに、壁および天井からマダガスカルのジャングルの光景等の局所環境内の１つまたはそれを上回る時間ベースの拡張または仮想現実画像、ビデオ、および／または音声を、表示デバイスを用いて表示するように構成されてもよい（１０）。ユーザへのそのような提示は、タイミングパラメータ（すなわち、満杯のコーヒーカップが認識されてユーザに手渡された５分後、本システムが店のフロントドアを通って歩くユーザを認識した１０分後等）、またはユーザがカップからコーヒーの最後の一口を摂取するとコーヒーカップの逆さまの配向に注目することによる、ユーザがコーヒーを飲み終わったという本システムによる認識、またはユーザが店のフロントドアから出たという本システムによる認識等の他のパラメータに基づいて中断されてもよい（１２）。
【0100】
図１４を参照すると、筐体またはフレーム（８４）によってユーザの頭部または眼に載置され得る、表示レンズ（８２）を備える、好適なユーザ表示デバイス（１４）の一実施形態が示されている。表示レンズ（８２）は、ユーザの眼（２０）の前で筐体（８４）によって位置付けられる１つまたはそれを上回る透明な鏡を備え、拡張現実構成で局所環境から少なくともいくらかの光の透過も可能にしながら、眼（２０）の中へ投影光（３８）を跳ね返してビーム成形を促進するように構成されてもよい（仮想現実構成では、表示システム１４が、暗色化されたバイザ、遮断カーテン、完全黒色ＬＣＤパネルモード、または同等物等によって、局所環境から実質的に全ての光を遮断することが可能であることが望ましくあり得る）。描写した実施形態では、２つの広視野機械視覚カメラ（１６）が、ユーザの周囲の環境を撮像するように筐体（８４）に連結される。一実施形態では、これらのカメラ（１６）は、デュアルキャプチャ可視光／赤外光カメラである。描写した実施形態はまた、示されるように、眼（２０）の中へ光（３８）を投影するように構成される表示鏡および光学部とともに、一対の走査レーザ形状波面（すなわち、深度のための）投光器モジュールも備える。描写した実施形態はまた、ユーザの眼（２０）を追跡してレンダリングおよびユーザ入力を支援することができるように構成される、赤外光光源（発光ダイオード「ＬＥＤ」等の２６）と対合された２つの小型赤外線カメラ（２４）も備える。システム（１４）はさらに、Ｘ、Ｙ、およびＺ軸加速度計能力、ならびに磁気コンパスと、Ｘ、Ｙ、およびＺ軸ジャイロ能力とを備え、好ましくは、２００Ｈｚ等の比較的高い周波数でデータを提供し得る、センサアセンブリ（３９）を特色とする。描写したシステム（１４）はまた、キャプチャデバイス（１６）から出力される広視野画像情報からリアルまたは近リアルタイムユーザ頭部姿勢を計算するように構成され得る、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、および／またはＡＲＭプロセッサ（高度縮小命令セットマシン）等の頭部姿勢プロセッサ（３６）も備える。また、デジタルおよび／またはアナログ処理を実行して、センサアセンブリ（３９）からのジャイロ、コンパス、および／または加速度計データから姿勢を導出するように構成される、別のプロセッサ（３２）も示されている。描写した実施例はまた、姿勢および位置付けを支援するＧＰＳ（３７、全地球測位衛星）サブシステムも特色とする。最終的に、描写した実施形態は、ユーザにローカルであるレンダリング情報を提供して、ユーザの世界の視野のためにスキャナの動作およびユーザの眼の中への撮像を促進するように構成される、ソフトウェアプログラムを実行するハードウェアを特色とし得る、レンダリングエンジン（３４）を備える。レンダリングエンジン（３４）は、レンダリングされた拡張および／または仮想現実オブジェクトの光が、網膜走査ディスプレイと同様に走査レーザ配列（１８）を使用して投影されるように、センサ姿勢プロセッサ（３２）、画像姿勢プロセッサ（３６）、視線追跡カメラ（２４）、および投影サブシステム（１８）に動作可能に連結される（８１、７０、７６／７８、８０、すなわち、有線または無線接続を介して）。投影された光線（３８）の波形は、拡張および／または仮想現実オブジェクトの所望の焦点距離と一致するように屈曲または集束されてもよい。ミニ赤外線カメラ（２４）が、眼を追跡してレンダリングおよびユーザ入力（すなわち、ユーザがどこを見ているか、どの深度でユーザが焦点を合わせているか、以下で論議されるように、焦点深度を推定するために眼の縁が利用されてもよい）を支援するために利用されてもよい。ＧＰＳ（３７）、ジャイロ、コンパス、および加速度計（３９）は、進路および／または高速姿勢推定値を提供するために利用されてもよい。カメラ（１６）の画像および姿勢は、関連クラウドコンピューティングリソースからのデータと併せて、局所世界をマップし、ユーザ視野を仮想または拡張現実コミュニティと共有するために利用されてもよい。図１４で特色とされる表示システム（１４）内のハードウェアの大部分は、ディスプレイ（８２）およびユーザの眼（２０）に隣接する筐体（８４）に直接連結されて描写されているが、描写されるハードウェア構成要素は、例えば、図３に示されるように、ベルト載置構成要素等の他の構成要素に載置されるか、または他の構成要素内に収納されてもよい。一実施形態では、図１４で特色とされるシステム（１４）の構成要素の全ては、画像姿勢プロセッサ（３６）、センサ姿勢プロセッサ（３２）、およびレンダリングエンジン（３４）を除いて、ディスプレイ筐体（８４）に直接連結され、後者の３つとシステム（１４）の残りの構成要素との間の通信は、超広帯域等の無線通信または有線通信によるものであってもよい。描写した筐体（８４）は、好ましくは、頭部装着型であり、ユーザによって装着可能である。それはまた、ユーザの耳に挿入され、図１３を参照して参照されるジャングルの音声等の拡張または仮想現実体験に関連し得る音声をユーザに提供するために利用され得るもの等のスピーカ、およびユーザにローカルである音声を捕捉するために利用され得るマイクロホンを特色としてもよい。
【0101】
ユーザの眼（２０）の中への光（３８）の投影に関して、一実施形態では、ミニカメラ（２４）は、一般に、眼（２０）の焦点の位置、または「焦点深度」と一致する、ユーザの眼（２０）の中心が幾何学的に接した場所を測定するために利用されてもよい。眼が接する全ての点の３次元表面は、「ホロプタ」と呼ばれる。焦点距離は、有限数の深度を帯びてもよく、または無限に変化してもよい。輻輳距離から投影される光が、対象の眼（２０）に焦点を合わせられると考えられる一方で、輻輳距離の前または後ろの光は、ぼやけている。さらに、眼が焦点を合わせる場所にかかわらず、約０．７ミリメートル未満のビーム直径を伴う空間的コヒーレント光が、人間の眼によって正しく分解されることが発見されている。この理解を考慮して、適正な焦点深度の幻想を作成するために、眼の輻輳が、ミニカメラ（２４）を用いて追跡されてもよく、レンダリングエンジン（３４）および投影サブシステム（１８）が、焦点の合ったホロプタ上またはその近くの全てのオブジェクト、および種々の程度に焦点がずれた（すなわち、意図的に作成されたぼやけを使用した）全ての他のオブジェクトをレンダリングするために使用されてもよい。眼の中へコヒーレント光を投影するように構成される、透視光誘導光学要素が、Ｌｕｍｕｓ， Ｉｎｃ．等の供給業者によって提供されてもよい。好ましくは、システム（１４）は、毎秒約６０フレームまたはそれを上回るフレームレートでユーザにレンダリングする。上記で説明されるように、好ましくは、ミニカメラ（２４）は、視線追跡に利用されてもよく、ソフトウェアは、複数の幾何学形状だけでなく、ユーザ入力としての機能を果たす焦点位置のキューも取り上げるように構成されてもよい。好ましくは、そのようなシステムは、日中または夜間の使用に好適な輝度およびコントラストで構成される。一実施形態では、そのようなシステムは、好ましくは、視覚オブジェクト整合のための約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、およびほぼ人間の眼の限界である約１分の分解能を有する。表示システム（１４）は、位置および姿勢判定を支援するように、ＧＰＳ要素、視線追跡、コンパス、加速度計、および／または他のデータソースを伴い得る、局在化システムと統合されてもよく、局在化情報は、ユーザの関連世界の視野内で正確なレンダリングを促進するために利用されてもよい（すなわち、そのような情報は、実世界に対してどこにあるかを眼鏡が把握することを促進するであろう）。
【0102】
他の好適な表示デバイスは、デスクトップおよびモバイルコンピュータ、スマートフォン、３Ｄ視点視覚を促進またはシミュレートする付加的なソフトウェアおよびハードウェア特徴を伴って拡張され得るスマートフォン（例えば、一実施形態では、フレームがスマートフォンに除去可能に連結されてもよく、フレームは、図１４で特色とされる構成の機能性のうちのいくつかをシミュレートするように、２００Ｈｚジャイロおよび加速度計センササブセット、広視野レンズを伴う２つの小型機械視覚カメラ、およびＡＲＭプロセッサを特色とする）、タブレットコンピュータ、スマートフォンについて上記で説明されるように拡張され得るタブレットコンピュータ、付加的な処理および感知ハードウェアを伴って拡張されたタブレットコンピュータ、拡張および仮想視点を表示するためにスマートフォンおよび／またはタブレットを使用する頭部装着型システム（拡大光学部、鏡、コンタクトレンズ、または光構造化要素を介した視覚順応）、発光要素（ＬＣＤ、ＯＬＥＤ、垂直キャビティ面発光レーザ、操作されたレーザビーム等）の非透視ディスプレイ、人間が自然な世界および人工的に生成された画像を見ることを同時に可能にする透視ディスプレイ（例えば、光誘導光学要素、接近焦点コンタクトレンズの中へ差し込む透明および偏光ＯＬＥＤ、操作されたレーザビーム等）、発光要素を伴うコンタクトレンズ（Ｉｏｐｔｉｋ ＲＴＭという商標の下でＩｎｎｏｖｅｇａ， Ｉｎｃ（Ｂｅｌｌｅｖｕｅ， ＷＡ）から入手可能なもの等、それらは、特殊な相補的眼鏡構成要素と組み合わせられてもよい）、発光要素を伴う埋込型デバイス、および人間の脳の光受容体をシミュレートする埋込型デバイスを含むが、それらに限定されない。
【0103】
図３および１４で描写されるもの等のシステムを用いると、３Ｄ点が環境から捕捉されてもよく、これらの画像または点を捕捉するカメラの姿勢（すなわち、世界に対するベクトルおよび／または原点位置情報）が判定されてもよいため、これらの点または画像は、この姿勢情報と「タグ付け」されるか、または関連付けられてもよい。次いで、第２のカメラによって捕捉される点は、第２のカメラの姿勢を判定するために利用されてもよい。換言すれば、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向し、および／または限局することができる。次いで、この知識は、（位置合わせされる２つのカメラが周囲にあるため）テクスチャを抽出し、マップを作製し、実世界の仮想コピーを作成するために利用されてもよい。よって、基礎レベルで、一実施形態では、３Ｄ点および点を生成した２Ｄ画像の両方を捕捉するために利用することができる、個人装着システムを有し、これらの点および画像は、クラウド記憶および処理リソースに送り出されてもよい。それらはまた、組み込まれた姿勢情報とともにローカルにキャッシュ格納されてもよく（すなわち、タグ付けされた画像をキャッシュ格納する）、よって、クラウドは、３Ｄ点とともに準備ができている（すなわち、利用可能なキャッシュ内にある）タグ付けされた２Ｄ画像（すなわち、３Ｄ姿勢でタグ付けされた）を有してもよい。ユーザが動的なものを観察している場合、動きに関連するクラウドまで付加的な情報を送信してもよい（例えば、別の個人の顔を見る場合、ユーザは、顔のテクスチャマップを取り、たとえ周辺世界が別様に基本的に静的であっても、それを最適化された周波数まで押し上げることができる）。
【0104】
クラウドシステムは、姿勢のみの基準としていくつかの点を保存し、全体的な視線追跡計算を低減させるように構成されてもよい。概して、ユーザが部屋を動き回るにつれて、壁、テーブル等のユーザの環境内の主要なアイテムを追跡することが可能となるように、いくつかの輪郭特徴を有することが望ましくあり得、ユーザは、世界を「共有」し、その部屋の中へ他のユーザを入らせ、また、これらの点を見せることを希望し得る。そのような有用かつ主要な点は、固着点として極めて有用であるため、「基準」として称され得る。それらは、機械視覚で認識され得る、およびユーザハードウェアの異なる部品上で世界から一貫して繰り返し抽出することができる、特徴に関係する。したがって、これらの基準は、好ましくは、さらなる使用のためにクラウドに保存されてもよい。
【0105】
一実施形態では、カメラが位置を認識するために容易に使用することができるアイテムの種類であるため、関連世界の全体を通した基準の比較的均等な分布を有することが好ましい。
【0106】
一実施形態では、関連クラウドコンピューティング構成は、３Ｄ点のデータベースおよび任意の関連メタデータを周期的に整えて、基準の精緻化および世界の作成の両方に種々のユーザからの最良データを使用するように構成されてもよい。言い換えれば、本システムは、関連世界を見てその中で機能する種々のユーザからの入力を使用することによって、最良データセットを得るように構成されてもよい。一実施形態では、データベースは、本質的にフラクタルであり、ユーザがオブジェクトに近づくにつれて、クラウドがより高い分解能の情報をそのようなユーザに渡す。ユーザがより密接にオブジェクトをマップすると、そのデータがクラウドに送信され、クラウドは、データベースに以前に記憶されたものよりも良好であれば、新しい３Ｄ点および画像ベースのテクスチャマップをデータベースに追加することができる。この全ては、多くのユーザから同時に起こるように構成されてもよい。
【0107】
上記で説明されるように、拡張または仮想現実体験は、ある種類のオブジェクトを認識することに基づいてもよい。例えば、特定のオブジェクトを認識および理解するために、そのようなオブジェクトが深度を有すると理解することが重要であり得る。認識装置ソフトウェアオブジェクト（「認識装置」）は、ユーザが世界内でデータをナビゲートするにつれて、いずれか一方または両方のプラットフォーム上の種々のオブジェクトの認識を特異的に支援するように、クラウドまたはローカルリソース上に展開されてもよい。例えば、システムが、３Ｄ点クラウドおよび姿勢タグ付け画像を備える世界モデルのデータを有し、その上に多数の点を伴う机、ならびに机の画像がある場合、人間がそれを把握するであろうため、観察されているものが実際に机であるという判定がなくてもよい。言い換えれば、空間内のいくつかの３Ｄ点、および机の大部分を示す空間内のどこかからの画像は、机が観察されていると瞬時に認識するために十分ではない場合がある。この識別を支援するために、未加工３Ｄ点クラウドの中へ入り、点集合をセグメント化し、例えば、机の上面を抽出するであろう、特定のオブジェクト認識装置が作成されてもよい。同様に、ユーザが仮想または拡張現実において壁紙を変更するか、または壁の一部を除去し、実世界では実際にそこにない別の部屋への入口を有することができるように、３Ｄ点から壁をセグメント化するように認識装置が作成されてもよい。そのような認識装置は、世界モデルのデータ内で動作し、世界モデルをクローリングし、その世界モデルに意味情報、または空間内の点の間に存在すると考えられるものに関する存在論を植え付ける、ソフトウェア「ロボット」と考えられてもよい。そのような認識装置またはソフトウェアロボットは、それらの存在全体が、関連世界のデータを周回すること、および壁、または椅子、あるいは他のアイテムであると考えられるものを見つけることであるように構成されてもよい。それらは、「この点集合が壁に属する」という機能的同等物で点集合をタグ付けするように構成されてもよく、点の中にあるものに関してシステムに手動で知らせるために、点ベースのアルゴリズムおよび姿勢タグ付け画像分析の組み合わせを備えてもよい。
【0108】
オブジェクト認識装置は、視点に応じて、様々な有用性の多くの目的で作成されてもよい。例えば、一実施形態では、Ｓｔａｒｂｕｃｋｓ等のコーヒー専門店が、データの関連世界内でＳｔａｒｂｕｃｋｓのコーヒーカップの正確な認識装置を作成することに投資してもよい。そのような認識装置は、Ｓｔａｒｂｕｃｋｓのコーヒーカップの大量および少量データ検索の世界をクロールするように構成され得るため、関連近傍空間内で動作するときに（すなわち、おそらく、ユーザがある期間にわたってＳｔａｒｂｕｃｋｓのコーヒーカップを見たときに、すぐ近くのＳｔａｒｂｕｃｋｓ直販店でユーザにコーヒーを提供するように）セグメント化され、ユーザに識別されてもよい。カップがセグメント化されると、ユーザがそれを自分の机の上に移動させたときに迅速に認識されてもよい。そのような認識装置は、クラウドコンピューティングリソースおよびデータだけでなく、利用可能な計算リソースに応じて、ローカルリソースおよびデータ、またはクラウドおよびローカルの両方で、作動または動作するように構成されてもよい。一実施形態では、何百人ものユーザがグローバルモデルに寄与している、クラウド上の世界モデルのグローバルコピーがあるが、特定の町の特定の個人のオフィスのようなより小さい世界または下位世界については、世界の大部分が、そのオフィスがどのような外観であるかを気にしないであろうため、本システムは、データを整え、所与のユーザに最もローカルに関連すると考えられるローカルキャッシュ情報に移動するように構成されてもよい。
【0109】
一実施形態では、例えば、ユーザが机に歩み寄るときに、机の上のカップ等のしばしば移動するものとして識別されるオブジェクトが、クラウドとローカルリソースとの間でクラウドモデルおよび伝送負担を負う必要がないため、関連情報（机の上の特定のカップのセグメント化等）は、クラウドではなく、ローカルコンピューティングリソースのみの上に存在するように構成されてもよい。したがって、クラウドコンピューティングリソースは、３Ｄ点および画像をセグメント化し、したがって、移動可能なものから永久的（すなわち、概して、移動していない）オブジェクトを分解するように構成されてもよく、これは、関連データが残存する場所、それが処理される場所に影響を及ぼし、より永久的なオブジェクトに関連するあるデータについて、装着型／ローカルシステムから処理負担を除去し、次いで、無限の他のユーザと共有される位置の一回限りの処理を可能にし、複数のデータ源が特定の物理的位置で固定および可動オブジェクトのデータベースを同時に構築することを可能にし、オブジェクト特有の基準およびテクスチャマップを作成するように背景からオブジェクトをセグメント化してもよい。
【0110】
一実施形態では、ユーザが本システムを訓練し、本システムが意味情報を実世界内のオブジェクトと関連付けることを可能にし得るように、本システムは、あるオブジェクトの識別に関する入力についてユーザに問い合わせを行うように構成されてもよい（例えば、本システムは、「それはＳｔａｒｂｕｃｋｓのコーヒーカップですか？」等の質問をユーザに提示してもよい）。存在論は、世界からセグメント化されたオブジェクトが何を行うことができるか、それらがどのようにして挙動するか等に関する指針を提供してもよい。一実施形態では、本システムは、本システムへのあるユーザ入力を促進するように、無線接続されたキーパッド、スマートフォンのキーパッドへの接続性、または同等物等の仮想または実際のキーパッドを特色としてもよい。
【0111】
本システムは、基本要素（壁、窓、机の幾何学形状等）を、仮想または拡張現実において部屋に入る任意のユーザと共有するように構成されてもよく、一実施形態では、その個人のシステムは、特定の視点から画像を撮影し、それらをクラウドにアップロードするように構成されるであろう。次いで、クラウドは、古いおよび新しい一式のデータが投入され、最適化ルーチンを実行し、個々のオブジェクト上に存在する基準を確立することができる。
【0112】
ＧＰＳおよび他の局在化情報が、そのような処理への入力として利用されてもよい。さらに、個人のオンラインカレンダーまたはＦａｃｅＢｏｏｋＲＴＭアカウント情報等の他のコンピューティングシステムおよびデータが、入力として利用されてもよい（例えば、一実施形態では、経時的に、所与の目的地におけるユーザの到着時間に対して準備ができるよう、情報がクラウドからユーザのローカルシステムに移動させられ得るように、クラウドおよび／またはローカルシステムは、航空券、日付、および目的地についてユーザのカレンダーの内容を分析するように構成されてもよい）。
【0113】
一実施形態では、非統計的姿勢計算、セキュリティ／アクセス制御、特別な情報の伝達、空間的メッセージング、非統計的オブジェクト認識等とともに使用するために、ＱＲコード（登録商標）および同等物等のタグが、世界に挿入されてもよい。
【0114】
一実施形態では、クラウドリソースは、「渡すことが可能な世界」を参照して上記で説明されるように、ユーザ間で実世界および仮想世界のデジタルモデルを渡すように構成されてもよく、モデルは、パラメータおよびテクスチャに基づいて個々のユーザによってレンダリングされる。これは、リアルタイムビデオの通過に対して帯域幅を縮小し、光景の仮想視点のレンダリングを可能にし、視界がローカルコンピューティングリソースによってレンダリングされるため、（ビデオ等の）見る必要があるデータのそれぞれを送信することなく、何百万人またはそれを上回るユーザが１つの仮想集会に参加することを可能にする。
【0115】
仮想現実システム（「ＶＲＳ」）は、カメラを使用したリアルタイムメトリックコンピュータ視覚、同時局在化およびマッピング技法、マップ、およびジャイロ、加速度計、コンパス、気圧計、ＧＰＳ等のセンサからのデータ、無線信号強度三角測量、飛行分析の信号時間、ＬＩＤＡＲ測距、ＲＡＤＡＲ測距、走行距離計測法、およびソーナー測距のうちの１つまたはそれを上回るものを通して、ユーザ位置および視野（ともに「姿勢」として知られている）を登録するように構成されてもよい。装着型デバイスシステムは、同時にマップして配向するように構成されてもよい。例えば、未知の環境では、ＶＲＳは、環境に関する情報を収集し、ユーザ姿勢計算に好適な基準点、世界モデリングのための他の点、世界のテクスチャマップを提供するための画像を確認するように構成されてもよい。基準点は、姿勢を光学的に計算するために使用されてもよい。世界がさらなる詳細でマップされるにつれて、より多くのオブジェクトがセグメント化され、各自のテクスチャマップを与えられてもよいが、世界は、依然として好ましくは、低分解能テクスチャマップを用いた単純な多角形で低い空間分解能にて表現可能である。上記で論議されるもの等の他のセンサが、このモデリング努力を支援するために利用されてもよい。世界は、（視点、「監視」モード、ズーミング等を通して）移動すること、または別様により良好な視界を求めることが、クラウドリソースから高分解能情報を要求するという点で、本質的にフラクタルであり得る。オブジェクトに近づくことにより、より高い分解能のデータを捕捉し、これは、新しいデータを計算し、および／または世界モデル内の格子間部位で挿入し得る、クラウドに送信されてもよい。
【0116】
図１６を参照すると、装着型システムは、画像情報を捕捉し、基準および認識された点（５２）を抽出するように構成されてもよい。装着型ローカルシステムは、以下で記述される姿勢計算技法のうちの１つを使用して、姿勢を計算してもよい。クラウド（５４）は、より静的な３Ｄ背景から３Ｄオブジェクトをセグメント化するために画像および基準を使用するように構成されてもよく、画像は、オブジェクトおよび世界のテクスチャマップを提供する（テクスチャはリアルタイムビデオであってもよい）。クラウドリソース（５６）は、世界の位置合わせのために静的な基準およびテクスチャを記憶し、利用可能にするように構成されてもよい。クラウドリソースは、位置合わせのための最適な点密度のために、点群を整えるように構成されてもよい。クラウドリソース（６０）は、オブジェクトの位置合わせおよび操作のためにオブジェクト基準およびテクスチャを記憶し、利用可能にするように構成されてもよく、クラウドは、位置合わせのための最適な密度のために、点群を整えてもよい。クラウドリソースは、オブジェクトのフラクタルソリッドモデルを生成するために全ての有効な点およびテクスチャを使用するように構成されてもよく（６２）、クラウドは、最適な基準密度のために、点群情報を整えてもよい。クラウドリソース（６４）は、セグメント化されたオブジェクトおよび世界の識別に関する訓練についてユーザに問い合わせるように構成されてもよく、存在論データベースが、オブジェクトおよび世界に実施可能な性質を植え付けるために回答を使用してもよい。
【0117】
以下の特定の位置合わせおよびマッピングモードは、光学またはカメラシステムから判定される姿勢を表す用語「Ｏ姿勢」、センサ（すなわち、上記で論議されるように、ＧＰＳ、ジャイロ、コンパス、加速度計等のデータの組み合わせ等）から判定される姿勢を表す「ｓ姿勢」、ならびにクラウドコンピューティングおよびデータ管理リソースを表す「ＭＬＣ」を特色とする。
【0118】
「配向」モードは、新しい環境の基本マップを作製、その目的は、新しい環境がマップされていない、または（同等物）ＭＬＣに接続されていない場合に、ユーザの姿勢を確立することである。配向モードでは、装着型システムは、画像から点を抽出し、フレームからフレームへ追跡し、Ｓ姿勢を使用して基準を三角測量する（画像から抽出される基準がないため）。装着型システムはまた、ユーザの持続性に基づいて不良な基準を除外してもよい。配向モードは、位置合わせおよびマッピングの最も基本モードであって、常時、低精度姿勢にさえ有効であろうことを理解されたい。しかしながら、装着型システムが、少なくともわずかな時間の間、相対の動きにおいて使用された後、最小基準セットが、装着型システムが、Ｏ姿勢を使用して、オブジェクトを認識し、環境をマップするために設定されるように確立されるであろう。Ｏ姿勢が確実となるとすぐに（最小基準セットを用いて）、装着型セットは、配向モードから抜け出すように構成される。「マップおよびＯ姿勢」モードは、環境をマップするために使用される。マップおよびＯ姿勢モードの目的は、高精度Ｓ姿勢を確立し、環境をマップし、マップおよび画像をＭＬＣに提供することである。本モードでは、Ｏ姿勢は、ＭＬＣからダウンロードされ、および／またはローカルで判定された成熟世界基準から計算される。しかしながら、Ｓ姿勢は、計算されたＯ姿勢のチェックとして使用されてもよく、また、Ｏ姿勢の計算を加速させるために使用されてもよいことを理解されたい。前述と同様に、装着型システムは、画像から点を抽出し、フレームからフレームへ追跡し、Ｏ姿勢を使用して基準を三角測量し、持続性に基づいて不良な基準を除外する。残りの基準および姿勢タグ付け画像は、次いで、ＭＬＣクラウドに提供される。これらの機能（点の抽出、不良基準の除外、ならびに基準および姿勢タグ付け画像の提供）は、リアルタイムで行われる必要はなく、帯域幅を保持するために、後の時間に行われてもよいことを理解されたい。
【0119】
Ｏ姿勢は、ユーザの姿勢（ユーザ場所および視野）を判定するために使用される。Ｏ姿勢の目的は、最小処理能力を使用して、すでにマップされた環境内で高精度の姿勢を確立することである。Ｏ姿勢の計算は、いくつかのステップを伴う。ｎでの姿勢を推定するために、装着型システムは、Ｓ姿勢およびＯ姿勢（ｎ−１、ｎ−２、ｎ−３等）から収集された履歴データを使用するように構成される。ｎでの姿勢は、次いで、基準をｎで捕捉される画像に投影し、投影から画像マスクを作成するために使用される。装着型システムは、マスクされた領域から点を抽出し、抽出された点および成熟世界基準からＯ姿勢を計算する。処理負荷は、特定の画像のマスクされたサブセットから点を検索／抽出することによってのみ大幅に軽減されることを理解されたい。さらに１ステップ進むと、ｎで計算されたＯ姿勢の、およびｎでのＳ姿勢は、ｎ＋１での姿勢を推定するために使用されてもよい。姿勢タグ付け画像および／またはビデオは、ＭＬＣクラウドに伝送されてもよい。
【0120】
「超分解能」モードは、超分解能画像および基準を作成するために使用されてもよい。複合姿勢タグ付け画像が、超分解能画像を作成するために使用されてもよく、これは、順に、基準位置推定を向上させるために使用されてもよい。超分解能基準および画像からのＯ姿勢推定を反復することを理解されたい。前述のステップは、装着型デバイス上でリアルタイムで行われてもよく、またはＭＬＣクラウドに伝送され、後の時間に行われてもよい。
【0121】
一実施形態では、ＶＲＳシステムは、ある基礎機能性、ならびにある特殊機能性を提供するようにＶＲＳを通して配信され得る「アプリ」またはアプリケーションによって促進される機能性を有するように構成されてもよい。例えば、以下のアプリが、特殊機能性を提供するように対象ＶＲＳにインストールされてもよい。
【0122】
「絵画調レンダリング」アプリは、アーティストによって、彼らが見ている世界を表す画像変換を作成するために使用されてもよい。ユーザは、次いで、「アーティストの眼を通して」世界を視認することができるように、これらの変換をそのユーザデバイス上で有効にしてもよい。「卓上モデリング」アプリは、ユーザが、テーブルの上に置かれた物理的オブジェクトからオブジェクトを構築することを可能にし得る。「仮想存在」アプリは、別のユーザに空間の仮想モデルを渡し、そのユーザは、次いで、仮想アバターを使用して、その空間を動き回り得るために使用されてもよい。
【0123】
「アバター感情」アプリは、微妙な声の抑揚、軽微な頭部の動き、体温、心拍数等の側面を測定し、仮想存在アバターへの微妙な効果を動画化するために使用されてもよい。人間の状態情報をデジタル化し、それを遠隔アバターに渡すことは、ビデオよりも小さい帯域幅を使用する。加えて、そのようなデータは、感情が可能な人間ではないアバターにマップ可能である。例えば、犬のアバターが、興奮した声の抑揚に基づいて、尾を振ることによって興奮を示すことができる。
【0124】
効率的なメッシュ型ネットワークが、全てをサーバに返送することとは対照的に、データを移動させるために望ましくあり得る。しかしながら、多くのメッシュネットワークは、位置情報およびトポロジーが良好に特徴付けられていないため、準最適な性能を有する。一実施形態では、本システムは、比較的高い精度で全てのユーザの位置を判定するために利用されてもよく、したがって、メッシュネットワーク構成が、高い性能のために利用されてもよい。
【0125】
一実施形態では、本システムは、検索に利用されてもよい。拡張現実を用いると、例えば、ユーザは、物理的世界の多くの側面に関係するコンテンツを生成して残すであろう。このコンテンツの大部分はテキストではなく、したがって、典型的な方法によって容易に検索されない。本システムは、検索および参照目的でパーソナルおよびソーシャルネットワークコンテンツを追跡するための設備を提供するように構成されてもよい。
【0126】
一実施形態では、表示デバイスが連続フレームを通して２Ｄ点を追跡し、次いで、ベクトル値関数をこれらの点の時間発展に適合する場合、任意時点で（例えば、フレーム間で）、または（先にベクトル値関数を投影することによって）近未来の何らかの点で、ベクトル値関数をサンプリングすることが可能である。これは、高分解能後処理の作成、および次の画像が実際に捕捉される前に将来の姿勢の予測を可能にする（例えば、カメラフレームレートを２倍にすることなく、位置合わせ速度を２倍にすることが可能である）。
【0127】
（頭部が固定された、または世界が固定されたレンダリングとは対照的に）身体が固定されたレンダリングについては、身体の正確な表示が望ましい。身体を測定するよりもむしろ、一実施形態では、ユーザの頭部の平均位置を通して、その場所を導出することが可能である。ユーザの顔がほとんどの時間に前方を向く場合、頭部位置の複数日平均が、その方向を明らかにするであろう。重力ベクトルと併せて、これは、身体が固定されたレンダリングのための合理的に安定した座標フレームを提供する。この長期座標フレームに対する頭部位置の現在の尺度を使用することにより、余分な器具類を用いることなく、ユーザの身体の上／周囲でオブジェクトの一貫したレンダリングを可能にする。この実施形態の実装のために、頭部方向ベクトルの単一登録平均が開始されてもよく、デルタｔによって分割されるデータの現行合計が、現在の平均頭部位置を生じるであろう。ｎ−５日目、ｎ−４日目、ｎ−３日目、ｎ−２日目、ｎ−１日目に始まった、およそ５つの登録を保つことにより、過去の「ｎ」日だけの継続平均の使用を可能にする。
【0128】
一実施形態では、光景が縮小され、実際よりも小さい空間内でユーザに提示されてもよい。例えば、巨大な空間（すなわち、サッカースタジアム等）でレンダリングされなければならない光景がある状況では、同等の巨大な空間が存在しない場合があり、またはそのような広い空間がユーザにとって不便であり得る。一実施形態では、本システムは、ユーザが光景を縮図で観察し得るように、光景の尺度を縮小するように構成されてもよい。例えば、個人が、神の視点からのビデオゲーム、または世界チャンピオンシップサッカーの試合を有し、それを縮尺されていない競技場、または縮尺されてリビングルームの床に提示される競技場で再生することができる。本システムは、視点、尺度、および関連適応距離を単純に偏移するように構成されてもよい。
【0129】
本システムはまた、仮想または拡張現実オブジェクトの焦点を操作することによって、それらを強調表示し、コントラスト、輝度、尺度等を変更することによって、提示される光景内の特定のアイテムへユーザの注意を引くように構成されてもよい。
【0130】
好ましくは、本システムは、以下のモードを達成するように構成されてもよい。
【0131】
開放空間レンダリングモードでは、本システムは、構造化環境から主要点を捉え、レンダリングを用いて間の空間を充填するように構成される。本モードは、ステージ、出力空間、広い屋内空間等の潜在的な施設を作成するために使用されてもよい。
【0132】
オブジェクトラッピングモードでは、本システムは、実世界での３Ｄオブジェクトを認識し、次いで、それらを拡張するように構成される。本文脈における「認識」は、画像を３Ｄオブジェクトに結び付ける十分高い精度で３Ｄオブジェクトを識別することを意味し得る。認識は、本文脈では、オブジェクトのタイプ（例えば、個人の顔）を分類し、および／またはオブジェクトの特定のインスタンス（例えば、Ｊｏｅ、個人）を分類することのいずれかを意味し得ることを理解されたい。これらの原理を念頭において、認識装置ソフトウェアは、壁、天井、床、顔、道路、空、超高層ビル、ランチハウス、テーブル、椅子、車、道路標識、看板、ドア、窓、本棚等の種々のものを認識するために使用されることができる。いくつかの認識装置ソフトウェアプログラムは、Ｉ型であり、一般機能性を有し得る（例えば、「私のビデオをその壁に置いてください」、「あれは犬です」等）一方、他の認識装置ソフトウェアプログラムは、ＩＩ型であり、具体的機能性（「私のＴＶは天井から３．２フィート離れたリビングルームの壁の上にある」、「あれはＦｉｄｏです」等）を有し得る。
【0133】
身体を中心としたレンダリングでは、任意のレンダリングされる仮想オブジェクトは、ユーザの身体に固定される。例えば、いくつかのオブジェクトは、ユーザの身体（例えば、ユーザのベルト）の周囲に浮遊してもよい。これを達成することは、頭部のみではなく、身体の位置を把握することを要求する。しかしながら、身体の位置は、頭部の位置によって推定されてもよい。例えば、頭部は、通常、地面と平行に前方を向く。また、身体の位置は、ユーザの頭部位置の長期平均によって取得されたデータを使用することによって、時間に伴って、より正確になってもよい。
【0134】
ＩＩ型認識オブジェクト（具体的機能性）については、オブジェクトの断面図が、典型的には、示される。さらに、ＩＩ型認識オブジェクトは、種々の３Ｄモデルのオンラインデータベースにリンクされてもよい。認識プロセスを開始するとき、車または公共設備等の一般に利用可能な３Ｄモデルを有するオブジェクトから開始することが理想的である。
【0135】
本システムはまた、仮想存在のために使用されてもよい、すなわち、ユーザが、遠隔人物のアバターを特定の開放空間の中に描くことを可能にする。これは、前述の「開放空間レンダリング」のサブセットと見なされ得る。ユーザは、ローカル環境の大まかな幾何学形状を作成し、幾何学形状およびテクスチャマップの両方を他者に反復的に送信してもよい。しかしながら、ユーザは、他者が、その環境に入るための許可を与えなければならない。微妙な音声のキュー、手の追跡、および頭部の動きが、遠隔アバターに送信されてもよい。前述の情報に基づいて、アバターは、動画化されてもよい。仮想存在の作成は、帯域幅を最小限にし、節約して使用され得ることを理解されたい。
【0136】
本システムはまた、別の部屋へのオブジェクト「入口」を作製するために構成されてもよい。言い換えると、ローカルの部屋の中でアバターを示す代わりに、認識されたオブジェクト（例えば、壁）が、別のユーザの環境への入口として使用されてもよい。したがって、複数のユーザが、その各自の部屋の中に座り、壁「を通して」他のユーザの環境を覗いてもよい。
【0137】
本システムはまた、一群のカメラ（人々）が異なる視点から光景を視認するときに、エリアの高密度デジタルモデルを作成するために構成されてもよい。本モデルは、エリアが少なくとも１つのカメラを通して視認される限り、任意の見晴らしの利く点からレンダリング可能であってもよい。例えば、結婚式の光景が、複数のユーザの見晴らしの利く点を通してレンダリングされてもよい。認識装置は、移動オブジェクトとは異なって、静止オブジェクトを区別およびマップし得ることを理解されたい（例えば、壁は安定したテクスチャマップを有し、人々はより高い周波数の移動テクスチャマップを有する）。
【0138】
豊富なデジタルモデルがリアルタイムで更新されると、光景は任意の視点からレンダリングされ得る。結婚式の実施例に戻ると、後方の出席者は、より良い視界のために前列まで空中を飛んでもよい。または、会場外出席者は、アバターを用いて、または主催者が許可すれば不可視的に、「席」を見つけることができる。出席者は、その移動するアバターを示すことができる、または隠してもよい。本側面は、極めて高い帯域幅を要求する可能性が高いことを理解されたい。高周波数データは、高速ローカルワイヤレス接続上のクラウドを通してストリーミングされ得る一方、低周波数データは、ＭＬＣクラウドに由来し得る。前述の実施例では、結婚式の全出席者が高精度位置情報を有するため、ローカルネットワーキングのための最適なルーティング経路を作製することは自明であり得る。
【0139】
本システムへまたはユーザ間の通信のために、単純無音メッセージングが、多くの場合、望ましい。例えば、指コーディングキーボードが、使用されてもよい。随意の実施形態では、触覚手袋ソリューションが、向上した性能をもたらし得る。
【0140】
完全仮想現実体験をユーザに与えるために、視覚システムは、暗くされ、ユーザは、実世界に重なり合わない視界が示される。本モードでも、位置合わせシステムは、依然として、ユーザの頭部位置を追跡するために必要であり得る。完全仮想現実を体験するために使用され得る、いくつかのモードが存在してもよい。例えば、「カウチ」モードでは、ユーザは、飛ぶことが可能にあってもよい。「歩行」モードでは、実世界のオブジェクトは、ユーザが実世界と衝突しないように、仮想オブジェクトとして再レンダリングされてもよい。
【0141】
一般的ルールとして、身体部分をレンダリングすることは、仮想世界を通してナビゲートする際、ユーザの不信の一時的停止に不可欠である。これは、ユーザの視野（ＦＯＶ）内の身体部分を追跡し、レンダリングするための方法を有することを要求する。例えば、不透明バイザは、多くの画像向上可能性を伴う、仮想現実の形態であってもよい。別の実施例では、広視野は、ユーザに背面視界を与えてもよい。さらに別の実施例では、本システムは、望遠鏡、透視、赤外線、神の視点等の種々の形態の「超視界」を含んでもよい。
【0142】
一実施形態では、仮想および／または拡張ユーザ体験のためのシステムは、少なくとも部分的に、関連ソフトウェアモジュールによって行われるような声の抑揚分析および顔認識分析等のソースからの入力を伴う装着型デバイス上のデータに基づいて、ユーザと関連付けられる遠隔アバターが動画化され得るように、構成される。例えば、再び図１２を参照すると、ハチのアバター（２）は、ユーザからローカルで音声サンプルを捕捉し得る、マイクロホンへの音声入力を分析するように構成されるソフトウェアによって判定されるような、ユーザの顔の笑顔の顔認識に基づいて、または親しみやすい声の調子あるいは口調に基づいて、親しみやすい笑顔を有するように動画化されてもよい。さらに、アバターキャラクタは、アバターがある感情を表現する可能性が高い様式で動画化されてもよい。例えば、アバターが犬である実施形態では、人間のユーザにローカルであるシステムによって検出される幸せそうな笑顔または口調は、犬のアバターが尾を振ることとしてアバターで表現されてもよい。
【0143】
図１７−２２を参照すると、複合ゲーム用実施形態の種々の側面が、商標名「Ｊａｍｅｓ Ｂｏｎｄ ００７」（ＲＴＭ）の下で宣伝される登場人物に関連して提示されるスパイテーマのうちのいくつかとともにテーマ別に配向され得る、スパイタイプのゲームの文脈において図示される。図１７を参照すると、家族（８４）の例証が、商標名「ＰｌａｙＳｔａｔｉｏｎ」（ＲＴＭ）下で市販されるもの等のパーソナルコンピュータまたは専用ゲーム用システムに基づくもの等、ゲーム用コンピュータまたはコンソール（８６）に動作可能に連結される、ゲーム用ジョイスティックまたはコントローラ等の入力デバイス（８８）を動作させることによって、ゲーム内で登場人物を操縦する家族（８５）の一員とともに描写される。ゲーム用コンソール（８６）は、ユーザインターフェースビュー（９２）を操縦士／オペレータ（８５）および近傍に存在し得る他者に示すように構成される、ディスプレイ（９２）に動作可能に連結される。図１８は、そのようなユーザインターフェースビュー（９２）の一実施例を図示し、主題ゲームは、英国の都市Ｌｏｎｄｏｎ内の橋の上またはその近傍で実施されている。本特定のプレーヤ（８５）のためのユーザインターフェースビュー（９２）は、表示されるユーザインターフェースの全要素が、実際には、プレーヤ（８５）のリビングルームに存在しない、すなわち、モニタまたはディスプレイ（図１７内の要素９０）を使用して表示される仮想要素であるという点において、純粋な仮想現実である。再び、図１８を参照すると、描写される仮想現実ビュー（９２）は、図１８のユーザインターフェースビュー（９２）に示されるような斜視ビューから、主題プレーヤ（８５）によって動作されるゲーム用登場人物（１１８−本例証的実施例では、「エージェント００９」とも称される）の描写とともに、橋（１０２）および種々の建物（９８）ならびに他の建築特徴を特徴とする、Ｌｏｎｄｏｎの都市のビューを特徴とする。また、プレーヤ（８５）から表示されるのは、通信ディスプレイ（９６）、コンパスインジケータ（９４）、登場人物ステータスインジケータ（１１４）、ニュースツールユーザインターフェース（１０４）、ソーシャルネットワーキングツールユーザインターフェース（１３２）、およびメッセージングユーザインターフェース（１１２）である。さらに示されるのは、ゲーム内の別の登場人物（１２２−本例証的実施例では、「エージェント００６」とも称される）の代表である。ユーザインターフェースビュー（９２）に示されるように、システムは、メッセージングインターフェース（１１２）を通して、エージェント００６登場人物の周囲に視覚的に提示されるハイライトとともに、エージェント００６が接近していることのメッセージ等、提示される光景に関連すると見なされる情報を提示するように構成されてもよい。システムは、オペレータ（８５）が、随時、利用している視点を変更し得るように構成されてもよい。例えば、プレーヤ自身の登場人物（１１８）が上下に示される、図１８（９２）に示されるヘリコプター状斜視ビューではなく、プレーヤは、そのような登場人物の眼の視点からのビュー、または計算および提示され得る、多くの他の可能性として考えられるビューのうちの１つを選択するように決定してもよい。
【0144】
図１９を参照すると、別の例証的ビュー（１４４）は、頭部搭載型ディスプレイシステム（３００）を装着している登場人物「エージェント００６」（１４０）として動作する、実際のヒトプレーヤと、関連付けられたローカル処理システム（３０８）とを示し、彼は、自宅のリビングルームに居るオペレータ（例えば、図１７におけるプレーヤ８５）によってプレイされている、同一ゲームに参加しており、混合または拡張現実体験のために、実際に、実在のＬｏｎｄｏｎの都市を歩いている。描写される実施形態では、プレーヤ（１４０）が、その拡張現実頭部搭載型ディスプレイ（３００）を装着して橋に沿って歩いている間、そのローカル処理システム（３０８）は、そのディスプレイに、描写される通りに、種々の仮想現実要素をフィードし、実際の現実のビュー（すなわち、Ｌｏｎｄｏｎ１３８の実際の地平線および構造等）にオーバーレイされる。彼は、１つまたはそれを上回る実際の文書（１４２）をその手に携行しており、これは、一実施形態では、プリントアウトし、ゲーム用シナリオにおいて使用するために、彼に事前に電子通信されたものである。図２０は、実際のＬｏｎｄｏｎの地平線（１３８）を見るためにその実際の文書（１４２）を眺めている一方、また、その頭部搭載型ディスプレイ（３００）を通して拡張現実ビューのための種々の仮想要素が提示されている、プレーヤ（１４０）の眼の視点からのビュー（１４６）の例証を示す。仮想要素は、例えば、通信ディスプレイ（１２６）、ニュースディスプレイ（１２８）、１つまたはそれを上回る電子通信またはソーシャルネットワーキングツールディスプレイ（１３２）、１つまたはそれを上回るプレーヤステータスインジケータ（１３４）、メッセージングインターフェース（１３６）、コンパス配向インジケータ（１２４）、およびプレーヤ（１４０）によって携行される実際の文書（１４２）内に特徴付けられる、テキストまたは写真等の他の表示または捕捉された情報に従って読み出され、提示され得る、テキスト、オーディオ、またはビデオコンテンツ等のコンテンツの１つまたはそれを上回るディスプレイ（１４８）を含んでもよい。仮想現実にのみ存在する、近傍の他の登場人物「エージェント００９」は、登場人物「エージェント００６」として動作するプレーヤ（１４０）の拡張現実ビュー（１４６）の中に提示され、図２０に示されるように、容易な識別のために、ユーザインターフェース内にそのように標識化され得る。
【0145】
図２１を参照すると、同様に、実際に、Ｌｏｎｄｏｎ（１３８）に偶然に存在し、「エージェント００６」プレーヤ（１４０）に向かって、同一の橋を渡って歩いているが、拡張現実頭部搭載型ディスプレイ（例えば、図１９の要素３００）を伴わない、別のプレーヤ（１５０）のプレーヤの眼のビュー（１５２）が、提示される。本プレーヤ（１５０）は、頭部搭載型拡張現実ディスプレイを有していなくてもよいが、本実施形態では、より大きいシステムとワイヤレスで接続され、主題ゲームの拡張現実世界の中への「ウィンドウ」として利用され、限定されたユーザインターフェース（１５６）に、警告または登場人物情報等の他の拡張現実ディスプレイ情報（１６２）とともに、実際に存在する（１５８）または仮想（１６０）であり得る、１人または２人の他の近傍プレーヤに関するデバイス拡張現実情報を提示するように構成され得る、タブレットまたはスマートフォン等のモバイル通信デバイス（１５４）を携行している。
【0146】
図２２を参照すると、「鳥の眼」あるいは有人または無人航空機（または、「ＵＡＶ」）ビューが、提示される（１６４）。一実施形態では、ビュー（１６４）は、別のプレーヤ、すなわち、前述のプレーヤのうちの１人によって動作される、仮想ＵＡＶに基づいてもよい。描写されるビュー（１６４）は、完全仮想モードにおいて、例えば、大型コンピュータディスプレイ（９０）または頭部搭載型ディスプレイ（３００）を伴って、自宅のソファに着座し得る、プレーヤに提示されてもよい。代替として、そのようなビューは、拡張現実ビューとして、偶然、飛行機または他の飛翔体に居るプレーヤに提示されてもよい（すなわち、そのような位置にいる人物にとって、ビューの少なくとも一部は実際の現実となるであろうため、「拡張」または混合）。図示されるビュー（１６４）は、ビュー内で特定され、識別された相手に関する情報等、関連情報を特徴とする、情報ダッシュボード（１７０）のためのインターフェースエリアを含有する。描写されるビュー（１６４）はまた、情報の着目現場（１６８）、他のプレーヤまたは登場人物の場所および／またはステータス（１６６）、および／または他の情報提示（１６７）等の仮想ハイライト情報を特徴とする。
【0147】
図２３を参照すると、例証目的のために、別の拡張現実シナリオが、部屋の構造物（１７４）、コーヒーテーブル（１８０）、ＤＪテーブル（１７８）、およびそれぞれ、実際の人々（１８８）のうちの１人に対する仮想現実上の漫画の登場人物（１９８）、仮想現実上のスペイン人ダンサー登場人物（１９６）、突撃隊員登場人物（１９４）、および丸いウサギ耳の付いた頭部の被り物（１９２）等、その周囲のもののその独自の拡張現実ビューを体験し得るように、頭部搭載型拡張現実インターフェースハードウェア（３００）を装着している、５人の実際の人々（１７６、１８８、１８２、１８４、１８６）等、ある実際の現実要素を特徴とする、ビュー（１７２）とともに提示される。拡張現実インターフェースハードウェアを伴わない場合、部屋は、家具、ＤＪテーブルがあって、変わったものが何もない、部屋のように、５人の実際の人々に対面するであろう。拡張現実インターフェースハードウェアを伴う場合、システムは、関与するプレーヤまたは参加者が、事実上、突撃隊員として現れることを決定した人物、事実上、スペイン人ダンサーとして現れることを決定した人物、事実上、漫画の登場人物として現れることを決定した人物、および実際には、通常の衣服を着ているように現れることを決定したが、その頭部が丸いウサギ耳の付いた頭部の被り物（１９２）とともに可視化されることを所望するように決定した人物を体験し得るように構成される。システムはまた、その拡張現実インターフェースハードウェア（３００）を通してＤＪ（１７６）のみに可視となり得る、仮想上の音楽の楽譜（１９０）、またはその拡張現実インターフェースハードウェア（３００）を使用して、回りの人物に可視となり得る、ＤＪテーブル照明特徴等、実際のＤＪテーブル（１７８）と関連付けられたある仮想特徴を示すように構成されてもよい。
【0148】
図２４Ａおよび２４Ｂを参照すると、タブレットコンピュータまたはスマートフォン等のモバイル通信デバイスの適応が、主題システムを使用して作成された主題ゲームまたは体験の拡張現実世界の中への修正された「ウィンドウ」として、拡張現実を体験するために利用されてもよい。図２４Ａを参照すると、典型的スマートフォンまたはタブレットコンピューティングシステムモバイルデバイス（１５４）は、比較的に単純な視覚的ユーザインターフェース（１５６）を特徴とし、典型的には、単純カメラまたは２つのカメラを有する。図２４Ｂを参照すると、モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスの拡張現実参加能力を増加させるように構成される、拡張用コンソール（２１８）に可撤性かつ動作可能に連結される。例えば、描写される実施形態は、眼の追跡のために利用され得る、２つのプレーヤに配向されたカメラ（２０２）、単純高品質オーディオおよび／または指向性音成形のために利用され得る、４つのスピーカ（２００）、機械視覚、位置合わせ、および／または位置特定のために２つの前方に配向されたカメラ（２０４）、追加バッテリまたは電力供給源能力（２１２）、プレーヤが連結されたシステムを把持することによる容易な利用のために位置付けられ得る、１つまたはそれを上回る入力インターフェース（２１４、２１６）、フィードバックを連結されたシステムを把持するユーザに提供するための触覚フィードバックデバイス（２２２）（一実施形態では、触覚フィードバックデバイスは、軸毎に＋または−方向に２軸フィードバックを提供し、指向性フィードバックを提供するように構成されてもよい。そのような構成は、利用される、例えば、オペレータが、システムを特定の着目標的に照準して保つことを補助するため等に利用されてもよい）、１つまたはそれを上回るＧＰＳまたは位置特定センサ（２０６）、および／または１つまたはそれを上回る加速度計、慣性測定ユニット、および／またはジャイロ（２０８）を特徴とする。
【0149】
図２５を参照すると、一実施形態では、図２４Ｂに描写されるもの等のシステムは、ＧＰＳセンサおよび／またはワイヤレス三角測量を使用して、ＸおよびＹ（緯度および経度の地球の座標に類似する）デカルト方向において、参加者を大まかに特定するために利用されてもよい（２３２）。大まかな配向は、コンパスおよび／またはワイヤレス配向技法を使用して達成されてもよい（２３４）。大まかな位置特定および配向が判定されると、分散システムは、ローカル特徴マッピング情報をローカルデバイス（すなわち、相互連結されたモバイル通信システム１５４および拡張用コンソール２１８等）にロードする（すなわち、ワイヤレス通信を介して）ように構成されてもよい。そのような情報は、例えば、地平線幾何学形状、建築幾何学形状、水路／平面要素幾何学形状、風景幾何学形状、および同等物等の幾何学的情報を備えてもよい（２３６）。ローカルおよび分散システムは、大まかな位置特定、大まかな配向、およびローカル特徴マップ情報の組み合わせを利用して、細かい位置特定および配向特性を判定してもよく（Ｘ、Ｙ、およびＺ｛高度に類似する｝座標および３−Ｄ配向等）（２３８）、これは、分散システムに、細かいピッチのローカル特徴マッピング情報をローカルシステム（すなわち、相互連結されたモバイル通信システム１５４および拡張用コンソール２１８等）にロードさせ、ユーザ体験および動作を向上させるために利用されてもよい。異なる配向および場所への移動は、大まかな位置特定および配向ツール、ならびに参加者によって携行され得る、タブレットまたは携帯電話等のモバイルコンピューティングシステムに連結され得る、慣性測定ユニット、ジャイロ、および加速度計等のローカルに展開されたデバイスを利用して追跡されてもよい（２４２）。
【0150】
種々の前述の実施形態における頭部搭載型ディスプレイ構成要素は、単眼または双眼ディスプレイ技術の透明ビデオ構成を備えてもよい。さらに、そのような構成要素は、画像がユーザの網膜に投影され、焦点深度情報がボクセルおよび／またはフレームあたりで提供される、レーザ投影システムを含む、単眼または双眼形態における、装着型または頭部搭載型明視野ディスプレイシステムを備えてもよい。深度平面数は、好ましくは、２〜無限または非常に多数までに及び得る。一実施形態では、４〜３６の深度平面が、３−Ｄ効果のために提供されてもよい。
【0151】
図２３に特徴付けられる、ＤＪテーブル（１７８）等の実際のオブジェクトは、仮想現実表面、形状、および／または機能性とともに拡張されてもよい。例えば、一実施形態では、そのようなデバイス上の実際のボタンは、実際のデバイスおよび／または他のデバイス、人々、またはオブジェクトと相互作用するように構成される、仮想パネルを開くように構成されてもよい。
【0152】
図２３に描写されるパーティルーム等の部屋（１７４）は、任意の部屋または空間であるように外挿されてもよい。システムは、いくつかの既知のデータ（部屋の他の関連付けられた構造またはものに関する既存の２または３次元データ等）から任意の場所を有してもよく、または新しいゼロデータを有してもよく、図２４Ｂのコントローラコンソール（２１８）に搭載されるもの等のカメラ（２０４）を利用する機械視覚構成は、付加的データを捕捉するために利用されることができる。さらに、システムは、人々の群が、使用可能な２または３次元マップ情報源を収集し得るように構成されてもよい。
【0153】
Ｌｏｎｄｏｎの都市の３次元マップデータ等の既存のマップ情報が利用可能な構成では、頭部搭載型ディスプレイまたは「感覚製品」構成（３００）を装着するユーザは、ＧＰＳ、コンパス、および／または他の手段（付加的固定追跡カメラ、他のプレーヤに連結されるデバイス等）を使用して、大まかに位置してもよい。細かい位置合わせは、次いで、そのような位置合わせのための基準として、物理的場所の既知の幾何学形状を使用して、ユーザのセンサから達成されてもよい。例えば、距離Ｘにおいて見たとき、Ｌｏｎｄｏｎ固有の建物において、システムが、ＧＰＳ情報から、Ｙフィート内であって、かつコンパスおよびマップＭから、方向Ｃにユーザを特定すると、システムは、位置合わせアルゴリズム（幾分、ロボットまたはコンピュータ支援外科手術において利用される技法に類似する）を実装し、ユーザの３次元場所をある程度の誤差Ｅ内に「ロックイン」するように構成されてもよい。
【0154】
固定カメラはまた、頭部搭載型または感覚製品システムとともに利用されてもよい。例えば、図２３に描写されるもの等のパーティルームでは、部屋のある側面（１７４）に搭載された固定カメラは、部屋および動く人々のライブの進行中ビューを提供し、仮想および部屋内の物理的人々の両方とのそのソーシャル相互作用が、はるかに豊かになるように、遠隔参加者に、部屋全体の「ライブ」デジタル遠隔存在ビューを与えるように構成されてもよい。そのような実施形態では、いくつかの部屋が、相互にマップされてもよい。すなわち、物理的部屋および仮想部屋幾何学形状が、相互にマップされてもよい。付加的拡張または視覚が、物理的および仮想「メタ」部屋の両方を通して行き来するオブジェクトとともに、それを物理的部屋と等しく、それ未満、またはより大きくマップするように作成されてもよく、次いで、視覚的にカスタマイズまたは「スキニング」されたバージョンの部屋は、各ユーザまたは参加者に利用可能になってもよい（すなわち、正確に同一の物理的または仮想部屋内に存在し得る間、システムは、ユーザによるカスタムビューを可能にしてもよい。例えば、図２３の仮想突撃隊員（１９４）は、パーティに居るが、「Ｄｅａｔｈ Ｓｔａｒ」モチーフまたはスキンでマップされた環境を有することができる一方、ＤＪ（１７６）は、パーティ環境とともに図２３に示されるようなスキニングされた部屋を有してもよい。したがって、「共有の映画的現実」の概念において、各ユーザは、部屋のいくつかの側面の一致するビューを有するが、また、全員、同時に、ある変動（色、形状等）をその個人的好みに合わせて修正することができる。
【0155】
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて紀要可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。
【0156】
本発明は、対象デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行されてもよい。
【0157】
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。
【0158】
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような、説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
【0159】
また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つまたはそれを上回るものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの」（「ａ」、「ａｎ」）、「ｔｈｅ（ｓａｉｄ）」、および該（「ｔｈｅ」）という単数形は、特に規定がない限り、複数形の指示対象を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項において、対象アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。
【0160】
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および化学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。
【0161】
本発明の幅は、提供される実施例および／または対象の明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。