(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-13
(54)【発明の名称】表示される２Ｄ要素のための３Ｄモデル
(51)【国際特許分類】
G06F 3/04815 20220101AFI20230406BHJP
G06T 19/00 20110101ALI20230406BHJP
G06F 3/01 20060101ALI20230406BHJP
【ＦＩ】
G06F3/04815
G06T19/00 A
G06F3/01 510
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022551292
(86)(22)【出願日】2021-02-25
(85)【翻訳文提出日】2022-10-21
(86)【国際出願番号】 US2021019653
(87)【国際公開番号】W WO2021173824
(87)【国際公開日】2021-09-02
(31)【優先権主張番号】62/983,196
(32)【優先日】2020-02-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ウィリアムズ， クリストファー リチャード
(72)【発明者】
【氏名】フランコ， ダミアン
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA09
5B050DA01
5B050EA09
5B050FA02
5B050FA05
5B050FA09
5B050FA10
5B050FA16
5E555AA27
5E555BA01
5E555BA38
5E555BB01
5E555BB38
5E555BC04
5E555BE16
5E555BE17
5E555CA02
5E555CA06
5E555CA10
5E555CA12
5E555CA18
5E555CA42
5E555CA44
5E555CA45
5E555CA47
5E555CB21
5E555CB64
5E555CB82
5E555CC22
5E555DA08
5E555DA09
5E555DB03
5E555DB56
5E555DC09
5E555DC72
5E555DD07
5E555EA07
5E555EA11
5E555FA00
(57)【要約】
システムは、ユーザによって装着されるために構成される、画面であって、２次元（２Ｄ）要素を表示するように構成される、画面と、ディスプレイに結合される、処理ユニットと、画面によって表示される２Ｄ要素を選択するためのユーザ入力に応答して、信号を生成するように構成される、ユーザ入力デバイスとを含み、処理ユニットは、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得するように構成される。
【特許請求の範囲】
【請求項1】
システムであって、ユーザによって装着されるために構成される画面であって、前記画面は、２次元（２Ｄ）要素を表示するように構成される、画面と、
ディスプレイに結合される処理ユニットと、
ユーザ入力デバイスであって、前記ユーザ入力デバイスは、前記画面によって表示される前記２Ｄ要素を選択するためのユーザ入力に応答して、信号を生成するように構成される、ユーザ入力デバイスと
を備え、
前記処理ユニットは、前記生成された信号に応答して、前記２Ｄ要素と関連付けられる３次元（３Ｄ）モデルを取得するように構成される、システム。
【請求項2】
前記ユーザ入力デバイスは、ダブルクリックアクション、長押しアクション、長保持アクション、カーソルが前記２Ｄ要素に向いている間のボタンの押下、閾値期間にわたる前記２Ｄ要素上でのボタンのホバリング、またはオーディオ入力に応答して、前記信号を生成するように構成される、請求項１に記載のシステム。
【請求項3】
前記２Ｄ要素は、オブジェクトを示し、前記３Ｄモデルは、前記オブジェクトの３次元バージョンである、請求項１に記載のシステム。
【請求項4】
前記３Ｄモデルは、前記２Ｄ要素の３Ｄレンダリングまたは３Ｄ描写である、請求項１に記載のシステム。
【請求項5】
前記システムは、前記２Ｄ要素が前記３Ｄモデルにアクセスするように選択可能であることのインジケーションを提供するように構成される、請求項１に記載のシステム。
【請求項6】
前記画面は、視覚的情報を前記インジケーションとして提供するように構成される、請求項５に記載のシステム。
【請求項7】
前記視覚的情報は、前記２Ｄ要素の色の変化を備える、請求項６に記載のシステム。
【請求項8】
前記視覚的情報は、前記２Ｄ要素と関連付けて表示されるグラフィックを備える、請求項６に記載のシステム。
【請求項9】
前記視覚的情報は、カーソルの構成の変化を備える、請求項６に記載のシステム。
【請求項10】
前記視覚的情報は、前記２Ｄ要素から外に成長し始める前記３Ｄモデルの表示を備える、請求項６に記載のシステム。
【請求項11】
前記システムは、オーディオ信号を前記インジケーションとして提供するように構成される、請求項５に記載のシステム。
【請求項12】
前記２Ｄ要素は、ブラウザまたはビューワ内に提示される、請求項１に記載のシステム。
【請求項13】
前記３Ｄモデルは、ページ記述子情報と関連付けて記憶される、請求項１に記載のシステム。
【請求項14】
前記２Ｄ要素は、ページの一部であり、前記ページに関するメタデータは、そこから前記３Ｄモデルが読み出されるべき場所を示す、請求項１に記載のシステム。
【請求項15】
前記２Ｄ要素は、ページの一部であり、前記ページのマークアップ言語は、前記２Ｄ要素を前記３Ｄモデルと関連付けられるものとして指定するメタデータを備える、請求項１に記載のシステム。
【請求項16】
前記３Ｄモデルは、動的に生成される、請求項１に記載のシステム。
【請求項17】
前記２Ｄ要素は、ブラウザまたはビューワ内に提示されるページの一部であり、前記３Ｄモデルは、前記ページが前記ブラウザまたは前記ビューワ内にロードされたとき、またはその後、ロードされ、かつ／または利用可能にされる、請求項１に記載のシステム。
【請求項18】
前記処理ユニットは、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、前記３Ｄモデルを読み出すように構成される、請求項１に記載のシステム。
【請求項19】
前記処理ユニットは、ネットワークを介して伝送される前記３Ｄモデルを受信することによって、前記２Ｄ要素と関連付けられる前記３Ｄモデルを取得するように構成される、請求項１に記載のシステム。
【請求項20】
前記３Ｄモデルを記憶するメモリをさらに備え、前記処理ユニットは、前記３Ｄモデルを前記メモリから読み出すことによって、前記３Ｄモデルを取得するように構成される、請求項１に記載のシステム。
【請求項21】
前記３Ｄモデルは、前記システムによって提示される環境への追加のためのものである、請求項１に記載のシステム。
【請求項22】
前記処理ユニットは、前記３Ｄモデルを前記画面を通して視認されるような環境に対して特定の場所に設置するためのコマンドを受信するように構成される、請求項１に記載のシステム。
【請求項23】
前記コマンドは、仮想オブジェクトまたは実世界オブジェクトと関連付けられる前記３Ｄモデルを前記環境に対して設置するためのカーソルの移動に基づいて生成されたカーソル位置を備える、請求項２２に記載のシステム。
【請求項24】
前記画面は、前記ユーザが前記画面を通して周囲環境を視認することを可能にするために、少なくとも部分的に透明である、請求項１に記載のシステム。
【請求項25】
前記システムは、ＭＲ、ＡＲ、またはＶＲ環境を前記ユーザに提供するように構成される、請求項１に記載のシステム。
【請求項26】
方法であって、ユーザによって装着されるために構成される画面によって、２次元（２Ｄ）要素を表示することと、
前記画面によって表示される前記２Ｄ要素を選択するためのユーザに入力に応答して、ユーザ入力デバイスによって生成された信号を受信することと、
前記生成された信号に応答して、前記２Ｄ要素と関連付けられる３次元（３Ｄ）モデルを取得することと
を含む、方法。
【請求項27】
前記信号は、ダブルクリックアクション、長押しアクション、長保持アクション、カーソルが前記２Ｄ要素に向いている間のボタンの押下、閾値期間にわたる前記２Ｄ要素上でのボタンのホバリング、またはオーディオ入力に応答して生成される、請求項２６に記載の方法。
【請求項28】
前記２Ｄ要素は、オブジェクトを示し、前記３Ｄモデルは、前記オブジェクトの３次元バージョンである、請求項２６に記載の方法。
【請求項29】
前記３Ｄモデルは、前記２Ｄ要素の３Ｄレンダリングまたは３Ｄ描写である、請求項２６に記載の方法。
【請求項30】
前記２Ｄ要素が前記３Ｄモデルにアクセスするために選択可能であることのインジケーションを提供することをさらに含む、請求項２６に記載の方法。
【請求項31】
前記インジケーションは、視覚的情報を備える、請求項３０に記載の方法。
【請求項32】
前記視覚的情報は、前記２Ｄ要素の色の変化を備える、請求項３１に記載の方法。
【請求項33】
前記視覚的情報は、前記２Ｄ要素と関連付けて表示されるグラフィックを備える、請求項３１に記載の方法。
【請求項34】
前記視覚的情報は、カーソルの構成の変化を備える、請求項３１に記載の方法。
【請求項35】
前記視覚的情報は、前記２Ｄ要素から外に成長し始める前記３Ｄモデルの表示を備える、請求項３１に記載の方法。
【請求項36】
前記インジケーションを提供する行為は、オーディオ信号を提供することを含む、請求項３０に記載の方法。
【請求項37】
前記２Ｄ要素は、ブラウザまたはビューワ内に提示される、請求項２６に記載の方法。
【請求項38】
前記３Ｄモデルは、ページ記述子情報と関連付けて記憶される、請求項２６に記載の方法。
【請求項39】
前記２Ｄ要素は、ページの一部であり、前記ページに関するメタデータは、そこから前記３Ｄモデルが読み出されるべき場所を示す、請求項２６に記載の方法。
【請求項40】
前記２Ｄ要素は、ページの一部であり、前記ページのマークアップ言語は、前記２Ｄ要素を前記３Ｄモデルと関連付けられるものとして指定するメタデータを備える、請求項２６に記載の方法。
【請求項41】
前記３Ｄモデルは、動的に生成される、請求項２６に記載の方法。
【請求項42】
前記２Ｄ要素は、ブラウザまたはビューワ内に提示されるページの一部であり、前記３Ｄモデルは、前記ページが前記ブラウザまたは前記ビューワ内にロードされたとき、またはその後、ロードされ、かつ／または利用可能にされる、請求項２６に記載の方法。
【請求項43】
前記３Ｄモデルを取得する行為は、処理ユニットによって、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、前記３Ｄモデルを読み出すことを含む、請求項２６に記載の方法。
【請求項44】
前記２Ｄ要素と関連付けられる前記３Ｄモデルを取得する行為は、ネットワークを介して伝送される前記３Ｄモデルを受信することを含む、請求項２６に記載の方法。
【請求項45】
前記３Ｄモデルは、メモリ内に記憶され、前記３Ｄモデルを取得する行為は、前記３Ｄモデルを前記メモリから読み出すことを含む、請求項２６に記載の方法。
【請求項46】
前記３Ｄモデルは、前記システムによって提示される環境への追加のためのものである、請求項２６に記載の方法。
【請求項47】
前記３Ｄモデルを前記画面を通して視認されるような環境に対して特定の場所に設置するコマンドを受信することをさらに含む、請求項２６に記載の方法。
【請求項48】
前記コマンドは、仮想オブジェクトまたは実世界オブジェクトと関連付けられる前記３Ｄモデルを前記環境に対して設置するためのカーソルの移動に基づいて生成されたカーソル位置を備える、請求項４７に記載の方法。
【請求項49】
前記画面は、前記ユーザが前記画面を通して周囲環境を視認することを可能にするために、少なくとも部分的に透明である、請求項２６に記載の方法。
【請求項50】
前記方法は、ＭＲ、ＡＲ、またはＶＲ環境を前記ユーザに提供するように構成されるシステムによって実施される、請求項２６に記載の方法。
【請求項51】
非一過性媒体を備える製品であって、前記非一過性媒体は、命令のセットを記憶しており、処理ユニットによる前記命令のセットの実行は、方法を実施させ、前記方法は、ユーザによって装着されるために構成される画面によって、２次元（２Ｄ）要素を表示することと、
前記画面によって表示される前記２Ｄ要素を選択するためのユーザに入力に応答して、ユーザ入力デバイスによって生成された信号を受信することと、
前記生成された信号に応答して、前記２Ｄ要素と関連付けられる３次元（３Ｄ）モデルを取得することと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、頭部装着型画像ディスプレイデバイスと、ユーザが、３次元（３Ｄ）仮想オブジェクトにアクセスし、それを操作することを可能にするための方法および装置とに関する。
【背景技術】
【0002】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」（ＶＲ）または「拡張現実」（ＡＲ）体験のための「複合現実」（ＭＲ）システムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。ＶＲシナリオは、典型的には、他の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ＡＲシナリオは、典型的には、ユーザの周囲の実世界の可視化（すなわち、実世界視覚的入力に対する透過性）に対する拡張としてデジタルまたは仮想画像情報の提示を伴う。故に、ＡＲシナリオは、実世界視覚的入力に対する透過性を伴う、デジタルまたは仮想画像情報の提示を伴う。
【0003】
ＭＲシステムは、カラーデータを生成および表示し得、これは、ＭＲシナリオの現実性を増加させる。これらのＭＲシステムの多くは、カラー画像に対応する異なる（例えば、原）色または「フィールド」（例えば、赤色、緑色、および青色）内のサブ画像を高速で連続して順次投影させることによって、カラーデータを表示する。カラーサブ画像を十分に高レート（例えば、６０Ｈｚ、１２０Ｈｚ等）で投影させることは、平滑なカラーＭＲシナリオをユーザの記憶にもたらし得る。
【0004】
種々の光学システムは、ＭＲ（ＶＲおよびＡＲ）シナリオを表示するために、種々の深度において、カラー画像を含む、画像を生成する。
【0005】
ＭＲシステムは、少なくとも、ユーザの頭部に緩く結合され、したがって、ユーザの頭部が移動すると移動する、ウェアラブルディスプレイデバイス（例えば、頭部装着型ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス）を採用し得る。ユーザの頭部運動が、ディスプレイデバイスによって検出される場合、表示されているデータは、頭部姿勢（すなわち、ユーザの頭部の配向および／または場所）の変化を考慮するために更新（例えば、「ワーピング」）され得る。
【0006】
実施例として、頭部装着型ディスプレイデバイスを装着しているユーザが、ディスプレイ上の仮想オブジェクトの仮想表現を視認し、仮想オブジェクトが現れている面積の周囲を歩き回る場合、仮想オブジェクトは、視点毎にレンダリングされ、実空間を占有するオブジェクトの周囲を歩き回っているという知覚をユーザに与えることができる。頭部装着型ディスプレイデバイスが、複数の仮想オブジェクトを提示するために使用される場合、頭部姿勢の測定が、ユーザの動的に変化する頭部姿勢にマッチングし、没入感の増加を提供するように場面をレンダリングするために使用されることができる。
【0007】
ＡＲを有効にする、頭部装着型ディスプレイデバイスは、実および仮想オブジェクトの両方の同時視認を提供する。「光学シースルー」ディスプレイを用いることで、ユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見え、直接、環境内の実オブジェクトからの光を視認することができる。透明要素は、多くの場合、「コンバイナ」と称され、ディスプレイからの光を実世界のユーザのビューにわたって重畳し、ディスプレイからの光は、仮想コンテンツの画像を環境内の実オブジェクトのシースルービューにわたって投影される。カメラが、頭部装着型ディスプレイデバイス上に搭載され、ユーザによって視認されている場面の画像またはビデオを捕捉し得る。
【0008】
ＭＲシステムにおけるもの等の現在の光学システムは、仮想コンテンツを光学的にレンダリングする。コンテンツは、空間内の個別の位置に位置する実際の物理的オブジェクトに対応しないという点で、「仮想」である。代わりに、仮想コンテンツは、ユーザの眼に指向される光ビームによって刺激されるとき、頭部装着型ディスプレイデバイスのユーザの脳（例えば、光学的中心）内にのみ存在する。
【0009】
ある場合には、頭部装着型画像ディスプレイデバイスは、実環境に対して仮想オブジェクトを表示し得、かつ／またはユーザが実環境に対して仮想オブジェクトを設置し、かつ／または操作することを可能にし得る。そのような場合、画像ディスプレイデバイスは、仮想オブジェクトが実環境に対して正しく変位され得るように、実環境に対するユーザを位置特定するように構成され得る。位置特定マップが、頭部装着型画像ディスプレイデバイスによって使用され、位置特定を実施し得る。特に、位置特定を実施するとき、画像ディスプレイデバイスは、リアルタイム入力画像を画像ディスプレイデバイスのカメラシステムから取得し、入力画像内の特徴と位置特定マップの特徴をマッチングさせ得る。
【0010】
ユーザが、３Ｄ仮想オブジェクトにアクセスし、それを操作し、画像ディスプレイデバイスによって提示される環境内に位置付けることを可能にするための新しい方法および装置が、本明細書に説明される。
【発明の概要】
【課題を解決するための手段】
【0011】
本開示は、コンピューティングシステム内に表示される、示される要素（例えば、コンテンツのページ内の要素）と関連付けられる、３次元（３Ｄ）モデルを提供するための技法を説明する。ページは、コンピューティングシステム上で実行される、ブラウザまたは他の好適なアプリケーション内に表示されてもよい。いくつかの実施例では、コンピューティングシステムは、複合現実（ＭＲ）、拡張現実（ＡＲ）、および／または仮想現実（ＶＲ）環境を本システムのユーザに提示するように構成される、空間コンピューティングシステムであってもよい。表示される要素は、２次元（２Ｄ）または３Ｄ要素であってもよい。提供されるモデルは、いくつかの実施形態では、ユーザによって操作されてもよい。例えば、ユーザは、ページ内に表示される２Ｄ要素（例えば、画像、グラフィック等）を選択し、３Ｄモデルにアクセスしてもよく、アクセスされる３Ｄモデルは、次いで、ユーザによって、空間コンピューティング環境を介してユーザによって知覚されるような実世界または仮想オブジェクト上またはその近くに設置されてもよい。
【0012】
特に、本明細書に開示される実施形態は、コンピューティングシステム上で実行されるブラウザまたは他の好適なアプリケーション内に示されるページ要素と関連付けられる、３Ｄモデルにアクセスするためのシステム、方法、およびコンピュータ可読媒体に関する。いくつかの実施形態では、コンピューティングシステムは、ＭＲ、ＡＲ、またはＶＲ環境をユーザに提供するように構成される。ＶＲ環境では、仮想オブジェクトは、実世界および／または人工環境をシミュレートし得る様式において、ユーザに提示される。ＡＲ環境では、本システムは、ユーザが、その実世界環境に関する少なくとも一部を視認し、仮想オブジェクトを実世界環境に対する拡張として提示することを可能にされる。ＭＲ環境では、仮想オブジェクトの提示は、実世界オブジェクトに基づいて修正されてもよい。例えば、仮想オブジェクトは、仮想オブジェクトが実世界オブジェクトの背後にあるように現れる位置に提示される場合、少なくとも部分的に、実世界オブジェクトによってオクルードされ得る。そのような環境はまた、空間コンピューティング環境として説明されることができ、その中で仮想オブジェクトは、提示されている実世界オブジェクトの存在および特性によって情報を与えられ、かつ／またはそれを認識することによって形成される、様式で提示される。
【0013】
いくつかの実施形態では、ページの開発者は、要素が、要素のモデルが、ユーザによって読み出され、提示される環境内のいずれかの場所に設置され得るように、抽出可能モデルと関連付けられることを規定することができる。いくつかの実施形態では、要素が抽出可能モデルと関連付けられることを規定することは、ページのマークアップ言語を修正し、要素を抽出可能モデルと関連付けられるもとして指定する、特定のメタデータ（例えば、タグ、フィールド、または属性）を追加することを含む。ページが、レンダリングされるとき、メタデータは、ユーザが要素上をクリックするとき等、ユーザがアクションを実施すると、モデルの抽出を有効にする。いくつかの実施形態では、メタデータは、モデルが関連付けられる要素から抽出可能であることを示す、トグルまたはフラグ（例えば、真または偽）である。
【0014】
いくつかの実施形態では、モデルは、ページ記述子情報とともに、前もって作成および記憶され（例えば、ウェブサーバ上に）、モデルは、ユーザが、指定されるアクションを実施し、モデルを抽出すると、システムに通信されるために利用可能になる。そのような実施例では、ページに関するメタデータはまた、そこからモデルが読み出され得る、場所（例えば、モデルまでのパス）を示してもよい。いくつかの実施形態では、モデルは、ユーザが指定されるアクションを実施すると、動的に生成され、システムに通信されてもよい。そのようなインスタンスでは、動的に生成されたモデルは、モデルのための後続要求に応答して、ダウンロードのために容易に利用可能であるように、少なくともある期間にわたって、キャッシュされてもよい。いくつかの実施例では、モデルは、ページがブラウザ内にロードされると、ロードされる、かつ／または別様に、利用可能になってもよい。モデルはまた、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われた要求を通して、読み出されてもよい。ページ内の任意の好適なタイプまたは数の（例えば、２Ｄ）要素が、３Ｄモデルとして抽出可能であるものとして指定されてもよい。
【0015】
実施形態は、モデルのアクセスをトリガするために指定される、任意の好適なアクションをサポートする。例えば、アクションは、そのカーソルが要素に向いている間のトーテムボタン（例えば、トリガ）または他の制御上におけるユーザクリック（またはダブルクリック、長押し、長保持等）であってもよい。別の実施例として、アクションは、ユーザが、少なくとも閾値期間にわたって、そのカーソルを用いて、要素上にホバリングすることであってもよい。別の実施例として、アクションは、カーソルが要素に向いている間、ユーザがキーワード発話することであってもよい。他の好適なアクションもまた、サポートされてもよい。
【0016】
いくつかの実施形態では、抽出可能である要素に関して、本システムは、要素が抽出可能であることのインジケーションを提供してもよい。例えば、要素上でのカーソルホバリングは、要素の色を変化させる、または抽出能力のある他の可視インジケーションを提供してもよい。別の実施例として、要素上でのカーソルホバリングは、その完全サイズに到達するまで、モデルを要素から外に成長させ始める一方、ユーザが、そのカーソルを移動させるにつれて、移動しながら、モデルを環境に提示される別の仮想または実世界オブジェクト上に設置してもよい。
【0017】
モデルは、任意の好適なサイズまたは分解能であってもよく、所望の性能特性をシステム上で達成するように、調節されてもよい。例えば、より小さいモデルが、記憶要件、ネットワーク待ち時間、ページロード時間、および／または他の性能メトリックを低減または別様に最適化するために提供されてもよい。モデルは、２Ｄ要素の３Ｄレンダリングまたは描写であってもよい。例えば、２Ｄ要素が、オブジェクトの画像である場合、モデルは、空間コンピューティング環境に提示され得る、そのオブジェクトの３Ｄモデルであってもよい。
【0018】
要素提示およびモデル抽出は、コンピューティングシステム上で実行されるブラウザ（例えば、ウェブブラウザ）または他の好適なアプリケーション内で実施されてもよい。例えば、モデル抽出特徴は、Ｍａｇｉｃ ＬｅａｐＴＭによって提供されるＨｅｌｉｏＴＭブラウザを通して、利用可能であってもよい。
【0019】
システムは、ユーザによって装着されるために構成される、画面であって、２次元（２Ｄ）要素を表示するように構成される、画面と、ディスプレイに結合される、処理ユニットと、画面によって表示される２Ｄ要素を選択するためのユーザ入力に応答して、信号を生成するように構成される、ユーザ入力デバイスとを含み、処理ユニットは、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得するように構成される。
【0020】
随意に、ユーザ入力デバイスは、ダブルクリックアクション、長押しアクション、長保持アクション、カーソルが２Ｄ要素に向いている間のボタンの押下、閾値期間にわたる２Ｄ要素上でのボタンのホバリング、またはオーディオ入力に応答して、信号を生成するように構成される。
【0021】
随意に、２Ｄ要素は、オブジェクトを示し、３Ｄモデルは、オブジェクトの３次元バージョンである。
【0022】
随意に、３Ｄモデルは、２Ｄ要素の３Ｄレンダリングまたは３Ｄ描写である。
【0023】
随意に、本システムは、２Ｄ要素が３Ｄモデルにアクセスするように選択可能であることのインジケーションを提供するように構成される。
【0024】
随意に、画面は、視覚的情報をインジケーションとして提供するように構成される。
【0025】
随意に、視覚的情報は、２Ｄ要素の色の変化を備える。
【0026】
随意に、視覚的情報は、２Ｄ要素と関連付けて表示される、グラフィックを備える。
【0027】
随意に、視覚的情報は、カーソルの構成の変化を備える。
【0028】
随意に、視覚的情報は、２Ｄ要素から外に成長し始める３Ｄモデルの表示を備える。
【0029】
随意に、本システムは、オーディオ信号をインジケーションとして提供するように構成される。
【0030】
随意に、２Ｄ要素は、ブラウザまたはビューワ内に提示される。
【0031】
随意に、３Ｄモデルは、ページ記述子情報と関連付けて記憶される。
【0032】
随意に、２Ｄ要素は、ページの一部であって、ページに関するメタデータは、そこから３Ｄモデルが読み出されるべき場所を示す。
【0033】
随意に、２Ｄ要素は、ページの一部であって、ページのマークアップ言語は、２Ｄ要素を３Ｄモデルと関連付けられるものとして指定する、メタデータを備える。
【0034】
随意に、３Ｄモデルは、動的に生成される。
【0035】
随意に、２Ｄ要素は、ブラウザまたはビューワ内に提示されるページの一部であって、３Ｄモデルは、ページがブラウザまたはビューワ内にロードされたとき、またはその後、ロードされ、かつ／または利用可能にされる。
【0036】
随意に、処理ユニットは、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、３Ｄモデルを読み出すように構成される。
【0037】
随意に、処理ユニットは、ネットワークを介して伝送される、３Ｄモデルを受信することによって、２Ｄ要素と関連付けられる、３Ｄモデルを取得するように構成される。
【0038】
随意に、本システムはさらに、３Ｄモデルを記憶する、メモリを含み、処理ユニットは、３Ｄモデルをメモリから読み出すことによって、３Ｄモデルを取得するように構成される。
【0039】
随意に、３Ｄモデルは、本システムによって提示される環境への追加のためのものである。
【0040】
随意に、処理ユニットは、３Ｄモデルを画面を通して視認されるような環境に対して特定の場所に設置するためのコマンドを受信するように構成される。
【0041】
随意に、コマンドは、仮想オブジェクトまたは実世界オブジェクトと関連付けられる３Ｄモデルを環境に対して設置するためのカーソルの移動に基づいて生成されたカーソル位置を備える。
【0042】
随意に、画面は、ユーザが画面を通して周囲環境を視認することを可能にするために、少なくとも部分的に透明である。
【0043】
随意に、本システムは、ＭＲ、ＡＲ、またはＶＲ環境をユーザに提供するように構成される。
【0044】
方法は、ユーザによって装着されるために構成される、画面によって、２次元（２Ｄ）要素を表示することと、画面によって表示される２Ｄ要素を選択するためのユーザに入力に応答して、ユーザ入力デバイスによって生成された信号を受信することと、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得することとを含む。
【0045】
随意に、信号は、ダブルクリックアクション、長押しアクション、長保持アクション、カーソルが２Ｄ要素に向いている間のボタンの押下、閾値期間にわたる２Ｄ要素上でのボタンのホバリング、またはオーディオ入力に応答して生成される。
【0046】
随意に、２Ｄ要素は、オブジェクトを示し、３Ｄモデルは、オブジェクトの３次元バージョンである。
【0047】
随意に、３Ｄモデルは、２Ｄ要素の３Ｄレンダリングまたは３Ｄ描写である。
【0048】
随意に、本方法はさらに、２Ｄ要素が３Ｄモデルにアクセスするために選択可能であることのインジケーションを提供することを含む。
【0049】
随意に、インジケーションは、視覚的情報を備える。
【0050】
随意に、視覚的情報は、２Ｄ要素の色の変化を備える。
【0051】
随意に、視覚的情報は、２Ｄ要素と関連付けて表示される、グラフィックを備える。
【0052】
随意に、視覚的情報は、カーソルの構成の変化を備える。
【0053】
随意に、視覚的情報は、２Ｄ要素から外に成長し始める３Ｄモデルの表示を備える。
【0054】
随意に、インジケーションを提供する行為は、オーディオ信号を提供することを含む。
【0055】
随意に、２Ｄ要素は、ブラウザまたはビューワ内に提示される。
【0056】
随意に、３Ｄモデルは、ページ記述子情報と関連付けて記憶される。
【0057】
随意に、２Ｄ要素は、ページの一部であって、ページに関するメタデータは、そこから３Ｄモデルが読み出されるべき場所を示す。
【0058】
随意に、２Ｄ要素は、ページの一部であって、ページのマークアップ言語は、２Ｄ要素を３Ｄモデルと関連付けられるものとして指定する、メタデータを備える。
【0059】
随意に、３Ｄモデルは、動的に生成される。
【0060】
随意に、２Ｄ要素は、ブラウザまたはビューワ内に提示されるページの一部であって、３Ｄモデルは、ページがブラウザまたはビューワ内にロードされたとき、またはその後、ロードされ、かつ／または利用可能にされる。
【0061】
随意に、３Ｄモデルを取得する行為は、処理ユニットによって、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、３Ｄモデルを読み出すことを含む。
【0062】
随意に、２Ｄ要素と関連付けられる、３Ｄモデルを取得する行為は、ネットワークを介して伝送される、３Ｄモデルを受信することを含む。
【0063】
随意に、３Ｄモデルは、メモリ内に記憶され、３Ｄモデルを取得する行為は、３Ｄモデルをメモリから読み出すことを含む。
【0064】
随意に、３Ｄモデルは、本システムによって提示される環境への追加のためのものである。
【0065】
随意に、本方法はさらに、３Ｄモデルを画面を通して視認されるような環境に対して特定の場所に設置するコマンドを受信することを含む。
【0066】
随意に、コマンドは、仮想オブジェクトまたは実世界オブジェクトと関連付けられる３Ｄモデルを環境に対して設置するためのカーソルの移動に基づいて生成されたカーソル位置を備える。
【0067】
随意に、画面は、ユーザが画面を通して周囲環境を視認することを可能にするために、少なくとも部分的に透明である。
【0068】
随意に、本方法は、ＭＲ、ＡＲ、またはＶＲ環境をユーザに提供するように構成される、システムによって実施される。
【0069】
製品は、命令のセットを記憶する、非一過性媒体を含み、処理ユニットによるその実行は、方法を実施させ、本方法は、ユーザによって装着されるために構成される、画面によって、２次元（２Ｄ）要素を表示することと、画面によって表示される２Ｄ要素を選択するためのユーザに入力に応答して、ユーザ入力デバイスによって生成された信号を受信することと、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得することとを含む。
【0070】
本開示の付加的および他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
【図面の簡単な説明】
【0071】
図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本開示の種々の実施形態の前述および他の利点および目的を得る方法をより深く理解するために、簡単に前述された開示を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされるべきではないことを理解した上で、本開示は、付随の図面の使用を通して付加的具体性および詳細とともに説明および記載されるであろう。
【0072】
【0073】
【0074】
【0075】
【0076】
【0077】
【0078】
【0079】
【0080】
【0081】
【0082】
【0083】
【0084】
【0085】
【0086】
【0087】
【発明を実施するための形態】
【0088】
詳細な説明
本開示の種々の実施形態は、頭部装着型ビデオ画像デバイスのための入力を提供するための方法、装置、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および特許請求の範囲に説明される。
本開示の種々の実施形態は、頭部装着型ビデオ画像デバイスのための入力を提供するための方法、装置、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および特許請求の範囲に説明される。
【0089】
種々の実施形態が、図を参照して以降に説明される。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。また、図は、実施形態の説明を促進するようにのみ意図されることに留意されたい。それらは、本発明の包括的説明として、または本発明の範囲に関する限界として意図されるものではない。加えて、図示される実施形態は、示される全ての側面または利点を有する必要はない。特定の実施形態と併せて説明される側面または利点は、必ずしも、その実施形態に限定されず、そのように図示されない場合でも、またはそのように明示的に説明されない場合でも、任意の他の実施形態において実践されることができる。
【0090】
続く説明は、それを用いて本明細書に説明される実施形態が実践され得る、例証的ＶＲ、ＡＲ、および／またはＭＲシステムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム（他のタイプのＶＲ、ＡＲ、および／またはＭＲシステムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的実施例のみに限定されないことを理解されたい。
【0091】
図１－４は、種々の実施形態における、画像ディスプレイシステム１００の種々のコンポーネントを図示する。画像ディスプレイシステム１００は、画像ディスプレイデバイス１０１と、画像ディスプレイデバイスデバイス１０１のための入力を提供するための装置２００とを含む。装置２００は、下記にさらに詳細に説明されるであろう。画像ディスプレイデバイス１０１は、ＶＲデバイス、ＡＲデバイス、ＭＲデバイス、または他のタイプのディスプレイデバイスのいずれかであってもよい。画像ディスプレイデバイス１０１は、エンドユーザ５０によって装着される、フレーム構造１０２と、ディスプレイサブシステム１１０がエンドユーザ５０の眼の正面に位置付けられるように、フレーム構造１０２によって担持される、ディスプレイサブシステム１１０と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）が、エンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する）ようにフレーム構造１０２によって担持される、スピーカ１０６とを含む。ディスプレイサブシステム１１０は、エンドユーザ５０の眼に、高レベルの画質および３次元知覚を伴って、物理的現実に対する拡張として快適に知覚され得る、光パターンを提示するように設計され、かつ２次元コンテンツを提示することも可能である。ディスプレイサブシステム１１０は、単一コヒーレント場面の知覚を提供する、フレームのシーケンスを高周波数で提示する。
【0092】
図示される実施形態では、ディスプレイサブシステム１１０は、「光学シースルー」ディスプレイを採用し、それを通してユーザは、透明（または半透明）要素を介して、直接、実オブジェクトからの光を視認することができる。透明要素は、多くの場合、「コンバイナ」と称され、ディスプレイからの光を実世界のユーザのビューにわたって重畳する。この目的を達成するために、ディスプレイサブシステム１１０は、部分的に透明なディスプレイを備える。ディスプレイは、周囲環境からの直接光が、ディスプレイを通して、エンドユーザ５０の眼に伝送されるように、エンドユーザ５０の眼と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。
【0093】
図示される実施形態では、画像投影アセンブリは、光を部分的に透明なディスプレイに提供し、それによって、周囲環境からの直接光と組み合わせられ、ディスプレイからユーザの眼５０に伝送される。投影サブシステムは、光ファイバ走査ベースの投影デバイスであってもよく、ディスプレイは、その中に投影サブシステムからの走査される光が、例えば、無限遠（例えば、腕の長さ）より近い単一光学視認距離における画像、複数の離散光学視認距離または焦点面における画像、および／または立体３Ｄオブジェクトを表すために複数の視認距離または焦点面にスタックされた画像層を生産するように投入される、導波管ベースのディスプレイであってもよい。ライトフィールド内のこれらの層は、ヒト視覚サブシステムに持続的に現れるようにともに十分に近接してスタックされてもよい（すなわち、１つの層が、隣接する層の乱信号円錐域内にある）。加えて、または代替として、ピクチャ要素が、２つまたはそれを上回る層を横断して混成され、それらの層が、より疎らにスタックされる（すなわち、１つの層が隣接する層の乱信号円錐域の外側にある）場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させてもよい。ディスプレイサブシステム１１０は、単眼または両眼用であってもよい。
【0094】
画像ディスプレイデバイス１０１はまた、エンドユーザ５０の頭部５４の位置および移動および／またはエンドユーザ５０の眼位置および眼球間距離を検出するためにフレーム構造１０２に搭載される、１つまたはそれを上回るセンサ（図示せず）を含んでもよい。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）、または前述の任意の組み合わせを含んでもよい。これらのセンサの多くは、その上にそれらが添着される、フレーム１０２が、順に、ユーザの頭部、眼、および耳に実質的に固定されるという仮定に基づいて動作する。
【0095】
画像ディスプレイデバイス１０１はまた、ユーザ配向検出モジュールを含んでもよい。ユーザ配向モジュールは、エンドユーザ５０の頭部５４の瞬間位置を検出し（例えば、フレーム１０２に結合されるセンサを介して）、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測してもよい。エンドユーザ５０の頭部５４の瞬間位置を検出することは、エンドユーザ５０が見ている、具体的な実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトに関連して生成されるべき具体的な仮想オブジェクトのインジケーションを提供し、さらに、仮想オブジェクトが表示される位置のインジケーションを提供する。ユーザ配向モジュールはまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼を追跡してもよい。
【0096】
画像ディスプレイデバイス１０１はまた、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。
【0097】
画像ディスプレイデバイス１０１の制御サブシステムは、中央処理ユニット（ＣＰＵ）と、グラフィック処理ユニット（ＧＰＵ）と、１つまたはそれを上回るフレームバッファと、３次元場面データを記憶するための３次元データベースとを含んでもよい。ＣＰＵは、全体的動作を制御してもよい一方、ＧＰＵは、３次元データベース内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ内に記憶してもよい。１つまたはそれを上回る付加的集積回路は、フレームバッファの中へのフレームの読込およびそこからの読出およびディスプレイサブシステム１１０の画像投影アセンブリの動作を制御してもよい。
【0098】
画像ディスプレイデバイス１０１の種々の処理コンポーネントは、分散型サブシステム内に物理的に含有されてもよい。例えば、図１－４に図示されるように、画像ディスプレイデバイス１０１は、有線導線または無線コネクティビティ１３６等によって、ディスプレイサブシステム１１０およびセンサに動作可能に結合される、ローカル処理およびデータモジュール１３０を含んでもよい。ローカル処理およびデータモジュール１３０は、フレーム構造１０２（図１）に固定して取り付けられる、ヘルメットまたは帽子５６（図２）に固定して取り付けられる、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図３）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図４）等、種々の構成において搭載されてもよい。画像表示デバイス１０１はまた、これらの遠隔モジュール１３２、１３４が、相互に動作可能に結合され、ローカル処理およびデータモジュール１３０へのリソースとして利用可能であるように、有線導線または無線コネクティビティ１３８、１４０等によってローカル処理およびデータモジュール１３０に動作可能に結合される、遠隔処理モジュール１３２および遠隔データリポジトリ１３４を含んでもよい。
【0099】
ローカル処理およびデータモジュール１３０は、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、その両方とも、可能性として、処理または読出後に、ディスプレイサブシステム１１０への通過のために、センサから捕捉された、かつ／または、遠隔処理モジュール１３２および／または遠隔データリポジトリ１３４を使用して入手および／または処理された、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１３２は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回る比較的に強力なプロセッサまたはコントローラを備えてもよい。遠隔データリポジトリ１３４は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール１３０において実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
【0100】
上記に説明される種々のコンポーネント間の結合１３６、１３８、１４０は、ワイヤまたは光学連通を提供するための１つまたはそれを上回る有線インターフェースまたはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した、１つまたはそれを上回る無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図１－４に図示されるものと異なり得る。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。
【0101】
いくつかの実施形態では、ユーザ配向モジュールは、ローカル処理およびデータモジュール１３０内に含有される一方、ＣＰＵおよびＧＰＵは、遠隔処理モジュール内に含有される。代替実施形態では、ＣＰＵ、ＧＰＵ、またはその一部は、ローカル処理およびデータモジュール１３０内に含有されてもよい。３Ｄデータベースは、遠隔データリポジトリ１３４と関連付けられる、またはローカルで配置されることができる。
【0102】
いくつかの画像ディスプレイシステム（例えば、ＶＲシステム、ＡＲシステム、ＭＲシステム等）は、個別の深度面から生じるように現れる画像を生成するための深度面情報を内蔵する、複数の体積位相ホログラム、表面レリーフホログラム、または光誘導光学要素を使用する。換言すると、回折パターンまたは回折光学要素（「ＤＯＥ」）が、コリメートされた光（略平面波面を伴う光ビーム）が、ＬＯＥに沿って実質的に全内部反射されるにつれて、複数の場所において回折パターンと交差し、ユーザの眼に向かって出射するように、光誘導光学要素（「ＬＯＥ」、例えば、平面導波管）内に内蔵される、またはその上にインプリント／エンボス加工されてもよい。ＤＯＥは、特定の深度面から生じるように現れるように、それを通してＬＯＥから出射する光が輻輳されるように構成される。コリメートされた光は、光学集光レンズ（「集光器」）を使用して生成されてもよい。
【0103】
例えば、第１のＬＯＥは、光学無限遠深度面（０ジオプタ）から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい。別のＬＯＥは、２メートルの距離（１／２ジオプタ）から生じるように現れる、コリメートされた光を送達するように構成されてもよい。さらに別のＬＯＥは、１メートルの距離（１ジオプタ）から生じるように現れる、コリメートされた光を送達するように構成されてもよい。スタックされたＬＯＥアセンブリを使用することによって、複数の深度面が、作成され得、各ＬＯＥは、特定の深度面から生じるように現れる、画像を表示するように構成されることを理解されたい。スタックは、任意の数のＬＯＥを含んでもよいことを理解されたい。しかしながら、少なくともＮ個のスタックされたＬＯＥが、Ｎ個の深度面を生成するために要求される。さらに、Ｎ、２Ｎ、または３Ｎ個のスタックされたＬＯＥが、ＲＧＢカラー画像をＮ個の深度面に生成するために使用されてもよい。
【0104】
３Ｄ仮想コンテンツをユーザに提示するために、画像ディスプレイシステム１００（例えば、ＶＲシステム、ＡＲシステム、ＭＲシステム等）は、それらがＺ方向に（すなわち、ユーザの眼から離れるように直交して）種々の深度面から生じるように現れるように、仮想コンテンツの画像をユーザの眼の中に投影する。換言すると、仮想コンテンツは、ＸおよびＹ方向（すなわち、ユーザの眼の中心視軸に直交する、２Ｄ面）において変化し得るだけではなく、また、ユーザが、オブジェクトが、非常に近接して、または無限距離に、またはその間の任意の距離にあるように知覚し得るように、Ｚ方向においても変化するように現れ得る。他の実施形態では、ユーザは、複数のオブジェクトを、同時に、異なる深度面において知覚し得る。例えば、ユーザには、仮想ドラゴンが、無限遠から現れ、ユーザに向かって走って来るように見え得る。代替として、ユーザには、同時に、ユーザから３メートル離れた距離における仮想鳥と、ユーザから腕の長さ（約１メートル）における仮想コーヒーカップとが見え得る。
【0105】
多面焦点システムは、画像をユーザの眼からＺ方向における個別の固定距離に位置する複数の深度面のいくつかまたは全て上に投影することによって、可変深度の知覚を作成する。ここで図５を参照すると、多面焦点システムは、フレームを固定された深度面１５０（例えば、図５に示される６つの深度面１５０）に表示し得ることを理解されたい。ＭＲシステムは、任意の数の深度面１５０を含むことができるが、１つの例示的多面焦点システムは、６つの固定された深度面１５０をＺ方向に有する。仮想コンテンツを６つの深度面１５０のうちの１つまたはそれを上回るものに生成する際、３Ｄ知覚が、ユーザがユーザの眼からの可変距離における１つまたはそれを上回る仮想オブジェクトを知覚するように作成される。ヒトの眼が、遠く離れてあるように現れるオブジェクトより距離が近いオブジェクトにより敏感であることを前提として、より多くの深度面１５０が、図５に示されるように、眼のより近くに生成される。いくつかの実施形態では、深度面１５０は、相互から離れるように等距離に設置されてもよい。
【0106】
深度面位置１５０は、メートル単位で測定される焦点距離の逆数に等しい屈折力の単位である、ジオプタ単位で測定されてもよい。例えば、いくつかの実施形態では、深度面１は、１／３ジオプタ離れてもよく、深度面２は、０．３ジオプタ離れていてもよく、深度面３は、０．２ジオプタ離れていてもよく、深度面４は、０．１５ジオプタ離れていてもよく、深度面５は、０．１ジオプタ離れてもよく、深度面６は、無限遠（すなわち、０ジオプタ離れる）を表し得る。他の実施形態は、深度面１５０を他の距離／ジオプタに生成してもよいことを理解されたい。したがって、仮想コンテンツを方略的に設置された深度面１５０に生成する際、ユーザは、仮想オブジェクトを３次元で知覚することが可能である。例えば、ユーザは、別の仮想オブジェクトが深度面６における無限遠に現れる間、第１の仮想オブジェクトが深度面１内に表示されるとき、それを近くにあると知覚し得る。代替として、仮想オブジェクトは、最初に、深度面６に、次いで、深度面５に、そして、仮想オブジェクトがユーザの非常に近く現れるまでそのように続くように表示されてもよい。上記の実施例は、例証目的のために有意に簡略化されていることを理解されたい。別の実施形態では、全６つの深度面は、ユーザから離れるように特定の焦点距離上に集中されてもよい。例えば、表示されるべき仮想コンテンツが、ユーザから０．５メートル離れたコーヒーカップである場合、全６つの深度面は、コーヒーカップの種々の断面において生成され、ユーザに、コーヒーカップの高粒度の３Ｄビューを与え得る。
【0107】
いくつかの実施形態では、画像ディスプレイシステム１００（例えば、ＶＲシステム、ＡＲシステム、ＭＲシステム等）は、多面焦点システムとして機能してもよい。換言すると、全６つのＬＯＥは、６つの固定された深度面から生じるように現れる画像が、高速で連続して生成されるように、同時に照明されてもよく、光源は、画像情報をＬＯＥ１、次いで、ＬＯＥ２、次いで、ＬＯＥ３等に急速に伝達する。例えば、光学無限遠における空の画像を含む、所望の画像の一部は、時間１において投入されてもよく、光のコリメーションを留保する、ＬＯＥ（例えば、図５からの深度面６）が、利用されてもよい。次いで、より近い木の枝の画像が、時間２において投入されてもよく、１０メートル離れて深度面から生じるように現れる画像を作成するように構成される、ＬＯＥ（例えば、図５からの深度面５）が、利用されてもよい。次いで、ペンの画像が、時間３において投入されてもよく、１メートル離れて深度面から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。本タイプのパラダイムは、ユーザの眼および脳（例えば、視覚野）が入力を同一画像の全ての部分であると知覚するように、高速時間シーケンシャル（例えば、３６０Ｈｚ）方式で繰り返されることができる。
【0108】
画像ディスプレイシステム１００は、Ｚ軸（すなわち、深度面）に沿って種々の場所から生じるように現れ、３Ｄ体験／シナリオのための画像を生成する、画像を投影してもよい（すなわち、光ビームを発散または収束させることによって）。本願で使用されるように、光ビームは、限定ではないが、光源から照射される光エネルギー（可視および不可視光エネルギーを含む）の指向性投影を含む。種々の深度面から生じるように現れる、画像を生成することは、その画像のためのユーザの眼の輻輳・開散運動および遠近調節に一致し、輻輳・開散運動－遠近調節競合を最小限にまたは排除する。
【0109】
いくつかの実施形態では、画像ディスプレイシステム１００はまた、ユーザが情報を入力することを可能にする、ユーザ入力デバイスを含んでもよい。ユーザ入力デバイスは、タッチパッド、マウス、ジョイスティック、ボタン、スイッチ、ノブ、ハンドヘルドコントローラ、カメラ、深度センサ等、またはユーザのアクションを検出することが可能である、任意のデバイスであってもよい。ある場合には、ユーザ入力デバイスは、ユーザの音声を入力として検出するように構成される、マイクロホンであってもよい。また、いくつかの実施形態では、ユーザ入力デバイスは、ユーザ入力に基づいて、１つまたはそれを上回る信号を生成し、画像ディスプレイデバイス１０１によって表示される１つまたはそれを上回る要素を制御するように構成される。
【0110】
図６は、画像ディスプレイデバイス１０１が、画像ディスプレイデバイス１０１のユーザ５０を位置特定することを可能にするための、マップを決定するための方法を図示する。図に示されるように、ユーザ５０が、画像ディスプレイデバイス１０１を使用しているとき、ユーザ５０は、異なる視認場所および／または方向を達成するために、画像ディスプレイデバイス１０１を移動させることができる。例えば、ユーザ５０は、その頭部を旋回させ、その身体を旋回させ、かつ／または異なる場所に歩行し得る。いくつかの実施形態では、画像ディスプレイデバイス１０１は、前方に向いたカメラを含む。したがって、画像ディスプレイデバイス１０１を移動させることによって、画像ディスプレイデバイス１０１の前方に向いたカメラの視野は、適宜、変化するであろう。ユーザ５０が、異なる姿勢にある間、画像ディスプレイデバイス１０１のカメラは、対応する画像を生成する。図示される実施例では、ユーザ５０は、その頭部を旋回させることによって、３つの異なる姿勢を達成し、画像ディスプレイデバイス１０１の前方に向いたカメラは、３つの姿勢と対応する、３つの画像２００ａ－２００ｃを生成する。画像２００ａ－２００ｃはそれぞれ、環境内で特定のオブジェクト２０２を捕捉する。例えば、画像２００ｂは、オブジェクト２０２ａ－２０２ｄを捕捉し、画像２００ｃは、オブジェクト２０２ｂ－２０２ｅを捕捉する。ユーザ５０によって達成される姿勢に応じて、環境内のあるオブジェクトが、カメラの複数の画像２０２内に捕捉され得、ある他のオブジェクトは、１つのみの画像２００内に捕捉され得る。いくつかの実施形態では、画像ディスプレイデバイス１０１の処理ユニット１３０は、画像２００を画像ディスプレイデバイス１０１のカメラから取得し、画像処理を実施し、特徴（例えば、角、縁、ユーザ定義特徴等）を画像２００から抽出し、マップ２２０を作成するように構成される。マップ２００は、画像ディスプレイデバイス１０１の非一過性媒体内に記憶されてもよく、処理ユニット１３０によって使用され、ユーザ５０の位置特定を実施してもよい。したがって、マップ２２０は、位置特定マップとして機能する。図示される実施形態では、マップ２２０は、ユーザ５０の異なる姿勢によって検出された環境の３次元表現である。
【0111】
いくつかの実施形態では、ユーザ５０を囲繞する環境は、複数のセルに分割されてもよい。そのような場合、上記のマップ作成技法が、環境の異なるセルのために採用されてもよい。図７は、複数のセル３００に分割されている環境の実施例を図示する。各セル３００は、環境の一部を表す、定義された３次元空間である。各セル３００は、所定のサイズおよび形状を有してもよい。例えば、各セル３００は、２ｍ×２ｍの占有面積と、２ｍの高さとを有してもよい。各セル３００は、他の実施形態では、他の占有面積寸法および／または他の高さを有してもよい。また、他の実施形態では、各セル３００は、示される矩形構成を有していなくてもよく、他の形状を有してもよい。図示される実施形態では、セル３００は全て、同一形状および寸法を有する。他の実施形態では、セル３００のうちの少なくとも２つは、異なる個別の寸法および／または形状を有してもよい。
【0112】
いくつかの実施形態では、画像ディスプレイデバイス１０１のユーザ５０は、異なるセル３００に対応する環境内の異なる場所に向かってもよく、画像ディスプレイデバイス１０１のカメラを使用して、対応するセル内の空間を走査し、環境の個別のセルのための異なるマップを取得してもよい。マップは、画像ディスプレイデバイス１０１の処理ユニット１３０がユーザ５０の位置特定を実施することを可能にするために、画像ディスプレイデバイス１０１の非一過性媒体内に記憶されてもよい。
【0113】
ユーザ５０を位置特定するための位置特定マップの使用の間、画像ディスプレイデバイス１０１のカメラは、ユーザ５０のある位置および配向に基づいて、環境の画像を捕捉する。そのようなカメラ画像は、画像ディスプレイデバイス１０１の処理ユニット１３０が、ユーザ５０の位置を追跡することを可能にするための追跡画像（追跡マップ）としての役割を果たす。特に、画像ディスプレイデバイス１０１の処理ユニット１３０は、カメラからの画像を処理し、画像内の特徴（例えば、角、縁、ユーザ定義特徴等）がマップ２２０内の特徴とマッチングするかどうかを決定する。マッチングが、見出される場合、処理ユニット１３０は、次いで、マッチングされる特徴に基づいて、ユーザ５０の位置および配向を決定してもよい。いくつかの実施形態では、マップ２２０は、画像ディスプレイデバイス１０１のカメラによって提供された追跡画像より少ない情報（例えば、特徴）を含有してもよい。これは、処理ユニット１３０が、追跡画像とマップ２２０を効率的にマッチングさせることを可能にするため、有利である。また、いくつかの実施形態では、マップ２２０は、「規準マップ」と呼ばれ得る。位置特定を実施するとき、処理ユニット１３０は、特徴抽出を実施し、特徴をカメラ画像（追跡画像）から抽出し、特徴と規準マップ内のものをマッチングさせる。一実装では、処理ユニット１３０は、追跡画像と規準マップとの間の６自由度変換を見出し、ユーザ５０を位置特定するように構成される。いったんユーザ５０が、マップを使用して、その環境に対して正常に位置特定され得ると、処理ユニット１３０は、次いで、ユーザが、マップを使用して、仮想コンテンツを環境に対して設置し、仮想コンテンツを前のセッションから読み出し、仮想コンテンツを他のユーザと共有すること等を行うことを可能にし得る。
【0114】
画像ディスプレイデバイス１０１の使用の間、処理ユニット１３０は、画像ディスプレイデバイス１０１のカメラシステムによって提供される画像内の角検出を実施する必要があり得る。例えば、いくつかの実施形態では、カメラ画像を使用してマップ２２０を決定するとき、処理ユニット１３０は、これらの画像内の角を検出し得る。検出された角は、処理ユニット１３０によって、マップ２２０を構築するための特徴として利用されてもよい。代替として、または加えて、マップ２２０を決定するとき、処理ユニット１３０は、縁またはユーザ定義特徴等の他の特徴を検出してもよい。また、マップ２２０を使用して位置特定を実施するとき、処理ユニット１３０は、リアルタイム入力画像内の特徴とマップ２２０の特徴をマッチングさせる必要があり得る。故に、処理ユニット１３０は、リアルタイム入力画像内で角、縁、ユーザ定義特徴等の特徴を検出するように構成されてもよい。角は、角が、概して、異なる視認方向から検出可能であるという意味において、概して、より安定した特徴である。故に、画像内の角の検出能力は、視点の変化によって有意に影響され得ない。したがって、角は、入力画像とマップ２２０との間でマッチングさせるための良好な特徴である。角はまた、異なる時間および異なる視認方向で生成された画像間のステレオマッチングにおいて使用するための良好な特徴である。
【0115】
２Ｄ要素の３Ｄモデル
【0116】
図８は、いくつかの実施形態による、画像ディスプレイデバイス１０１の処理ユニット１３０を図示する。図に示されるように、処理ユニット１３０は、ユーザ入力インターフェース４１０と、通信デバイス４２０と、グラフィック生成器４３０と、非一過性媒体４５０と、位置入力インターフェース４６０とを含む。ユーザ入力インターフェース４１０は、ユーザ入力デバイスから伝送される、ユーザ入力を受信するように構成される。
【0117】
ユーザ入力インターフェース４１０は、ユーザ入力デバイスとインターフェースをとるように構成される。非限定的実施例として、ユーザ入力デバイスは、タッチスクリーン、タッチパッド、マウス、ジョイスティック、１つまたはそれを上回るボタン、キーボード、ノブ、ハンドヘルドコントローラ、マイクロホン、カメラ、深度センサ、またはユーザ入力を検出するように構成される、任意のデバイスであってもよい。ユーザ入力デバイスは、ユーザ入力（例えば、ユーザのアクション、ユーザのジェスチャ、オーディオコマンド等）を検出し、検出されたユーザ入力に応答して、信号を生成するように構成される。信号は、次いで、ユーザ入力インターフェース４１０を介して、処理ユニット１３０に伝送される。
【0118】
他の実施形態では、ユーザ入力インターフェース４１０は、処理ユニット１３０の外側に実装されてもよい。そのような場合、処理ユニット１３０は、ユーザ入力インターフェース４１０を含まない。
【0119】
通信デバイス４２０は、別のデバイス（例えば、画像ディスプレイデバイスのコンポーネント、サーバ、基地局、遠隔コンピューティングデバイス等）から伝送される、データを受信するように構成される。データの伝送は、無線伝送および／または有線伝送であってもよい。いくつかの実施形態では、通信デバイス４２０は、データを無線で受信するように構成される、送受信機および／またはアンテナであってもよい。他の実施形態では、通信デバイス４２０は、ケーブルを介して、データを受信するように構成される、通信ポート（例えば、コネクタ）であってもよい。さらなる実施形態では、通信デバイス４２０は、無線で、またはケーブルを介して、別のデバイス（例えば、コンポーネント）から伝送される、データを受信するように構成される、任意の通信インターフェース（例えば、ソフトウェア通信インターフェースおよび／またはハードウェア通信インターフェース）であってもよい。また、いくつかの実施形態では、通信デバイス４２０は、画面４８０によって表示されるべき要素に関するデータを取得してもよい。画面４８０によって表示されるべき要素は、いくつかの実施形態では、２Ｄ要素（例えば、オブジェクトの画像）であってもよい。非限定的実施例として、オブジェクトの画像は、オブジェクトの写真、コンピュータ生成画像、ページ（例えば、ウェブページ）のコンテンツ、またはユーザに視覚的に提示され得る、任意のコンテンツであってもよい。また、いくつかの実施形態では、表示されるべき要素に関するデータは、２Ｄ要素（例えば、画像データ）と関連付けられる、３Ｄモデルに関する情報であってもよい。３Ｄモデルに関する情報は、３Ｄモデル自体のデータ、そこから３Ｄモデルが読み出され得るアドレス、３Ｄモデルのメモリ記憶場所、またはそこから３Ｄモデルが導出され得る、任意のデータであってもよい。
【0120】
他の実施形態では、通信デバイス４２０は、処理ユニット１３０の外側に実装されてもよい。そのような場合、処理ユニット１３０は、通信デバイス４２０を含まない。
【0121】
グラフィック生成器４３０は、画面４８０による表示のためのグラフィックを生成するように構成される。いくつかの実施形態では、グラフィック生成器４３０は、通信デバイス４２０によって受信されたデータに基づいて、グラフィック（例えば、１つまたはそれを上回る２Ｄ要素）を生成してもよく、画面４８０による表示のために、グラフィックを出力してもよい。代替として、または加えて、グラフィック生成器４３０はまた、データを非一過性媒体４５０から読み出し、読み出されたデータに基づいて、グラフィックを生成してもよい。また、いくつかの実施形態では、グラフィック生成器４３０は、３Ｄモデルを取得してもよく、３Ｄモデルに基づいて、グラフィックを生成してもよい（画面４８０による表示のために）。３Ｄモデルは、通信デバイス４２０を介して、処理ユニット１３０によって取得されてもよく、かつ／または処理ユニット１３０がそれを非一過性媒体４５０から読み出すことによって取得されてもよい。本明細書で使用されるように、用語「３Ｄモデル」は、オブジェクトの３Ｄ構成、オブジェクトの３Ｄ表現、３Ｄオブジェクト自体、またはオブジェクトの３Ｄ構成または３Ｄ表現に関する情報を表す、またはそれを導出するために使用され得る、任意のデータを指し得ることに留意されたい。例えば、いくつかの実施形態では、３Ｄモデルは、オブジェクトの形状および幾何学形状に関連するデータを含んでもよい。
【0122】
非一過性媒体４５０は、処理ユニット１３０の動作および／または機能性に関連する情報を記憶するように構成される。いくつかの実施形態では、通信デバイス４２０から受信されたデータは、非一過性媒体４５０内に記憶されてもよい。非一過性媒体４５０内に記憶されるデータは、画面４８０による表示のために、グラフィック生成器４３０によって処理され、グラフィックを生成し得る、コンテンツデータであってもよい。非一過性媒体４５０はまた、２Ｄ要素と関連付けられる、３Ｄモデルに関する情報を記憶してもよい。非一過性媒体４５０内に記憶される、３Ｄモデルに関する情報は、３Ｄモデル自体のデータ、そこから３Ｄモデルが読み出され得るアドレス、３Ｄモデルのメモリ記憶場所、またはそこから３Ｄモデルが導出され得る、任意のデータであってもよい。非一過性媒体４５０は、キャッシュ、メモリユニット、レジスタ、またはデータを一時的に（例えば、処理ユニット１３０の動作の間または使用の間）またはより長期にわたって（例えば、デバイスがオフにされるときでも、データを記憶する）記憶することが可能である、任意の記憶デバイスであってもよい。
【0123】
他の実施形態では、非一過性媒体４５０は、処理ユニット１３０の外側に実装されてもよい。そのような場合、処理ユニット１３０は、非一過性媒体４５０を含まない。
【0124】
位置入力インターフェース４６０は、ユーザの場所および／または配向に関する情報を受信するように構成される。いくつかの実施形態では、位置入力インターフェース４６０は、位置特定センサ（例えば、ＧＰＳデバイス）および／または配向センサ（例えば、加速度計、ジャイロスコープ等）とインターフェースをとるように構成されてもよい。位置入力インターフェース４６０は、ユーザの場所および／または配向に関する情報を取得し、情報をグラフィック生成器４３０に伝送する。そのような場合、グラフィック生成器４３０は、ユーザの場所および／または配向に関する情報に基づいて、グラフィックを生成するように構成されてもよい。例えば、グラフィック生成器４３０は、ユーザの場所および配向に基づいて、オブジェクトのビューを表す、グラフィックを生成するように構成されてもよい。そのような場合、ユーザがその周囲環境に対して移動するにつれて、グラフィック生成器４３０は、グラフィックを調節し、オブジェクトのビューがユーザの場所および／または配向に従って変化する、外観を提供してもよい。ユーザの場所および／または配向に関する情報に基づいて、グラフィックを生成することの代替として、またはそれに加え、位置入力インターフェース４６０は、記憶のために、ユーザの場所および／または配向に関する情報を非一過性媒体４５０に伝送してもよい。
【0125】
他の実施形態では、位置入力インターフェース４６０は、処理ユニット１３０の外側に実装されてもよい。そのような場合、処理ユニット１３０は、位置入力インターフェース４６０を含まない。
【0126】
処理ユニット１３０の１つまたはそれを上回るコンポーネントは、ハードウェア、ソフトウェア、または両方の組み合わせを使用して実装されてもよい。特に、ユーザ入力インターフェース４１０、通信デバイス４２０、グラフィック生成器４３０、位置入力インターフェース４６０、または前述の任意の組み合わせは、ハードウェア、ソフトウェア、または両方の組み合わせを使用して実装されてもよい。ハードウェアは、導体、集積回路、１つまたはそれを上回るハードウェアプロセッサ等を含んでもよい。ソフトウェアは、スクリプト、コマンド、アプリケーション、プログラム等の任意のコーディングを含んでもよい。
【0127】
画像ディスプレイデバイス１０１の使用の間、処理ユニット１３０は、通信デバイス４２０を介して、データを取得する。データは、サーバ、クラウドコンピューティングシステム、基地局、または直接または間接的に、画像ディスプレイデバイス１０１と通信し得る、他のデバイスのいずれか等の任意のデバイスから伝送されてもよい。いくつかの実施形態では、通信デバイス４２０は、１つまたはそれを上回る２Ｄ要素に関するデータを取得してもよい。グラフィック生成器４３０は、１つまたはそれを上回る２Ｄ要素に関するデータに基づいて、グラフィックを生成し、画面４８０による表示のために、グラフィックを出力する。図９Ａは、画像ディスプレイデバイスの画面９０２によって提示される、２Ｄ要素の実施例を図示する。画面９０２は、画面４８０の実施例（例えば、ディスプレイサブシステム１１０）であってもよい。図示される実施例では、画面９０２は、画像ディスプレイデバイスのユーザによって装着されるために構成される。画面９０２は、少なくとも部分的に、透明であって、ユーザがその周囲環境を視認することを可能にする。図に示されるように、ユーザには、画面９０２を通して、テーブル９２０がその周囲環境内に見え得る。テーブル９２０は、実際の物理的オブジェクトである。他の実施形態では、画面９０２は、透明ではなく、ユーザは、画面を通して、周囲環境を視認することができない。画面９０２はまた、ユーザによって視認するためのグラフィック（例えば、オブジェクト画像）である、２Ｄ要素９０４、９０６、９０８を表示する。画面９０２はさらに、カーソル９１０を表示し、これは、ユーザ入力デバイスを介して、ユーザによって制御可能である。
【0128】
図９Ｂに示されるように、ユーザは、ユーザ入力デバイスを動作させ、カーソル９１０が２Ｄ要素９０６（図示される実施例では、携帯電話の画像である）に向いているように、カーソル９１０を移動させてもよい。カーソル９１０が２Ｄ要素９０６に対して関連付けられる位置にあることに応答して、処理ユニット１３０は、次いで、画面９０２による表示のために、（例えば、グラフィック生成器４３０によって生成された）インジケータ９３０を提供する。インジケータ９３０は、ユーザに、２Ｄ要素９０６は、読み出され得る、関連付けられる３Ｄモデルを有することを示す。ユーザが、２Ｄ要素９０６（例えば、２Ｄ要素９０６上をダブルクリックすることによって、長押しすることによって、オーディオコマンドを提供することによって等）を選択する場合、処理ユニット１３０は、次いで、２Ｄ要素９０６と関連付けられる、３Ｄモデルを取得する。いくつかの実施形態では、処理ユニット１３０は、モデルを取得する、例えば、モデルを非一過性媒体から読み出し、かつ／または３Ｄモデルパラメータに基づいて、３Ｄモデルを生成するように構成される、３Ｄモデル抽出器を含んでもよい。また、いくつかの実施形態では、３Ｄモデル抽出器は、グラフィック生成器４３０の一部として実装されてもよい。他の実施形態では、３Ｄモデル抽出器は、グラフィック生成器４３０と別個である、別個のコンポーネントとして実装されてもよい。例えば、そのような場合、３Ｄモデル抽出器は、ユーザ入力インターフェース４１０とグラフィック生成器４３０との間に結合されてもよい。使用の間、ユーザ入力インターフェースからの入力に基づいて、３Ｄモデル抽出器は、３Ｄモデルを取得し、３Ｄモデルに基づいて、グラフィックを生成するために、それをグラフィック生成器４３０に通過させる。３Ｄモデル抽出器はまた、通信デバイス４２０を介して、情報（例えば、３Ｄモデル、３Ｄモデルパラメータ等）を外部デバイスから受信し得るように、通信デバイス４２０に結合されてもよい。
【0129】
いくつかの実施形態では、処理ユニット１３０は、画面９０２による表示のために、アクセスされる３Ｄモデルに基づいて、グラフィック（例えば、表示されるオブジェクト）を提供するように構成される。例えば、図９Ｃに示されるように、グラフィックは、３Ｄモデルに基づいてレンダリングされる、オブジェクト９５０であってもよい。いくつかの実施形態では、オブジェクト９５０は、ユーザによって選択された２Ｄオブジェクト９０６の３Ｄバージョンであってもよい。いくつかの実施形態では、オブジェクト９５０は、３Ｄモデルに基づいて、処理ユニット１３０によって生成されてもよい。また、いくつかの実施形態では、３Ｄモデルに基づいて生成されたオブジェクト９５０は、３Ｄモデル自体であってもよい。
【0130】
また、いくつかの実施形態では、３Ｄモデルが取得された後、ユーザは、３Ｄモデルに基づいて、オブジェクト９５０を位置付け（例えば、１つまたはそれを上回る方向に）、かつ／またはオブジェクト９５０を回転させてもよい（例えば、１つまたはそれを上回る軸を中心として）。例えば、図９Ｃ－９Ｄに示されるように、ユーザは、カーソル９１０を使用して、オブジェクト９５０を選択し、オブジェクト９５０を画面９０２を通して視認されるような環境に対して特定の場所に移動させてもよい。ユーザはまた、ユーザ入力デバイスを動作させ、回転軸を定義し、オブジェクト９５０を回転させてもよい。オブジェクト９５０の回転を定める、（ユーザ入力デバイスから受信された）信号に応答して、グラフィック生成器は、オブジェクト９５０の配向が変化されるように、３Ｄモデルに基づいて、オブジェクト９５０をレンダリングする。図示される実施例では、オブジェクト９５０は、オブジェクト９５０がオブジェクト９２０の上部に設置されるように現れるように、画面９０２を通して視認される際、実オブジェクト９２０（実施例では、テーブル）に対して位置付けられる。他の実施形態では、オブジェクト５２０は、実オブジェクトの背後に仮想的に設置されてもよい。また、他の実施形態では、オブジェクト５２０は、別の仮想オブジェクトの正面に、または別の仮想オブジェクトの背後に、設置されてもよい。いくつかの実施形態では、ユーザは、ユーザ入力デバイスを動作させ、オブジェクトを別のオブジェクト（仮想オブジェクトまたは実オブジェクトであってもよい）の背後または正面に設置するかどうかを選択してもよい。
【0131】
いくつかの実施形態では、処理ユニット１３０は、以下の動作、すなわち、コンピューティングシステム上で実行されるアプリケーション（例えば、ブラウザ）によって提示される（例えば、２Ｄ）要素を識別する、コマンド（例えば、長保持）を受信することであって、コマンドは、要素と関連付けられる（例えば、３Ｄ）モデルへのアクセスを要求する、ことと、コマンドに応答して、コンピューティングシステムによって提示される環境への追加のために、モデルを提供することと、１つまたはそれを上回る付加的コマンドを受信し、モデルを環境内の位置に（例えば、環境内の実世界または仮想オブジェクト上またはその近くに）設置することとのうちの１つまたはそれを上回るものを、任意の好適な順序において、および／または順次または並列に実施されるように、実施するように構成されてもよい。
【0132】
上記の実施例では、２Ｄ要素９０４、９０６、９０８は、ユーザによる選択のために、グラフィカルオブジェクトとして画面９０２内に提示される。他の実施形態では、２Ｄ要素は、ウェブページ等のページに提示される、任意の特徴であってもよい。図９Ｅは、２Ｄ要素９６０、９６２を含む、ページの実施例を図示する。図示される実施例では、ページは、ウェブページであって、２Ｄ要素９６０、９６２は、ウェブページに提示されるコンテンツである。２Ｄ要素９６０、９６２は、ユーザが、対応する２Ｄ要素９６０、９６２を選択することによって、そのようなモデルを読み出し得るように、個別の３Ｄモデルと関連付けられる。２Ｄ要素９６０、９６２のうちの１つが、ユーザによって選択されると、処理ユニット１３０は、対応する３Ｄモデルを取得し、３Ｄモデルに基づいて、グラフィックを提供する。いくつかの実施形態では、グラフィックは、画面９０２による表示のための選択された２Ｄ要素の３Ｄバージョンであってもよい。例えば、グラフィックは、３Ｄモデルに基づいてレンダリングされたオブジェクトであってもよい。処理ユニット１３０はまた、オブジェクト（選択された２Ｄ要素の３Ｄバージョン）を設置するための所望の位置を示す、入力をユーザから受信してもよい。所望の位置は、画面９０２の座標系に対する場所、および／または画面９０２を通して提示される際、オブジェクトを別のオブジェクト（例えば、仮想オブジェクトまたは実オブジェクト）の正面または背後に設置するかどうかを示してもよい。処理ユニット１３０のグラフィック生成器４３０は、次いで、対応するグラフィックを生成し、オブジェクトの移動および設置を示す。例えば、オブジェクト（２Ｄ要素の３Ｄバージョン）が、ユーザによって、実オブジェクトの「背後」に仮想的に設置されるように事前に規定される場合、グラフィック生成器４３０は、次いで、実オブジェクトの背後にあるように現れるように、オブジェクトの画像を構成してもよい（例えば、実オブジェクトによる視野内で遮断される、その一部を除去する）。
【0133】
処理ユニット１３０はまた、（３Ｄモデルに基づいて生成された）オブジェクトの所望の配向を示す、入力をユーザから受信してもよい。例えば、ユーザは、ユーザ入力デバイスを動作させ、ディスプレイデバイス１０１によって提示される際、オブジェクトを環境に対して回転させてもよい。ユーザ入力デバイスは、対応するユーザ入力信号を生成し、これは、ユーザ入力インターフェース４１０を介して、処理ユニット１３０によって受信される。グラフィック生成器４３０は、次いで、ディスプレイデバイス１０１によって提示される際、オブジェクトが環境に対して回転されるように、オブジェクトを調節する。
【0134】
処理ユニット１３０は、ユーザの場所および／または配向に基づいて、（３Ｄモデルに基づいて生成された）オブジェクトを繰り返し更新してもよい。特に、ユーザの場所および／または配向に関する情報は、位置入力インターフェース４６０によって受信されてもよい。そのような情報および３Ｄモデルに基づいて、グラフィック生成器４３０は、次いで、オブジェクト上の視認目線がユーザの視認方向と対応して変化するように現れるように、オブジェクトを調節してもよい。
【0135】
いくつかの実施形態では、ページの開発者（図９Ｅのページの実施例等）は、要素のモデルが、ユーザによって読み出され、提示される環境内のいずれかの場所に設置され得るように、要素（例えば、要素９６０／９６２）が抽出可能モデル（例えば、３Ｄモデル）と関連付けられることを規定することができる。いくつかの実施形態では、要素が抽出可能モデルと関連付けられることを規定することは、ページのマークアップ言語を修正し、要素を抽出可能モデルと関連付けられるものとして指定する、特定のメタデータ（例えば、タグ、フィールド、または属性）を追加することを含む。ページが、レンダリングされると、メタデータは、ユーザが要素上をクリックするとき等、ユーザがアクションを実施すると、モデルの抽出を有効にする。いくつかの実施形態では、メタデータは、モデルが関連付けられる要素から抽出可能であることを示す、トグルまたはフラグ（例えば、真または偽）である。
【0136】
いくつかの実施形態では、モデルは、ページ記述子情報とともに、前もって作成および記憶され（例えば、ウェブサーバ上に）、モデルは、ユーザがモデルを抽出するための指定されるアクションを実施すると、利用可能となり、システムに通信される。そのような実施例では、ページに関するメタデータはまた、そこからモデルが読み出され得る、場所（例えば、モデルまでのパス）を示してもよい。いくつかの実施形態では、モデルは、ユーザが指定されたアクションを実施すると、動的に生成され、システムに通信されてもよい。そのようなインスタンスでは、動的に生成されたモデルは、モデルのための後続要求に応答して、ダウンロードのために容易に利用可能であるために、少なくともある期間にわたって、キャッシュされてもよい。いくつかの実施例では、モデルは、ページがブラウザ内にロードされると、ロードされ、かつ／または別様に利用可能になってもよい。モデルはまた、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、読み出されてもよい。ページ内の任意の好適なタイプまたは数の（例えば、２Ｄ）要素が、３Ｄモデルとして抽出可能であるものとして指定されてもよい。
【0137】
いくつかの実施形態では、３Ｄモデルは、それらが１つまたはそれを上回るＨＴＭＬ要素のためにアクセス可能であるように、ＨＴＭＬ要素のために実装されてもよい。図１０Ａ－１０Ｂは、ＨＴＭＬ要素と関連付けられる、３Ｄモデルの１つまたはそれを上回る実施形態の実装の実施例を図示する。
【0138】
処理ユニットおよび／または処理ユニット内のアプリケーションによって実施される方法
【0139】
図１１は、いくつかの実施形態による、方法１１００を図示する。方法１０００は、ユーザによって頭部に装着されるために構成される、装置によって実施されてもよく、装置は、ユーザのためにグラフィックを提示するように構成される、画面と、処理ユニットとを有する。いくつかの実施形態では、方法１１００は、図１－４に示される画像ディスプレイデバイス１０１のいずれかによって実施されてもよい。例えば、方法１１００は、画像ディスプレイデバイス１０１の処理ユニット１３０によって実施されてもよい。方法１１００は、ユーザによって装着されるために構成される、画面によって、２次元（２Ｄ）要素を表示すること（アイテム１１０２）と、画面によって表示される２Ｄ要素を選択するためのユーザに入力に応答して、ユーザ入力デバイスによって生成された信号を受信すること（アイテム１１０４）と、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得すること（アイテム１１０６）とを含む。
【0140】
随意に、方法１１００では、信号は、ダブルクリックアクション、長押しアクション、長保持アクション、カーソルが２Ｄ要素に向いている間のボタンの押下、閾値期間にわたる２Ｄ要素上でのボタンのホバリング、またはオーディオ入力に応答して生成される。
【0141】
随意に、方法１１００では、２Ｄ要素は、オブジェクトを示し、３Ｄモデルは、オブジェクトの３次元バージョンである。
【0142】
随意に、方法１１００では、３Ｄモデルは、２Ｄ要素の３Ｄレンダリングまたは３Ｄ描写である。
【0143】
随意に、方法１１００はさらに、２Ｄ要素が３Ｄモデルにアクセスするために選択可能であることのインジケーションを提供することを含む。
【0144】
随意に、方法１１００では、インジケーションは、視覚的情報を備える。
【0145】
アイテム３２：本方法では、視覚的情報は、２Ｄ要素の色の変化を備える。
【0146】
随意に、方法１１００では、視覚的情報は、２Ｄ要素と関連付けて表示される、グラフィックを備える。
【0147】
随意に、方法１１００では、視覚的情報は、カーソルの構成の変化を備える。
【0148】
随意に、方法１１００では、視覚的情報は、２Ｄ要素から外に成長し始める３Ｄモデルの表示を備える。
【0149】
随意に、方法１１００では、インジケーションを提供する行為は、オーディオ信号を提供することを含む。
【0150】
随意に、方法１１００では、２Ｄ要素は、ブラウザまたはビューワ内に提示される。
【0151】
随意に、方法１１００では、３Ｄモデルは、ページ記述子情報と関連付けて記憶される。
【0152】
随意に、方法１１００では、２Ｄ要素は、ページの一部であって、ページに関するメタデータは、そこから３Ｄモデルが読み出されるべき場所を示す。
【0153】
随意に、方法１１００では、２Ｄ要素は、ページの一部であって、ページのマークアップ言語は、２Ｄ要素を３Ｄモデルと関連付けられるものとして指定する、メタデータを備える。
【0154】
随意に、方法１１００では、３Ｄモデルは、動的に生成される。
【0155】
随意に、方法１１００では、２Ｄ要素は、ブラウザまたはビューワ内に提示されるページの一部であって、３Ｄモデルは、ページがブラウザまたはビューワ内にロードされたとき、またはその後、ロードされ、かつ／または利用可能にされる。
【0156】
随意に、方法１１００では、３Ｄモデルを取得する行為は、処理ユニットによって、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、３Ｄモデルを読み出すことを含む。
【0157】
随意に、方法１１００では、２Ｄ要素と関連付けられる、３Ｄモデルを取得する行為は、ネットワークを介して伝送される、３Ｄモデルを受信することを含む。
【0158】
随意に、方法１１００では、３Ｄモデルは、メモリ内に記憶され、３Ｄモデルを取得する行為は、３Ｄモデルをメモリから読み出すことを含む。
【0159】
随意に、方法１１００では、３Ｄモデルは、本システムによって提示される環境への追加のためのものである。
【0160】
随意に、方法１１００はさらに、３Ｄモデルを画面を通して視認されるような環境に対して特定の場所に設置するコマンドを受信することを含む。
【0161】
随意に、方法１１００では、コマンドは、仮想オブジェクトまたは実世界オブジェクトと関連付けられる３Ｄモデルを環境に対して設置するためのカーソルの移動に基づいて生成されたカーソル位置を備える。
【0162】
随意に、方法１１００では、画面は、ユーザが画面を通して周囲環境を視認することを可能にするために、少なくとも部分的に透明である。
【0163】
随意に、方法１１００は、ＭＲ、ＡＲ、またはＶＲ環境をユーザに提供するように構成される、システムによって実施される。
【0164】
特殊処理システム
【0165】
いくつかの実施形態では、本明細書に説明される方法１１００は、アプリケーションを実行する処理ユニット１３０によって、またはアプリケーションによって、実施されてもよい。アプリケーションは、命令のセットを含有してもよい。１つの実装では、アプリケーションのための命令のセットを記憶する非一過性媒体を有する、特殊処理システムが、提供されてもよい。画像ディスプレイデバイス１０１の処理ユニット１３０による命令の実行は、処理ユニット１３０に、本明細書に説明される特徴を実施させるであろう。例えば、いくつかの実施形態では、頭部装着型画像ディスプレイデバイスの処理ユニット１３０による命令の実行は、方法１１００を実施させるであろう。他の実施形態では、他のタイプの画像ディスプレイデバイス（例えば、コンピュータ、ラップトップ、タブレット、携帯電話等）も、方法１１００を実施させるための命令を実行するように構成されてもよい。
【0166】
いくつかの実施形態では、画像ディスプレイデバイス１０１はまた、特殊処理システムと見なされ得る。特に、画像ディスプレイデバイス１０１は、一意の有形効果を実世界内で提供するための処理ユニット１３０による実行のために、その非一過性媒体内に記憶される命令を含有するという点で、特殊処理システムである。画像ディスプレイデバイス１０１によって提供される特徴（処理ユニット１３０が命令を実行する結果として）は、それらがこれらのタイプのデバイスを使用する際、ユーザの体験を向上させるため、ＭＲ、ＶＲ、およびＡＲデバイスのための改良を提供する。
【0167】
図１２は、本明細書に説明される種々の特徴を実装するために使用され得る、特殊処理システム１６００の実施形態を図示する、ブロック図である。例えば、いくつかの実施形態では、処理システム１６００は、画像ディスプレイデバイス１０１を実装するために使用されてもよい。また、いくつかの実施形態では、処理システム１６００は、処理ユニット１３０またはその中の１つまたはそれを上回るコンポーネント（例えば、ユーザ入力インターフェース４１０、通信デバイス４２０、グラフィック生成器４３０、非一過性媒体４５０、位置入力インターフェース４６０等）を実装するために使用されてもよい。
【0168】
処理システム１６００は、バス１６０２または情報を通信するための他の通信機構と、情報を処理するためにバス１６０２と結合される、プロセッサ１６０４とを含む。プロセッサシステム１６００はまた、情報およびプロセッサ１６０４によって実行されるべき命令を記憶するためにバス１６０２に結合される、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶デバイス等のメインメモリ１６０６を含む。メインメモリ１６０６はまた、プロセッサ１６０４によって実行されるべき命令の実行の間、一時的変数または他の中間情報を記憶するために使用されてもよい。プロセッサシステム１６００はさらに、静的情報およびプロセッサ１６０４のための命令を記憶するためにバス１６０２に結合される、読取専用メモリ（ＲＯＭ）１６０８または他の静的記憶デバイスを含む。磁気ディスク、ソリッドステートディスク、または光ディスク等のデータ記憶デバイス１６１０が、提供され、情報および命令を記憶するためにバス１６０２に結合される。
【0169】
プロセッサシステム１６００は、情報をユーザに表示するために、バス１６０２を介して、画面等のディスプレイ１６１２に結合されてもよい。ある場合には、処理システム１６００が、タッチスクリーンを含む、装置の一部である場合、ディスプレイ１６１２は、タッチスクリーンであってもよい。英数字および他のキーを含む、入力デバイス１６１４が、情報およびコマンド選択をプロセッサ１６０４に通信するために、バス１６０２に結合される。別のタイプのユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ１６０４に通信するための、かつディスプレイ１６１２上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キー等のカーソル制御１６１６である。本入力デバイスは、典型的には、デバイスが平面内の位置を規定することを可能にする、２つの軸、すなわち、第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）における２自由度を有する。ある場合には、処理システム１６００が、タッチスクリーンを含む、装置の一部である場合、入力デバイス１６１４およびカーソル制御は、タッチスクリーンであってもよい。
【0170】
いくつかの実施形態では、プロセッサシステム１６００は、本明細書に説明される種々の機能を実施するために使用されることができる。いくつかの実施形態によると、そのような使用は、プロセッサ１６０４がメインメモリ１６０６内に含有される１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行することに応答して、プロセッサシステム１６００によって提供される。当業者は、本明細書に説明される機能および方法に基づいて、そのような命令を準備する方法を把握するであろう。そのような命令は、記憶デバイス１６１０等の別のプロセッサ可読媒体からメインメモリ１６０６の中に読み込まれてもよい。メインメモリ１６０６内に含有される命令のシーケンスの実行は、プロセッサ１６０４に、本明細書に説明されるプロセスステップを実施させる。マルチ処理配列における１つまたはそれを上回るプロセッサもまた、メインメモリ１６０６内に含有される命令のシーケンスを実行するために採用されてもよい。代替実施形態では、有線回路構成が、ソフトウェア命令の代わりに、またはそれと組み合わせて、本明細書に説明される種々の実施形態を実装するために使用されてもよい。したがって、実施形態は、ハードウェア回路構成とソフトウェアの任意の具体的組み合わせに限定されない。
【0171】
用語「プロセッサ可読媒体」は、本明細書で使用されるように、命令を実行のためにプロセッサ１６０４に提供することに関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス１６１０等の光学、ソリッドステート、または磁気ディスクを含む。不揮発性媒体は、非一過性媒体の実施例と見なされ得る。揮発性媒体は、メインメモリ１６０６等の動的メモリを含む。揮発性媒体は、非一過性媒体の実施例と見なされ得る。伝送媒体は、バス１６０２を備えるワイヤを含む、同軸ケーブル、銅ワイヤ、および光ファイバを含む。伝送媒体はまた、無線波および赤外線データ通信の間に生成されるもの等の音響または光波の形態をとることができる。
【0172】
一般的形態のプロセッサ可読媒体は、例えば、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ソリッドステートディスク、任意の他のメモリチップまたはカートリッジ、以降に説明されるような搬送波、またはそこからプロセッサが読み取り得る、任意の他の媒体を含む。
【0173】
種々の形態のプロセッサ可読媒体が、実行のために、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスをプロセッサ１６０４に搬送する際に関わり得る。例えば、命令は、最初に、遠隔コンピュータの磁気ディスクまたはソリッドステートディスク上で搬送され得る。遠隔コンピュータは、命令をその動的メモリの中にロードし、インターネット等のネットワークを経由して、命令を送信することができる。処理システム１６００は、ネットワークラインに関するデータを受信することができる。バス１６０２は、データをメインメモリ１６０６に搬送し、そこから、プロセッサ１６０４は、命令を読み出し、実行する。メインメモリ１６０６によって受信された命令は、随意に、プロセッサ１６０４による実行の前または後のいずれかにおいて、記憶デバイス１６１０上に記憶され得る。
【0174】
処理システム１６００はまた、バス１６０２に結合される、通信インターフェース１６１８を含む。通信インターフェース１６１８は、ローカルネットワーク１６２２に接続される、ネットワークリンク１６２０への双方向データ通信結合を提供する。例えば、通信インターフェース１６１８は、データ通信接続を互換性があるＬＡＮに提供するためのローカルエリアネットワーク（ＬＡＮ）カードであってもよい。無線リンクもまた、実装されてもよい。任意のそのような実装では、通信インターフェース１６１８は、種々のタイプの情報を表すデータストリームを搬送する、電気、電磁、または光学信号を送信および受信する。
【0175】
ネットワークリンク１６２０は、典型的には、１つまたはそれを上回るネットワークを通して、データ通信を他のデバイスに提供する。例えば、ネットワークリンク１６２０は、ローカルネットワーク１６２２を通して、接続をホストコンピュータ１６２４または機器１６２６に提供してもよい。ネットワークリンク１６２０を経由してトランスポートされるデータストリームは、電気、電磁、または光学信号を含むことができる。種々のネットワークを通した信号、およびネットワークリンク１６２０上、および処理システム１６００におよびそこからデータを搬送する、通信インターフェース１６１８を通した信号は、情報をトランスポートする搬送波の例示的形態である。処理システム１６００は、ネットワーク、ネットワークリンク１６２０、および通信インターフェース１６１８を通して、メッセージを送信し、プログラムコードを含む、データを受信することができる。
【0176】
用語「画像」は、本明細書で使用されるように、表示される画像および／または表示形態ではない画像（例えば、媒体内に記憶されている、または処理中の画像または画像データ）を指し得ることに留意されたい。
【0177】
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
【0178】
加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）が、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
【0179】
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。さらに、任意の請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
【0180】
加えて、本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。
【0181】
本開示の範疇は、提供される実施例および／または本明細書に限定されるべきではなく、むしろ、本開示と関連付けられる請求項の用語の範囲のみによって限定されるべきである。
【0182】
以下のアイテムは、本明細書に説明される１つまたはそれを上回る実施形態の例示的特徴である。
【0183】
システムは、ユーザによって装着されるために構成される、画面であって、２次元（２Ｄ）要素を表示するように構成される、画面と、ディスプレイに結合される、処理ユニットと、画面によって表示される２Ｄ要素を選択するためのユーザ入力に応答して、信号を生成するように構成される、ユーザ入力デバイスとを含み、処理ユニットは、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得するように構成される。
【0184】
アイテム２：本システムでは、ユーザ入力デバイスは、ダブルクリックアクション、長押しアクション、長保持アクション、カーソルが２Ｄ要素に向いている間のボタンの押下、閾値期間にわたる２Ｄ要素上でのボタンのホバリング、またはオーディオ入力に応答して、信号を生成するように構成される。
【0185】
アイテム３：本システムでは、２Ｄ要素は、オブジェクトを示し、３Ｄモデルは、オブジェクトの３次元バージョンである。
【0186】
アイテム４：本システムでは、３Ｄモデルは、２Ｄ要素の３Ｄレンダリングまたは３Ｄ描写である。
【0187】
アイテム５：本システムは、２Ｄ要素が３Ｄモデルにアクセスするように選択可能であることのインジケーションを提供するように構成される。
【0188】
アイテム６：本システムでは、画面は、視覚的情報をインジケーションとして提供するように構成される。
【0189】
アイテム７：本システムでは、視覚的情報は、２Ｄ要素の色の変化を備える。
【0190】
アイテム８：本システムでは、視覚的情報は、２Ｄ要素と関連付けて表示される、グラフィックを備える。
【0191】
アイテム９：本システムでは、視覚的情報は、カーソルの構成の変化を備える。
【0192】
アイテム１０：本システムでは、視覚的情報は、２Ｄ要素から外に成長し始める３Ｄモデルの表示を備える。
【0193】
アイテム１１：システムは、オーディオ信号をインジケーションとして提供するように構成される。
【0194】
アイテム１２：本システムでは、２Ｄ要素は、ブラウザまたはビューワ内に提示される。
【0195】
アイテム１３：本システムでは、３Ｄモデルは、ページ記述子情報と関連付けて記憶される。
【0196】
アイテム１４：本システムでは、２Ｄ要素は、ページの一部であって、ページに関するメタデータは、そこから３Ｄモデルが読み出されるべき場所を示す。
【0197】
アイテム１５：本システムでは、２Ｄ要素は、ページの一部であって、ページのマークアップ言語は、２Ｄ要素を３Ｄモデルと関連付けられるものとして指定する、メタデータを備える。
【0198】
アイテム１６：本システムでは、３Ｄモデルは、動的に生成される。
【0199】
アイテム１７：本システムでは、２Ｄ要素は、ブラウザまたはビューワ内に提示されるページの一部であって、３Ｄモデルは、ページがブラウザまたはビューワ内にロードされたとき、またはその後、ロードされ、かつ／または利用可能にされる。
【0200】
アイテム１８：本システムでは、処理ユニットは、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、３Ｄモデルを読み出すように構成される。
【0201】
アイテム１９：本システムでは、処理ユニットは、ネットワークを介して伝送される、３Ｄモデルを受信することによって、２Ｄ要素と関連付けられる、３Ｄモデルを取得するように構成される。
【0202】
アイテム２０：本システムはさらに、３Ｄモデルを記憶する、メモリを含み、処理ユニットは、３Ｄモデルをメモリから読み出すことによって、３Ｄモデルを取得するように構成される。
【0203】
アイテム２１：本システムでは、３Ｄモデルは、本システムによって提示される環境への追加のためのものである。
【0204】
アイテム２２：本システムでは、処理ユニットは、３Ｄモデルを画面を通して視認されるような環境に対して特定の場所に設置するためのコマンドを受信するように構成される。
【0205】
アイテム２３：本システムでは、コマンドは、仮想オブジェクトまたは実世界オブジェクトと関連付けられる３Ｄモデルを環境に対して設置するためのカーソルの移動に基づいて生成されたカーソル位置を備える。
【0206】
アイテム２４：本システムでは、画面は、ユーザが画面を通して周囲環境を視認することを可能にするために、少なくとも部分的に透明である。
【0207】
アイテム２５：システムは、ＭＲ、ＡＲ、またはＶＲ環境をユーザに提供するように構成される。
【0208】
アイテム２６：方法は、ユーザによって装着されるために構成される、画面によって、２次元（２Ｄ）要素を表示することと、画面によって表示される２Ｄ要素を選択するためのユーザに入力に応答して、ユーザ入力デバイスによって生成された信号を受信することと、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得することとを含む。
【0209】
アイテム２７：本方法では、信号は、ダブルクリックアクション、長押しアクション、長保持アクション、カーソルが２Ｄ要素に向いている間のボタンの押下、閾値期間にわたる２Ｄ要素上でのボタンのホバリング、またはオーディオ入力に応答して生成される。
【0210】
アイテム２８：本方法では、２Ｄ要素は、オブジェクトを示し、３Ｄモデルは、オブジェクトの３次元バージョンである。
【0211】
アイテム２９：本方法では、３Ｄモデルは、２Ｄ要素の３Ｄレンダリングまたは３Ｄ描写である。
【0212】
アイテム３０：本方法はさらに、２Ｄ要素が３Ｄモデルにアクセスするために選択可能であることのインジケーションを提供することを含む。
【0213】
アイテム３１：本方法では、インジケーションは、視覚的情報を備える。
【0214】
アイテム３２：本方法では、視覚的情報は、２Ｄ要素の色の変化を備える。
【0215】
アイテム３３：本方法では、視覚的情報は、２Ｄ要素と関連付けて表示される、グラフィックを備える。
【0216】
アイテム３４：本方法では、視覚的情報は、カーソルの構成の変化を備える。
【0217】
アイテム３５：本方法では、視覚的情報は、２Ｄ要素から外に成長し始める３Ｄモデルの表示を備える。
【0218】
アイテム３６：本方法では、インジケーションを提供する行為は、オーディオ信号を提供することを含む。
【0219】
アイテム３７：本方法では、２Ｄ要素は、ブラウザまたはビューワ内に提示される。
【0220】
アイテム３８：本方法では、３Ｄモデルは、ページ記述子情報と関連付けて記憶される。
【0221】
アイテム３９：本方法では、２Ｄ要素は、ページの一部であって、ページに関するメタデータは、そこから３Ｄモデルが読み出されるべき場所を示す。
【0222】
アイテム４０：本方法では、２Ｄ要素は、ページの一部であって、ページのマークアップ言語は、２Ｄ要素を３Ｄモデルと関連付けられるものとして指定する、メタデータを備える。
【0223】
アイテム４１：本方法では、３Ｄモデルは、動的に生成される。
【0224】
アイテム４２：本方法では、２Ｄ要素は、ブラウザまたはビューワ内に提示されるページの一部であって、３Ｄモデルは、ページがブラウザまたはビューワ内にロードされたとき、またはその後、ロードされ、かつ／または利用可能にされる。
【0225】
アイテム４３：本方法では、３Ｄモデルを取得する行為は、処理ユニットによって、アプリケーションプログラミングインターフェース（ＡＰＩ）に対して行われる要求を通して、３Ｄモデルを読み出すことを含む。
【0226】
アイテム４４：本方法では、２Ｄ要素と関連付けられる、３Ｄモデルを取得する行為は、ネットワークを介して伝送される、３Ｄモデルを受信することを含む。
【0227】
アイテム４５：本方法では、３Ｄモデルは、メモリ内に記憶され、３Ｄモデルを取得する行為は、３Ｄモデルをメモリから読み出すことを含む。
【0228】
アイテム４６：本方法では、３Ｄモデルは、本システムによって提示される環境への追加のためのものである。
【0229】
アイテム４７：本方法はさらに、３Ｄモデルを画面を通して視認されるような環境に対して特定の場所に設置するコマンドを受信することを含む。
【0230】
アイテム４８：本方法では、コマンドは、仮想オブジェクトまたは実世界オブジェクトと関連付けられる３Ｄモデルを環境に対して設置するためのカーソルの移動に基づいて生成されたカーソル位置を備える。
【0231】
アイテム４９：本方法では、画面は、ユーザが画面を通して周囲環境を視認することを可能にするために、少なくとも部分的に透明である。
【0232】
アイテム５０：本方法は、ＭＲ、ＡＲ、またはＶＲ環境をユーザに提供するように構成される、システムによって実施される。
【0233】
アイテム５１：製品は、命令のセットを記憶する、非一過性媒体を含み、処理ユニットによるその実行は、方法を実施させ、本方法は、ユーザによって装着されるために構成される、画面によって、２次元（２Ｄ）要素を表示することと、画面によって表示される２Ｄ要素を選択するためのユーザに入力に応答して、ユーザ入力デバイスによって生成された信号を受信することと、生成された信号に応答して、２Ｄ要素と関連付けられる、３次元（３Ｄ）モデルを取得することとを含む。
【0234】
前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図10A】
【図10B】
【図11】
【図12】
【国際調査報告】