(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-21
(54)【発明の名称】ウェブコンテンツとの３Ｄ対話
(51)【国際特許分類】
G06F 3/01 20060101AFI20221214BHJP
G06F 3/04815 20220101ALI20221214BHJP
G06T 19/00 20110101ALI20221214BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
G06F3/01 570
G06T19/00 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022500566
(86)(22)【出願日】2020-09-27
(85)【翻訳文提出日】2022-03-02
(86)【国際出願番号】 US2020052976
(87)【国際公開番号】W WO2021080733
(87)【国際公開日】2021-04-29
(31)【優先権主張番号】16/661,945
(32)【優先日】2019-10-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】インチ， ジョシュア
(72)【発明者】
【氏名】ドノバン， ライリー
(72)【発明者】
【氏名】リャオ， ダイアナ
(72)【発明者】
【氏名】ロジャーズ， ジャスティン
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050BA13
5B050CA01
5B050DA07
5B050EA07
5B050EA26
5B050FA02
5B050FA05
5E555AA11
5E555AA27
5E555BA02
5E555BB02
5E555BB38
5E555BC18
5E555CA42
5E555CA44
5E555CB66
5E555DA08
5E555DA11
5E555DB49
5E555DB53
5E555DC25
5E555DC30
5E555DC43
5E555FA00
(57)【要約】
ユーザが、人工現実環境において表示されるブラウザからコンテンツ項目を選択し、かつ人工現実環境においてコンテンツ項目の対応するバージョンを提示することを可能にする３Ｄウェブ対話システムの実施形態が開示される。３Ｄウェブ対話システムは、選択されたコンテンツ項目が３Ｄコンテンツと関連付けられるかどうか、関連付けられる場合は関連付けられた３Ｄコンテンツのタイプに応じて種々のやり方で、選択されたコンテンツ項目のバージョンを作成可能である。例えば、３Ｄウェブ対話システムは、選択されたコンテンツ項目が、（ａ）３Ｄコンテンツと関連付けられていない、（ｂ）「環境コンテンツ」と関連付けられている、または、（ｃ）１つもしくは複数の３Ｄモデルと関連付けられているかどうかに応じて選択されたコンテンツ項目の種々のバージョンを作成し、かつ提示することができる。
【選択図】図７Ｂ
【選択図】図７Ｂ
【特許請求の範囲】
【請求項1】
コンピューティングシステムによって実行される時、前記コンピューティングシステムに、第１の人工現実環境においてウェブベースコンテンツ項目を提示するための動作を行わせる命令を記憶するコンピュータ可読記憶媒体であって、前記動作は、前記第１の人工現実環境に表示されるブラウザにある前記ウェブベースコンテンツ項目に対応するユーザジェスチャを識別することと、
前記ウェブベースコンテンツ項目が、（ａ）３Ｄコンテンツと関連付けられていない、（ｂ）パノラマ画像、パノラマ映像、３Ｄ画像、もしくは第２の人工現実環境を含む環境コンテンツと関連付けられている、または、（ｃ）３Ｄモデルと関連付けられているかどうかを判断することと、
前記ウェブベースコンテンツ項目が前記環境コンテンツと関連付けられていると判断することに応答して、
前記ユーザが、前記ブラウザを操作することとは別個に前記第１の人工現実環境において操作できる、前記環境コンテンツへの部分ビューを作成すること、および、
前記環境コンテンツへの前記部分ビューが閾値を超えるようにする前記操作に応答して、新しい人工現実環境を前記環境コンテンツに基づいて表示させることと、を含む、コンピュータ可読記憶媒体。
【請求項2】
前記ユーザジェスチャは、それぞれの手が、他方の手に対して対向側でジェスチャを行う、前記ウェブベースコンテンツ項目の両手ジェスチャを含む、請求項１に記載のコンピュータ可読記憶媒体。
【請求項3】
前記ユーザジェスチャは、前記ブラウザにおいて前記ウェブベースコンテンツ項目を選択し、かつ前記ブラウザから遠ざける動きを含む、請求項１に記載のコンピュータ可読記憶媒体。
【請求項4】
前記ユーザジェスチャを識別した後、前記ウェブベースコンテンツ項目は前記ブラウザに表示されず、前記部分ビューを解除するためのさらなるユーザジェスチャの後、前記ウェブベースコンテンツ項目は前記ブラウザに再び現れる、請求項１に記載のコンピュータ可読記憶媒体。
【請求項5】
前記ウェブベースコンテンツ項目は、前記ウェブベースコンテンツ項目が３Ｄコンテンツと関連付けられているとの指示と共に前記ブラウザに表示される、請求項１に記載のコンピュータ可読記憶媒体。
【請求項6】
前記ウェブベースコンテンツ項目が３Ｄコンテンツと関連付けられているとの前記指示は、前記ユーザが前記ウェブベースコンテンツ項目と対話する時表示される、前記ウェブベースコンテンツ項目に加えられる効果である、請求項５に記載のコンピュータ可読記憶媒体。
【請求項7】
前記新しい人工現実環境を表示させることによって、前記ユーザは、６自由度で前記新しい人工現実環境を動き回ることが可能になる、請求項１に記載のコンピュータ可読記憶媒体。
【請求項8】
前記動作は、前記新しい人工現実環境から抜けるためのユーザ入力を受信し、それに応じて、前記新しい人工現実環境を前記第１の人工現実環境と置き換えることをさらに含む、請求項１に記載のコンピュータ可読記憶媒体。
【請求項9】
前記環境コンテンツへの前記部分ビューが前記閾値を超えるようにする前記操作は、前記環境コンテンツへの前記部分ビューがサイズ閾値を超えるようにする操作を含む、請求項１に記載のコンピュータ可読記憶媒体。
【請求項10】
前記環境コンテンツへの前記部分ビューが前記閾値を超えるようにする前記操作は、前記環境コンテンツへの前記部分ビューがユーザの視野の閾値量を超えるようにする操作を含む、請求項１に記載のコンピュータ可読記憶媒体。
【請求項11】
前記動作は、前記環境コンテンツへの前記部分ビューを解除するためのユーザジェスチャを識別することと、
前記第１の人工現実環境において、前記部分ビューが前記ブラウザの方に移動する効果を表示することと、
前記環境コンテンツへの前記部分ビューが前記第１の人工現実環境に表示されないようにすることと、をさらに含む、請求項１に記載のコンピュータ可読記憶媒体。
【請求項12】
人工現実環境においてウェブベースコンテンツ項目を提示するための方法であって、前記人工現実環境に表示されるブラウザにある前記ウェブベースコンテンツ項目に対応するユーザジェスチャを識別することと、
前記ウェブベースコンテンツ項目が、（ａ）３Ｄコンテンツと関連付けられていない、（ｂ）環境コンテンツと関連付けられている、または、（ｃ）３Ｄモデルと関連付けられているかどうかを判断することと、
前記ウェブベースコンテンツ項目が３Ｄコンテンツと関連付けられていないと判断することに応答して、前記ブラウザ外の前記ウェブベースコンテンツ項目の２Ｄバージョンを作成することであって、前記ユーザは、前記ブラウザを操作することとは別個に前記人工現実環境において前記ウェブベースコンテンツ項目の前記２Ｄバージョンを操作できる、前記ウェブベースコンテンツ項目の２Ｄバージョンを作成することと、を含む、方法。
【請求項13】
前記ユーザが前記ウェブベースコンテンツ項目の前記２Ｄバージョンとの関連で行うことができる前記操作は、６自由度で移動すること、サイズ変更すること、および前記ウェブベースコンテンツ項目の前記２Ｄバージョンをワープすることを含む、請求項１２に記載の方法。
【請求項14】
前記ウェブベースコンテンツを３Ｄ画像に変換することをさらに含む、請求項１２に記載の方法。
【請求項15】
前記ウェブベースコンテンツ項目の前記２Ｄバージョンを解除するためのユーザジェスチャを識別することと、前記人工現実環境において、前記ウェブベースコンテンツ項目の前記２Ｄバージョンが前記ブラウザの方に移動する効果を表示することと、
前記ウェブベースコンテンツ項目の前記２Ｄバージョンが前記人工現実環境に表示されないようにすることと、をさらに含み、
前記ユーザジェスチャを識別した後、前記ウェブベースコンテンツ項目は前記ブラウザに表示されず、
前記ウェブベースコンテンツ項目の前記２Ｄバージョンを解除するための前記ユーザジェスチャの後、前記ウェブベースコンテンツ項目は前記ブラウザに再び現れる、請求項１２に記載の方法。
【請求項16】
人工現実環境においてウェブベースコンテンツ項目を提示するためのコンピューティングシステムであって、１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行される時、前記コンピューティングシステムに、
前記人工現実環境に表示されるブラウザにある前記ウェブベースコンテンツに対応するユーザジェスチャを識別すること、
前記ウェブベースコンテンツ項目が３Ｄコンテンツと関連付けられているかどうかを判断すること、および、
前記ウェブベースコンテンツ項目が３Ｄモデルと関連付けられていると判断することに応答して、前記人工現実環境に前記３Ｄモデルを加えることであって、前記ユーザは、前記ブラウザを操作することとは別個に前記人工現実環境において前記３Ｄモデルを操作できる、前記３Ｄモデルを加えること、を含む動作を行わせる命令を記憶するメモリと、を備える、コンピューティングシステム。
【請求項17】
前記動作は、前記ウェブベースコンテンツ項目を含むウェブサイトが前記ブラウザによってロードされることに応答して、ローカルストレージにおいて前記ウェブベースコンテンツ項目と関連付けられた前記３Ｄモデルをバッファまたはキャッシュすることをさらに含む、請求項１６に記載のシステム。
【請求項18】
前記ユーザジェスチャは、前記ブラウザにおいて前記ウェブベースコンテンツ項目を選択し、かつ前記ブラウザから遠ざける動きを含む、請求項１６に記載のシステム。
【請求項19】
前記動作は、前記３Ｄモデルから抜けるためのユーザ入力を受信し、それに応じて、前記３Ｄモデルを前記人工現実環境に表示させないようにすることをさらに含む、請求項１６に記載のシステム。
【請求項20】
前記動作は、前記３Ｄモデルから抜けるための前記ユーザ入力に応答した前記人工現実環境において、前記３Ｄモデルが前記ブラウザの方に移動する効果を表示することをさらに含む、請求項１９に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工現実環境における対話を対象とする。
【背景技術】
【0002】
人工現実環境におけるさまざまなオブジェクトは、「仮想オブジェクト」、すなわち、環境に現れる、コンピューティングシステムによって生成されるオブジェクトの表現である。人工現実環境における仮想オブジェクトは、頭部装着型ディスプレイ、モバイルデバイス、投影システム、または別のコンピューティングシステムによってユーザに提示可能である。いくつかの人工現実環境は、ユーザが、人工現実環境にいる間に従来のウェブサイトを見てこれと対話することを可能にする仮想ウェブサイトブラウザ（ここでは「ブラウザ」と称される）を提示可能である。例えば、ブラウザは、ＵＲＬバー、進むおよび戻るボタン、ブックマークなど、従来のウェブブラウザコントロールを有するタブレットまたは２Ｄウィンドウとして人工現実環境において提示可能である。
【図面の簡単な説明】
【0003】
【図1】本技術のいくつかの実装形態が動作可能であるデバイスの全体像を示すブロック図である。
【図2A】本技術のいくつかの実装形態において使用可能である仮想現実ヘッドセットを示す配線図である。
【図2B】本技術のいくつかの実装形態において使用可能である複合現実ヘッドセットを示す配線図である。
【図3】本技術のいくつかの実装形態が動作可能である環境の全体像を示すブロック図である。
【図4】いくつかの実装形態において、開示された技術を用いるシステムで使用可能である構成要素を示すブロック図である。
【図5A】人工現実環境においてウェブベースコンテンツ項目のあるバージョンを提示するための現在の技術のいくつかの実装形態において使用されるプロセスを示すフロー図である。
【図5B】人工現実環境においてウェブベースコンテンツ項目のあるバージョンを提示するための現在の技術のいくつかの実装形態において使用されるプロセスを示すフロー図である。
【図5C】人工現実環境においてウェブベースコンテンツ項目のあるバージョンを提示するための現在の技術のいくつかの実装形態において使用されるプロセスを示すフロー図である。
【図5D】人工現実環境においてウェブベースコンテンツ項目のあるバージョンを提示するための現在の技術のいくつかの実装形態において使用されるプロセスを示すフロー図である。
【図6】人工現実環境においてウェブベースコンテンツ項目のインタラクティブな３Ｄバージョンを提示するための現在の技術のいくつかの実装形態において使用されるプロセスを実行する構成要素を示すブロック図である。
【図7A】３Ｄコンテンツと関連付けられていないウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図7B】３Ｄコンテンツと関連付けられていないウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図7C】３Ｄコンテンツと関連付けられていないウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図8A】環境コンテンツを含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図8B】環境コンテンツを含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図8C】環境コンテンツを含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図8D】環境コンテンツを含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図9A】３Ｄモデルを含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図9B】３Ｄモデルを含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。
【図9C】３Ｄモデルを含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。
【発明を実施するための形態】
【0004】
ここで導入された技法は、同様の参照番号が同一のまたは機能的に同様の要素を指示する添付の図面と併せて以下の「発明を実施するための形態」を参照することによって、より良く理解され得る。
【0005】
ユーザが、人工現実環境において表示されるブラウザからコンテンツ項目を選択し、かつブラウザ外の人工現実環境においてコンテンツ項目の対応するインタラクティブなバージョンを提示することを可能にする３Ｄウェブ対話システムの実施形態が開示される。３Ｄウェブ対話システムは、選択されたコンテンツ項目が３Ｄコンテンツと関連付けられるかどうか、関連付けられる場合は関連付けられた３Ｄコンテンツのタイプに応じて種々のやり方で、選択されたコンテンツ項目のインタラクティブなバージョンを作成可能である。例えば、３Ｄウェブ対話システムは、選択されたコンテンツ項目が、Ａ）３Ｄコンテンツと関連付けられていない、Ｂ）「環境コンテンツ」と関連付けられている、または、Ｃ）１つもしくは複数の３Ｄモデルと関連付けられているかどうかに応じて、選択されたコンテンツ項目の異なるインタラクティブなバージョンを作成し、かつ提示することができる。本明細書で使用されるような「環境コンテンツ」は、少なくとも部分的に没入型である人工現実システムによって提示可能であるコンテンツを指す。例えば、３Ｄ画像、パノラマ画像または映像、および人工現実環境（例えば、３Ｄ「世界」）は、ユーザがコンテンツの異なる部分を体験でき、かつユーザの視点が変わると観察地点を変えることを可能にする人工現実システムによって表示可能であるように、全て環境コンテンツである。
【0006】
動作時、３Ｄウェブ対話システムは、ユーザが、ウェブページを見る時、表示される画像または他のコンテンツ項目を（例えば、「掴む」ジェスチャによって）選択可能にすることができ、かつ、関連付けられたコンテンツに応じて、いくつかのやり方でこのコンテンツと対話できる。選択されたコンテンツが他の関連付けられた３Ｄコンテンツがない平面型画像である場合、３Ｄウェブ対話システムは、ブラウザの外部の選択された画像の２次元バージョンを提示できることで、ユーザはブラウザから画像を「取り出す」ことを体験できる。ブラウザの外部では、ユーザは画像を見て、この画像をサイズ変更し、これをＶＲ空間で回転させることなどを行うことができる。ユーザが選択された画像の２次元バージョンを解除し、これをブラウザに戻し、あるいはこれを閉じる時、画像は、ウェブページのこの元の場所へとスナップすることができる。
【0007】
選択されたコンテンツが３Ｄモデルと関連付けられる場合、３Ｄウェブ対話システムは、３Ｄモデルを取得し、かつこれを提示できることで、ユーザはウェブページから３Ｄオブジェクトを取り出すことを体験可能になる。３Ｄウェブ対話システムはさらにまた、移動、回転、サイズ変更、コントロールのアクティブ化など、モデルと対話するための利用可能なオプション全てをユーザに与える。ユーザが３Ｄモデルを解除し、このモデルをブラウザに戻し、あるいはこれを閉じる時、３Ｄモデルはブラウザへとスナップできることで、ウェブページのこの元の場所における元のコンテンツとして再び現れる。
【0008】
選択されたコンテンツが環境コンテンツであるまたはこれと関連付けられる場合、３Ｄウェブ対話システムは、環境コンテンツを取得し、かつこれを提示することができることで、ユーザは部分ビューをウェブページ外の環境に引き入れることを体験することが可能になる。部分ビューは、環境の画像を示す平面または曲面であり得る。いくつかの実装形態では、平面または曲面は、環境内へのビューの静止画像であり得る。他の実装形態では、表面は「ウィンドウ」としての機能を果たすことができることで、ユーザは、このウィンドウを移動させるまたはサイズ変更する際に環境内への異なるビューを見ることが可能になる。３Ｄウェブ対話システムは、ユーザが、部分ビューを操作すること、例えば、このビューの形状、サイズ、およびユーザに対する向きを変更することを可能にすることができる。
【0009】
ユーザが、例えば、部分ビューを大きくするまたは自分の顔に近づけることによって自分の視野をもっと占めるように部分ビューを操作する際に、部分ビューは人工現実環境を包含し始め得る。部分ビューが占めるユーザの視野量が閾値を超える時（例えば、部分ビューが閾値サイズを超えるおよび／またはユーザの顔の閾値距離内である時）、人工現実環境は部分ビューと関連付けられた環境と置き換え可能である。環境がパノラマ画像または映像である場合、ユーザは、見回し、かつ３自由度で環境の種々の観察地点を見ることができる。環境が３Ｄ画像または全て他の環境である場合、ユーザは、６自由度で環境の種々の観察地点を見るために移動し、かつ見回すことができる。
【0010】
いくつかの実装形態では、ユーザは、新しい環境から抜けて元の環境に戻るための、ジェスチャを行うまたはコントロールを選択することができる。他の実装形態では、元の人工現実環境に戻ることによって、部分ビューを、ブラウザに戻ってウェブページのこの元の場所にすることができる。他の実装形態では、元の人工現実環境に戻ることによって、部分ビューをユーザが操作し続けることができる表面として再び示すことができる。ユーザが部分ビューを解除し、これをブラウザに戻し、あるいはこれを閉じる時、部分ビューはウェブページの元の場所へとスナップすることができる。
【0011】
開示された技術の実施形態は、人工現実システムを含むことができる、または人工現実システムと併せて実装され得る。人工現実またはｅｘｔｒａ ｒｅａｌｉｔｙ（ＸＲ）は、ユーザに提示する前に何らかのやり方で調節されている現実の形態であり、これは例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはこれらの何らかの組み合わせおよび／もしくは派生物を含むことができる。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（例えば、現実世界の写真）と組み合わせられて生成されたコンテンツを含んでよい。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはこれらの何らかの組み合わせを含んでよく、これらのいずれかは（視聴者に対する３次元効果を生じさせる立体ビデオなど）単一のチャネルでまたは複数のチャネルで提示され得る。さらに、いくつかの実施形態では、人工現実は、例えば、人工現実でコンテンツを作成するために使用される、および／または人工現実で使用される（例えば、人工現実でアクティビティを行う）、アプリケーション、製品、付属品、サービス、またはこれらの何らかの組み合わせと関連付けられてよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続される頭部装着型ディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、「洞穴」式環境もしくは他の投影システム、または、１または複数の視聴者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含むさまざまなプラットフォーム上に実装されてよい。
【0012】
本明細書で使用される「仮想現実」または「ＶＲ」は、ユーザの視覚的入力がコンピュータシステムによって制御される没入型体験を指す。「拡張現実」または「ＡＲ」は、ユーザが現実世界の画像を見る前にこれらの画像がコンピュータシステムを通過しているシステムを指す。例えば、裏にカメラがあるタブレットは、現実世界の画像をキャプチャした後、カメラからタブレットの反対側の画面上にその画像を表示することができる。タブレットは、仮想オブジェクトを追加することなどによって、画像がシステムを通過する際にこの画像を処理し、かつ調節または「拡張」することができる。「複合現実」または「ＭＲ」は、ユーザの眼に入る光がコンピューティングシステムによって部分的に生成され、かつ現実世界におけるオブジェクトに反射した光を部分的に構成するシステムを指す。例えば、ＭＲヘッドセットは、パススルーディスプレイを有する眼鏡のように成形可能であり、これによって、現実世界からの光がＭＲヘッドセットにおけるプロジェクタから同時に光を発する導波路を通過することができることで、ＭＲヘッドセットはユーザが見ることができる実物体と混合させた仮想オブジェクトを提示することができる。本明細書で使用される「人工現実」、「ｅｘｔｒａ ｒｅａｌｉｔｙ」、または「ＸＲ」は、ＶＲ、ＡＲ、ＭＲのいずれか、またはこれらの任意の組み合わせもしくは混成物を指す。
【0013】
いくつかの既存のＸＲシステムは、ウェブコンテンツを見てこれと対話するためのブラウザ（例えば、人工現実環境における２Ｄパネル）を含む。しかしながら、これらのＸＲシステムは、インターネットをブラウズするために画面を見る従来のユーザ体験を単に模倣するような、限定された機能性を提供する。これらのブラウザとのユーザ対話は、３次元での表出入力を単なるポイントアンドクリック入力に解釈することを必要とすることで、ウェブコンテンツと十分に対話するユーザの能力を大幅に限定する。ウェブコンテンツが３Ｄコンテンツと関連付けられていた場合でも（例えば、ウェブコンテンツがパノラマ画像である時）既存のＸＲシステムはフラットパネルブラウザにおける対話を可能にするだけである。３Ｄウェブ対話システムおよび本明細書に説明されるプロセスは、在来のＸＲ対話技法と関連付けられたこれらの問題を克服し、かつウェブコンテンツとの対話でのより良いコントロールをユーザに提供し、より多くの機能性を与え、および既存のＸＲシステムにおける対話より自然で直観的であることが見込まれる。自然で直観的であるにもかかわらず、３Ｄウェブ対話システムおよび本明細書に説明されるプロセスは、従来のウェブ対話に類似しているものの代わりにコンピュータ化された人工現実システムに根差している。例えば、従来のブラウザにおけるウェブコンテンツまたはさらには３Ｄ環境におけるブラウザとの既存の対話は、ブラウザインターフェースから３Ｄ空間内へコンテンツを抽出するやり方を含まず、ウェブコンテンツと３Ｄコンテンツとの間の技術的なリンク設定、このようなコンテンツのオンデマンド取得、およびブラウザ外のこのコンテンツとの対話ははるかに少ない。例えば、既存のシステムでは、ユーザは、ブラウザから新しい環境の３Ｄモデルまたは部分ビューを取り出し、かつこれら自体を該システム内に引き入れて、現在の人工現実環境を新しい人工現実環境と置き換えることができない。さらに、既存のＸＲシステムは、ブラウザ外の３Ｄ環境においてウェブコンテンツと対話するための方法を提供せず、該ウェブコンテンツについて、これを３Ｄコンテンツに自動的に変換すること、またはブラウザ外で操作可能である２Ｄ表現を提供することのどちらかによる３Ｄコンテンツとのリンク設定が行われていない。
【0014】
いくつかの実装形態について、図を参照してより詳細に以下に論じる。図１は、開示された技術のいくつかの実装形態が動作可能であるデバイスの全体像を示すブロック図である。デバイスは、ユーザが仮想環境において表示されるブラウザからコンテンツを取り出し、かつブラウザ外の３Ｄ空間においてコンテンツを操作することを可能にするコンピューティングシステム１００のハードウェア構成要素を備えることができる。例えば、このような操作は、画像を移動させる、サイズ変更する、もしくは歪めること、ウィンドウを通して別の環境をのぞき込むこともしくはさらにはこの環境に入って現在の環境を置き換えること、または３Ｄオブジェクトを見て操作することを含むことができ、その間ずっと、ユーザは、要求に応じてコンテンツをブラウザに戻し、かつこれらのウェブブラウジング体験を継続することが可能になる。さまざまな実装形態では、コンピューティングシステム１００は、処理を分散し、かつ入力データを共有するために有線または無線チャネル上で通信する単一のコンピューティングデバイス１０３または複数のコンピューティングデバイス（例えば、コンピューティングデバイス１０１、コンピューティングデバイス１０２、およびコンピューティングデバイス１０３）を含むことができる。いくつかの実装形態では、コンピューティングシステム１００は、外部の処理またはセンサを必要とせずにユーザにコンピュータ作成または拡張体験を提供することが可能な独立型ヘッドセットを含むことができる。他の実装形態では、コンピューティングシステム１００は、いくつかの処理動作がヘッドセット上で行われ、他の処理動作がコア処理構成要素にオフロードされる、ヘッドセットおよびコア処理構成要素（コンソール、モバイルデバイス、またはサーバシステムなど）などの複数のコンピューティングデバイスを含むことができる。例示のヘッドセットについて、図２Ａおよび図２Ｂに関して後述する。いくつかの実装形態では、位置および環境データは、ヘッドセットに組み込まれたセンサによってのみ収集可能であるが、他の実装形態では、ヘッドセット無しのコンピューティングデバイスの１つまたは複数は、環境または位置データを追跡可能であるセンサ構成要素を含むことができる。
【0015】
コンピューティングシステム１００は、１つまたは複数のプロセッサ１１０（例えば、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、ホログラフィック処理ユニット（ＨＰＵ）など）を含み得る。プロセッサ１１０は、デバイスにおける単一の処理ユニットまたは複数の処理ユニットとすることができる、または複数のデバイスにわたって分散させる（例えば、コンピューティングデバイス１０１～１０３の２つ以上にわたって分散させる）ことができる。
【0016】
コンピューティングシステム１００は、プロセッサ１１０に入力をもたらしてこれらに動きを通知する１つまたは複数の入力デバイス１２０を含むことができる。動きは、入力デバイスから受信される信号を解釈し、かつ通信プロトコルを使用して情報をプロセッサ１１０に通信するハードウェアコントローラによって仲介される。それぞれの入力デバイス１２０は、例えば、マウス、キーボード、タッチスクリーン、タッチパッド、ウェアラブル入力デバイス（例えば、触覚グローブ、ブレスレット、指輪、イヤリング、ネックレス、腕時計など）、カメラ（または、他の光ベースの入力デバイス、例えば、赤外線センサ）、マイクロホン、または、他のユーザ入力デバイスを含むことができる。
【0017】
プロセッサ１１０は、例えば、ＰＣＩバス、ＳＣＳＩバス、または無線接続などの内部または外部バスを用いて他のハードウェアデバイスに結合可能である。プロセッサ１１０は、ディスプレイ１３０などのデバイスに対するハードウェアコントローラと通信可能である。ディスプレイ１３０は、テキストおよびグラフィックを表示するために使用可能である。いくつかの実装形態では、ディスプレイ１３０は、入力デバイスがタッチスクリーンである、または視線方向監視システムを備える時など、ディスプレイの一部としての入力デバイスを含む。いくつかの実装形態では、ディスプレイは入力デバイスから分離している。表示装置の例には、ＬＣＤディスプレイスクリーン、ＬＥＤディスプレイスクリーン、投影、ホログラフィック、または拡張現実ディスプレイ（ヘッドアップ表示装置または頭部装着型デバイスなど）などがある。ネットワークチップまたはカード、ビデオチップまたはカード、オーディオチップまたはカード、ＵＳＢ、ファイヤーワイヤーまたは他の外部デバイス、カメラ、プリンタ、スピーカ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブなどの他のＩ／Ｏデバイス１４０も、プロセッサに結合可能である。
【0018】
コンピューティングシステム１００は、他のローカルコンピューティングデバイスまたはネットワークノードと無線でまたは有線ベースで通信することが可能な通信デバイスを含むことができる。通信デバイスは、例えば、ＴＣＰ／ＩＰプロトコルを使用するネットワークを通して別のデバイスまたはサーバと通信できる。コンピューティングシステム１００は、複数のネットワークデバイスにわたって動作を分散するために通信デバイスを利用できる。
【0019】
コンピューティングシステム１００のコンピューティングデバイスのうちの１つにおいて含まれ得る、またはコンピューティングシステム１００の複数のコンピューティングデバイスまたは他の外部デバイスにわたって分散可能であるプロセッサ１１０は、メモリ１５０にアクセス可能である。メモリは、揮発性または不揮発性ストレージに対する１つまたは複数のハードウェアデバイスを含み、かつ読み出し専用メモリおよび書き込み可能メモリ両方を含むことができる。例えば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、さまざまなキャッシュ、ＣＰＵレジスタ、読み出し専用メモリ（ＲＯＭ）、および書き込み可能な不揮発性メモリ、例えば、フラッシュメモリ、ハードドライブ、フロッピーディスク、ＣＤ、ＤＶＤ、磁気記憶装置、およびテープドライブなどのうちの１つまたは複数を含むことができる。メモリは、基盤となるハードウェアから切り離されて伝播する信号ではないため、メモリは非一時的なものである。メモリ１５０は、オペレーティングシステム１６２、３Ｄウェブ対話システム１６４、および他のアプリケーションプログラム１６６などのプログラムおよびソフトウェアを記憶するプログラムメモリ１６０を含むことができる。メモリ１５０は、例えば、プログラムメモリ１６０またはコンピューティングシステム１００の任意の要素に提供可能である、（３Ｄコンテンツへのタグまたは他のリンクを有する）ブラウザコンテンツ、取得された３Ｄコンテンツ、２Ｄ画像の３Ｄ画像への変換、ジェスチャ識別子、環境データ、構成データ、設定、ユーザオプションまたはプリファレンスなどを含むことができるデータメモリ１７０も含むことができる。
【0020】
いくつかの実装形態は、多数の他のコンピューティングシステム環境または構成で動作可能とすることができる。当該技術で使用するのに適し得るコンピューティングシステム、環境、および／または構成の例は、ＸＲヘッドセット、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、携帯電話、ウェアラブル電子機器、ゲーム機、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能家庭電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、または上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などを含むが、これらに限定されない。
【0021】
図２Ａは、いくつかの実装形態による仮想現実頭部装着型ディスプレイ（ＨＭＤ）２００の配線図である。ＨＭＤ２００は前部剛体２０５およびバンド２１０を含む。前部剛体２０５は、電子ディスプレイ２４５の１つまたは複数の電子ディスプレイ要素、慣性運動装置（ＩＭＵ）２１５、１つまたは複数の位置センサ２２０、ロケータ２２５、および１つまたは複数の算出部２３０を含む。位置センサ２２０、ＩＭＵ２１５、および算出部２３０は、ＨＭＤ２００に内蔵されてよくユーザには不可視である場合がある。さまざまな実装形態では、ＩＭＵ２１５、位置センサ２２０、およびロケータ２２５は、３自由度（３ＤｏＦ）または６自由度（６ＤｏＦ）での現実世界および仮想環境におけるＨＭＤ２００の移動および場所を追跡可能である。例えば、ロケータ２２５は、ＨＭＤ２００の周りの実物体上の光点を生じさせる赤外光ビームを発することができる。ＨＭＤ２００と一体化された１つまたは複数のカメラ（図示せず）は光点を検出できる。ＨＭＤ２００における算出部２３０は、ＨＭＤ２００の位置および移動を推定するために、およびＨＭＤ２００を取り囲む実物体の形状および位置を識別するために、検出された光点を使用することができる。
【0022】
電子ディスプレイ２４５は、前部剛体２０５と一体化可能であり、かつ算出部２３０によって命令されるとユーザに画像光を提供可能である。さまざまな実施形態では、電子ディスプレイ２４５は単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、それぞれのユーザの眼に対するディスプレイ）であり得る。電子ディスプレイ２４５の例として、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス式有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、１つもしくは複数の量子ドット発光ダイオード（ＱＯＬＥＤ）サブピクセル、投射器（例えば、マイクロＬＥＤ、レーザなど）、その他のディスプレイ、またはこれらの何らかの組み合わせが挙げられる。
【0023】
いくつかの実装形態では、ＨＭＤ２００は、パーソナルコンピュータ（ＰＣ）（図示せず）などのコア処理構成要素および／または１つもしくは複数の外部センサ（図示せず）に結合可能である。ＰＣが、ＨＭＤ２００の場所および移動を判断するためにＩＭＵ２１５および位置センサ２２０からの出力と組み合わせて使用することができる外部センサは、（例えば、ＨＭＤ２００から発した光によって）ＨＭＤ２００を監視することができる。
【0024】
いくつかの実装形態では、ＨＭＤ２００は、ユーザが片手または両手で保持できるコントローラ（図示せず）などの１つまたは複数の外部デバイスと通信している可能性がある。コントローラは、これ自体のＩＭＵ装置、位置センサを有することができる、および／またはさらなる光点を発することができる。ＨＭＤ２００または外部センサは、これらのコントローラの光点を追跡可能である。ＨＭＤ２００における算出部２３０またはコア処理構成要素は、ユーザの手の位置および運動を監視するために、ＩＭＵおよび位置出力と組み合わせてこの追跡を使用することができる。コントローラはまた、入力をもたらし、かつ仮想オブジェクトと対話するためにユーザが作動させることができるさまざまなボタンを含むことができる。さまざまな実装形態では、ＨＭＤ２００はまた、視標追跡装置、オーディオシステム、さまざまなネットワーク構成要素などのさらなるサブシステムを含むことができる。いくつかの実装形態では、コントローラの代わりにまたはこれに加えて、ＨＭＤ２００に含まれるまたはＨＭＤ２００に外付けされる１つまたは複数のカメラは、ジェスチャならびに他の手および体の運動を判断するためにユーザの手の位置および格好を監視することができる。
【0025】
図２Ｂは、複合現実ＨＭＤ２５２およびコア処理構成要素２５４を含む複合現実ＨＭＤシステム２５０の配線図である。複合現実ＨＭＤ２５２およびコア処理構成要素２５４は、リンク２５６によって指示されるように無線接続（例えば、６０ＧＨｚのリンク）を介して通信可能である。他の実装形態では、複合現実システム２５０は、外部の計算装置はなくヘッドセットのみを含む、または複合現実ＨＭＤ２５２とコア処理構成要素２５４との間の他の有線または無線接続を含む。複合現実ＨＭＤ２５２はパススルーディスプレイ２５８およびフレーム２６０を含む。フレーム２６０は、ライトプロジェクタ（例えば、レーザ、Ｌ３Ｄウェブ対話システムなど）、カメラ、視標追跡センサ、ＭＥＭＳ構成要素、ネットワーク構成要素などのさまざまな電子部品（図示せず）を収容することができる。
【0026】
プロジェクタは、ユーザに媒体を表示するために、例えば、光学素子を介して、パススルーディスプレイ２５８に結合可能である。光学素子は、プロジェクタからユーザの眼に光を導くための、１つまたは複数の導波路アセンブリ、反射器、レンズ、鏡、コリメータ、格子などを含むことができる。画像データは、コア処理構成要素２５４からリンク２５６を介してＨＭＤ２５２に送信可能である。ＨＭＤ２５２におけるコントローラは、プロジェクタから画像データを光パルスに変換可能であり、これは光学素子を介して出力光としてユーザの眼に送信可能である。出力光は、ディスプレイ２５８を通過する光と混合させることができることで、出力光によって現実世界に存在するかのように現れる仮想オブジェクトを提示することができる。
【0027】
ＨＭＤ２００と同様に、ＨＭＤシステム２５０は、ＨＭＤシステム２５０が、例えば、これ自体を３ＤｏＦまたは６ＤｏＦで追跡すること、ユーザの一部分（例えば、手、脚、頭部、または他の体の一部）を追跡すること、ＨＭＤ２５２が移動すると静止しているように現れるように仮想オブジェクトをマッピングすること、および、ジェスチャおよび他の現実世界のオブジェクトに対して仮想オブジェクトを反応させることを可能にする、運動および位置追跡装置、カメラ、光源なども含むことができる。
【0028】
図３は、開示された技術のいくつかの実装形態が動作可能である環境３００の全体像を示すブロック図である。環境３００は、１つまたは複数のクライアントコンピューティングデバイス３０５Ａ～Ｄを含むことができ、これらの例として、コンピューティングシステム１００を挙げることができる。いくつかの実装形態では、クライアントコンピューティングデバイスのいくつか（例えば、クライアントコンピューティングデバイス３０５Ｂ）は、ＨＭＤ２００またはＨＭＤシステム２５０とすることができる。クライアントコンピューティングデバイス３０５は、ネットワーク３３０を通した、サーバコンピューティングデバイスなどの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作可能である。
【0029】
いくつかの実装形態では、サーバ３１０は、サーバ３２０Ａ～Ｃなどの他のサーバを通してクライアント要求を受信し、かつこれらの要求の達成を調整するエッジサーバとすることができる。サーバコンピューティングデバイス３１０および３２０は、コンピューティングシステム１００などのコンピューティングシステムを含むことができる。それぞれのサーバコンピューティングデバイス３１０および３２０は単一のサーバとして論理的に表示されるが、サーバコンピューティングデバイスはそれぞれ、同じまたは地理的に異なる物理的場所に位置する複数のコンピューティングデバイスを包含する分散コンピューティング環境とすることができる。
【0030】
クライアントコンピューティングデバイス３０５ならびにサーバコンピューティングデバイス３１０および３２０はそれぞれ、他のサーバ／クライアントデバイスに対するサーバまたはクライアントの機能を果たすことができる。サーバ３１０はデータベース３１５に接続することができる。サーバ３２０Ａ～Ｃはそれぞれ、対応するデータベース３２５Ａ～Ｃに接続できる。上で論じられるように、それぞれのサーバ３１０または３２０はサーバのグループに対応することができ、これらのサーバのそれぞれは、データベースを共有できるまたはこれら自体のデータベースを有することができる。データベース３１５および３２５は単一のユニットとして論理的に表示されるが、データベース３１５および３２５はそれぞれ、複数のコンピューティングデバイスを包含する分散コンピューティング環境とすることができる、これらの対応するサーバ内に位置することができる、または同じまたは地理的に異なる物理的場所に位置することができる。
【0031】
ネットワーク３３０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メッシュネットワーク、ハイブリッドネットワーク、または他の有線もしくは無線ネットワークとすることができる。ネットワーク３３０は、インターネット、またはその他のパブリックもしくはプライベートネットワークであってよい。クライアントコンピューティングデバイス３０５は、有線または無線通信などによって、ネットワークインターフェースを通してネットワーク３３０に接続可能である。サーバ３１０とサーバ３２０との間の接続は別個の接続として示されるが、これらの接続は、ネットワーク３３０または別個のパブリックもしくはプライベートネットワークを含む、任意の種類のローカル、広域、有線、または無線ネットワークとすることができる。
【0032】
図４は、いくつかの実装形態において、開示された技術を用いるシステムで使用可能である構成要素４００を示すブロック図である。構成要素４００は、コンピューティングシステム１００の１つのデバイスに含まれ得る、またはコンピューティングシステム１００のデバイスの複数にわたって分散され得る。構成要素４００は、ハードウェア４１０、メディエータ４２０、および専用構成要素４３０を含む。上で論じられるように、開示された技術を実装するシステムは、処理ユニット４１２、ワーキングメモリ４１４、入力および出力デバイス４１６（例えば、カメラ、ディスプレイ、ＩＭＵ装置、ネットワーク接続など）、およびデータ記憶用メモリ４１８を含むさまざまなハードウェアを使用できる。さまざまな実装形態では、データ記憶用メモリ４１８は、ローカルデバイス、リモート記憶デバイスへのインターフェース、またはこれらの組み合わせの１つまたは複数とすることができる。例えば、データ記憶用メモリ４１８は、システムバスを通してアクセス可能な１つまたは複数のハードドライブもしくはフラッシュドライブとすることができる、または（ストレージ３１５または３２５などにおける）クラウドストレージプロバイダ、または１つまたは複数の通信ネットワークを介してアクセス可能な他のネットワークストレージとすることができる。さまざまな実装形態では、構成要素４００は、クライアントコンピューティングデバイス３０５などのクライアントコンピューティングデバイスにおいて、またはサーバコンピューティングデバイス３１０または３２０などのサーバコンピューティングデバイス上に実装可能である。
【0033】
メディエータ４２０は、ハードウェア４１０と専用構成要素４３０との間のリソースを仲介する構成要素を含むことができる。例えば、メディエータ４２０は、オペレーティングシステム、サービス、ドライブ、基本入出力システム（ＢＩＯＳ）、コントローラ回路、または他のハードウェアもしくはソフトウェアシステムを含むことができる。
【0034】
専用構成要素４３０は、人工現実環境におけるブラウザ外の、ウェブコンテンツと関連付けられたコンテンツを提示するための動作を行うように構成されるソフトウェアまたはハードウェアを含むことができる。専用構成要素４３０は、ＸＲ環境４３４、ブラウザ４３６、ジェスチャモニタおよび識別子４３８、コンテンツタイプ識別子４４０、コンテンツ取得部４４２、ならびに、ユーザインターフェースを提供し、データを転送し、およびインターフェース４３２などの専用構成要素を制御するために使用可能である構成要素およびＡＰＩを含むことができる。例えば、インターフェース４３２は、スレッドハンドラと対話し、かつ通信を実施するためのコールバックをセットアップするメッセンジャーによって、例えば、「クライアント」と「サービス」との間の、プロセス境界を超えたスレッド間の通信を可能にするプロセス間通信（ＩＰＣ）システムを含むことができる。いくつかの実装形態では、構成要素４００は、複数のコンピューティングデバイスにわたって分散されるコンピューティングシステムにある可能性がある、または専用構成要素４３０の１つまたは複数を実行するサーバベースアプリケーションに対するインターフェースである可能性がある。
【0035】
ＸＲ環境４３４は、ブラウザおよび他の２Ｄまたは３Ｄオブジェクトを表示できる任意のタイプの人工現実環境であり得る。いくつかの実装形態では、ＸＲ環境は、ユーザがブラウザ４３６などのアプリケーションを起動することができるランチャまたは他のメニューを提示する「ホーム」環境を含むことができる。ＸＲ環境４３４は、ジェスチャモニタおよび識別子４３８、コンテンツタイプ識別子４４０、およびコンテンツ取得部４４２などのサービスおよび他のアプリケーションも含むことができる。いくつかの実装形態では、これらの他の構成要素は、ＸＲ環境４３４から分離可能である、またはいくつかの構成要素はブラウザ４３６の一部であり得る。
【0036】
ブラウザ４３６は、ＸＲ環境４３４において実行されるウェブブラウザであり得る。さまざまな実装形態において、ブラウザ４３６は、ウェブコンテンツを表示する１つまたは複数の仮想パネルもしくはオブジェクトであり得る。例えば、ブラウザ４３６は、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ、ならびに他のコード言語およびマークアップ言語を、オブジェクトおよび／またはユーザの間のレンダリング可能なコンテンツおよびアクションに解釈するプロセスであり得る。いくつかの実装形態では、ブラウザ４３６は、レンダリングされたコンテンツおよびスクリプトが要素の階層として作成される文書オブジェクトモデル（ＤＯＭ）を使用してウェブページを作成可能である。場合によっては、ブラウザ４３６によって使用されるいくつかのデータオブジェクトは、ＤＯＭ外に存在し得る。ブラウザ４３６は、コンテンツのタイプを指定する（例えば、３Ｄコンテンツであるかどうか、またはアドレスを有する３Ｄコンテンツまたは３Ｄコンテンツへのパスと関連付けられているかどうかを指定する）タグを含むことができるコンテンツを受信することができる。ブラウザ４３６は、ブラウザ４３６に、ブラウザ４３６内のコンテンツ識別子およびコンテンツ位置を、ＸＲ環境４３４、ジェスチャモニタおよび識別子４３８、コンテンツタイプ識別子４４０、および／またはコンテンツ取得部４４２に送らせるコード（例えば、ネイティブコード、プラグイン、ロードされたスクリプト、または他の命令）を有することができる。いくつかの実装形態では、このコードはまた、例えば、特殊なＵＩ要素、または３Ｄコンテンツと関連付けられる（ひいては、ブラウザから人工現実環境内への選択または「取り出し」可能であることをユーザに指示する）要素に対する効果を表示するために、ＤＯＭに対して修正を行うことができる。いくつかの実装形態では、コードはまた、例えば、ブラウザから取り出される時に指示された要素を隠すまたは置き換え、かつこれらを閉じるまたはブラウザに戻す時に元の要素を示すように、他の構成要素のいずれかからのメッセージに応答することができる。
【0037】
ジェスチャモニタおよび識別子４３８は、（例えば、カメラ入力、ＩＭＵ／位置センサなどに基づいて）ユーザの手および／またはコントローラアクションを監視し、かつこれらが、ウェブベースコンテンツ項目に対応するＸＲ環境４３４において、ブラウザ４３６に表示されるコンテンツを選択することまたはオブジェクトを操作することに対応するジェスチャにマッチするかどうかを判断することができる。ジェスチャモニタおよび識別子４３８は、ジェスチャが指示するのはどのブラウザコンテンツ項目であるかを識別するために、インターフェース４３２を介してブラウザ４３６と併せて機能し得る。よって、ユーザがブラウザ４３６からコンテンツ項目を「取り出す」ジェスチャを行う時、これらの構成要素は、コンテンツタイプ識別子４４０によって識別されたコンテンツタイプに従ってフォーマットされた対応するコンテンツをＸＲ環境４３４に供給するようにコンテンツ取得部４４２にシグナリングすることができる。
【0038】
コンテンツタイプ識別子４４０は、コンテンツが、環境コンテンツまたは１つもしくは複数の３Ｄモデルであるまたはこれらと関連付けられているかどうか、または３Ｄコンテンツではないかどうかを識別することができる。いくつかの実装形態では、コンテンツタイプ識別子４４０は、分類されるコンテンツ上、または分類されるコンテンツと関連付けられたウェブベースコンテンツ上のタグまたは他の識別子を見ることによって、これを達成することができる。他の実装形態では、コンテンツタイプ識別子４４０は、コンテンツ自体の符号化、構造、または他の特徴を解析することによって、または、コンテンツを、コンテンツタイプを識別するようにトレーニングされた機械学習モデルに供給することによってこれを達成可能である。コンテンツタイプ識別子４４０によって識別されたタイプは、ＸＲ環境４３４が、コンテンツ取得部４４２によって提供されるコンテンツをどのように表示するかを制御することができる。例えば、コンテンツタイプが平面型画像である場合、このコンテンツタイプは２Ｄパネルとして表示または３Ｄ画像に変換可能であり、コンテンツタイプが環境コンテンツである場合、このコンテンツタイプは、最初は環境への部分ビューとして、次いで、部分ビューが閾値（例えば、サイズ、占められる視野、ユーザまでの最小距離）を超える場合は環境全体として表示可能であり、または、コンテンツタイプが３Ｄモデルである場合、３Ｄモデルが表示可能である。
【0039】
コンテンツ取得部４４２は、（例えば、ウェブサイトにロードすると、またはコンテンツ項目のユーザ選択時にブラウザ４３６から）１つまたは複数のコンテンツの指示を受信可能であり、かつ、この指示をローカルストレージまたはリモートの場所から取得可能である。例えば、識別子は、ローカルメモリにおけるポインタ、パス、または、コンテンツ取得部４４２が指示されたコンテンツ項目を得ることができるリモートアドレスと関連付け可能である。
【0040】
上述される図１～図４においておよび以下に論じられるフロー図のそれぞれにおいて示される構成要素がさまざまなやり方で変えられる場合があることを、当業者は理解するであろう。例えば、ロジックの順序は再配置可能であり、サブステップは並列に行われる場合があり、示されるロジックは省略可能であり、他のロジックが含まれる場合があるなどがある。いくつかの実装形態では、上述される構成要素の１つまたは複数は、後述されるプロセスの１つまたは複数を実行することができる。
【0041】
（図５、図５続き－１、図５続き－２、および図５続き－３を含む）図５は、人工現実環境においてウェブベースコンテンツ項目を提示するための現在の技術のいくつかの実装形態において使用されるプロセスを、プロセスの部分が５００、５２５、５５０、および５７５としてラベル付けされるように示すフロー図である。いくつかの実装形態では、プロセス５００は、ユーザが人工現実環境におけるブラウザを動作させると行われ得る。いくつかの実装形態では、プロセス５００の部分は、例えば、ウェブサイトへの以前のビジット、またはウェブサイトへのユーザのビジットの予測から、ウェブコンテンツと関連付けられた３Ｄコンテンツをローカルにキャッシュすることによって、前もって行われ得る。
【0042】
ブロック５０２で開始すると、プロセス５００は、人工現実環境におけるブラウザを表示できる。例えば、ブラウザは、ウェブサイトを提示し、かつＵＲＬバー、ナビゲーションボタン、ブックマーク、メニュー、および他の従来のウェブブラウザインターフェースなどのコントロールおよびインターフェースを含む１つまたは複数の２Ｄパネルであり得る。ユーザは、指を使用して表示されるリンクまたは他のコントロールを「ホバーする」または「クリックする」こと、ウェブサイトのスクロールを「ドラッグする」こと、実際のまたは仮想のキーボードなどを使用するタイプなど、さまざまなジェスチャおよび音声コマンドによって人工現実環境におけるブラウザと対話することができる。
【0043】
ユーザがウェブサイトを訪れる時、テキスト、画像、映像などのさまざまなコンテンツ項目が表示可能である。場合によっては、ウェブサイトにおけるコンテンツ項目は、３Ｄ画像もしくは映像（例えば、視野角を変更することによって画像または映像に示されるさまざまなオブジェクトの視点が変更される画像または映像）、またはパノラマ画像もしくは映像（例えば、画像または現在の映像フレームが、楕円形または円柱形などの３Ｄ形状の輪郭が付けられて、ユーザの観察地点は、ユーザが画像または映像フレームの異なる部分を見るために回転させることができる３Ｄ形状の中心に設定される）などの３Ｄコンテンツ項目であり得る。いくつかの実装形態では、ウェブページにおけるコンテンツ項目は、ブラウザに表示されない３Ｄコンテンツと関連付け可能である。このようなコンテンツ項目は、例えば、３Ｄコンテンツの静止画像として示され得る。さまざまな実装形態では、関連付けられた３Ｄコンテンツは、環境コンテンツ（例えば、パノラマ画像、パノラマ映像、３Ｄ画像、または人工現実環境）または３Ｄモデルなどのさまざまなタイプのうちの１つとすることができる。
【0044】
いくつかの実装形態では、ウェブページにおけるコンテンツ項目が３Ｄコンテンツと関連付けられる時、インジケータはコンテンツとともに提示可能である。いくつかの実装形態では、インジケータは、ウェブベースコンテンツ項目と関連して表示される、グラフィック、色、アニメーション、陰影付けなどのユーザインターフェース（ＵＩ）要素であり得る。他の実装形態では、インジケータは、ユーザが、３Ｄコンテンツと関連付けられたウェブベースコンテンツ項目を選択する、ホバーする、またはこれに視線を向ける時、陰影付けまたは影付き効果など、ウェブベースコンテンツ項目に加えられる効果であり得る。
【0045】
ブロック５０４では、プロセス５００は、ブラウザに表示される現在のウェブサイトに含まれる１つまたは複数のコンテンツ項目の指示をブラウザから受信することができる。例えば、人工現実環境とブラウザとの間の、この通信および後述される他の通信は、プロセス間通信（ＩＰＣ）メッセージを使用して行われ得る。ブロック５０４は点線で示されることで、いくつかの実装形態ではこのステップがスキップされることを指示している。いくつかの実装形態では、プラグイン、ネイティブコード、またはロードされたスクリプトは、現在のウェブサイトのコンテンツをレビューし、かつ、例えば、ＨＴＭＬタグ、コンテンツ接尾辞識別子、コンテンツ項目に埋め込まれた識別子、コンテンツ自体の解析、または他のタグを使用することに基づいて、ある特定のタイプのコンテンツ項目を識別することができる。例えば、＜ｍｅｔａ＞タグは、ＨＴＭＬヘッダにおいて、３Ｄ環境または３Ｄオーディオのサウンドスケープを指示するために含まれ得、＜ｌｉｎｋ＞タグは３Ｄファビコンを指定することができ、または、さらなる属性が要素に含まれ得る（例えば、「ｄａｔａ－ｍｏｄｅｌ＝「＜ｍｏｄｅｌ＿Ｉｄ＞」」属性または「ｄａｔａ－ｅｎｖｉｒｏｎｍｅｎｔ＝「＜ｅｎｖｉｒｏｎｍｅｎｔ＿Ｉｄ＞」」属性は、＜ｉｍｇ＞要素または＜ｖｉｄｅｏ＞要素などのさまざまな要素に含まれ得る、または「ｍｅｄｉａＴｙｐｅ＝「＜ｔｙｐｅＩＤ＞」」属性は、＜ｓｒｃｓｅｔ＞要素に含まれ得る）。
【0046】
コンテンツ項目の識別子が受信される時、これらの識別子は、例えば、識別とともに含まれるＵＲＬまたは他の場所情報に基づいて、利用可能である（例えば、キャッシュされる）場合はローカルストレージから、またはリモートデータストアから、人工現実環境内にプリフェッチ可能である（がまだ表示されていない）。人工現実環境のローカルストレージにおいてこれらのコンテンツ項目を有することで、３Ｄコンテンツ項目を取得することによって、該コンテンツ項目がユーザ選択時に取得される場合のみに引き起こされる可能性がある遅延が低減可能である。
【0047】
いくつかの実装形態では、３Ｄコンテンツと関連付けられないウェブページにおける画像または他のコンテンツ項目は、ユーザがウェブページを訪れる時にパノラマ画像または３Ｄ画像に自動的に変換され得る。いくつかの実装形態では、この変換は、全体が参照により本明細書に組み込まれる、「Ｉｍａｇｅ Ｏｂｊｅｃｔ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｉｎ－Ｐａｉｎｔｉｎｇ Ｈｉｄｄｅｎ Ｓｕｒｆａｃｅｓ ｆｏｒ Ｍｏｄｉｆｉｅｄ Ｖｉｅｗｐｏｉｎｔ Ｒｅｎｄｅｒｉｎｇ」という名称の米国特許出願第１５／９５６，１７７号に記載されるものなどの機械学習方法を使用して達成される。プロセス５００は、人工現実環境のローカルストレージにおいてこれらの生成された３Ｄコンテンツ項目を記憶することができ、かつこれらを作成された対応するウェブコンテンツ項目と関連付けることができる。いくつかの実装形態では、例えば、ブラウザから画像を掴みかつ取り出すためのジェスチャなどの特定のジェスチャによって、ユーザがコンテンツ項目を選択すること（ブロック５０６を参照）に応答して変換が行われ得る。
【0048】
ブロック５０６では、プロセス５００は、ブラウザに表示される選択されたコンテンツ項目に対応するユーザジェスチャを識別することができる。いくつかの実装形態では、ジェスチャはコントローラを使用して行われ得る。他の実装形態では、ジェスチャは、例えば、システムがユーザの手の場所および格好を追跡するためにカメラおよび／またはウェアラブルデバイスを使用する場合、ユーザの手によって行われ得る。いくつかの実装形態では、ブラウザの方に手を伸ばし、かつコンテンツ項目の一部分を「掴む」ジェスチャは、片手もしくは両手またはコントローラによって行われ得る。さまざまな実装形態では、「掴む」ジェスチャは、コントローラがコンテンツ項目に最も近い時にコントローラ上の特定のボタンを押すこと、親指および１本または複数本の指をくっつけること、または手を握り締めるもしくはげんこつを作ることであり得る。掴むジェスチャは、本明細書における例では、いずれの場合にも、指タップする、ピンチする、ポイントするなどの他のジェスチャも使用可能である。１つの例では、ユーザは、コンテンツ項目の１つまたは複数の隅もしくは縁を掴むことによってコンテンツ項目を選択することができる。いくつかの実装形態では、ジェスチャは、ユーザがコンテンツ項目の一部分を掴みかつこれをブラウザから遠ざける場合のプルも含むことができる。これによって、ウェブページからコンテンツ項目を取り出す体験が提供可能である。
【0049】
いくつかの実装形態では、ブラウザは、人工現実環境が、ユーザジェスチャが対応するのはどのコンテンツ項目かを判断できるように、表示されたコンテンツ項目の場所の指示を人工現実環境に提供することができる。代替的には、人工現実環境は、ブラウザが、表示されるコンテンツ項目との相互関係を持つために使用し、かつ対応するコンテンツ項目識別子によって応えることができるジェスチャ場所情報をブラウザに供給することができる。
【0050】
いくつかの実装形態では、ブラウザ外の操作のためにコンテンツ項目を選択することによって、ブラウザは、コンテンツ項目を「隠す」ことあるいは表示しないようにすること、またはブラウザ外のバージョンが閉じられるまでプレースホルダコンテンツ項目を表示することができる。これは、コンテンツ項目を隠すあるいはこれをプレースホルダと置き換えるためのブラウザのプロセスをトリガするように、掴む場所またはどのコンテンツ項目が選択されているかを指示するメッセージをブラウザに送ることによって達成可能である。
【0051】
ブロック５０８では、プロセス５００は、ブロック５０６で選択されたコンテンツ項目が、Ａ）３Ｄコンテンツと関連付けられていないか、Ｂ）環境コンテンツ（例えば、パノラマ画像、パノラマ映像、３Ｄ画像、または新しい人工現実環境）と関連付けられているか、またはＣ）１つもしくは複数の３Ｄモデルと関連付けられているかどうかを判断することができる。３Ｄコンテンツとの関連性がある場合、該コンテンツ項目は、例えば、ＨＴＭＬタグ、コンテンツ接尾辞識別子、コンテンツ項目に埋め込まれた識別子、コンテンツ自体の解析、または他のタグを使用することに基づいて、ブロック５０４に関して上述されるように識別可能である。選択されたコンテンツ項目が３Ｄコンテンツと関連付けられていない場合、プロセス５００は、分岐「Ａ)」でサブプロセス５Ａ（図５続き－１に示される５２５）に移ることができる。いくつかの実装形態では、選択されたコンテンツ項目が３Ｄコンテンツと関連付けられていない時、プロセス５００は、選択されたコンテンツ項目に対する環境コンテンツ（例えば、３Ｄ画像）を生成することができる。これによって、選択されたコンテンツ項目はここで環境コンテンツと関連付けられることになる。選択されたコンテンツ項目が環境コンテンツと以前関連付けられていたまたは現時点で関連付けられている場合、プロセス５００は、分岐「Ｂ）」でサブプロセス５Ｂ（図５続き－２に示される５５０）に移ることができる。選択されたコンテンツ項目が１つまたは複数の３Ｄモデルと関連付けられている場合、プロセス５００は、分岐「Ｃ）」でサブプロセス５Ｃ（図５続き－３に示される５７５）に移ることができる。
【0052】
選択されたコンテンツ項目が３Ｄコンテンツと関連付けられていない時、プロセス５００は、分岐「Ａ)」でブロック５０８からプロセス５２５のブロック５２８に移っている。ブロック５２８では、プロセス５２５は、選択されたコンテンツ項目を得、かつこれの２Ｄバージョンを作成することができる。ブロック５０４がコンテンツをプリフェッチするために行われた場合、２Ｄバージョンは、人工現実環境のローカルストレージにおいて既に作成されている可能性があり、プロセス５２５はそのローカルストレージから２Ｄバージョンを得ることができる。他の実装形態では、プロセス５２５は、プロセス５２５がリモートストレージから取得可能である選択されたコンテンツ項目に対する、リモート記憶場所を指示するＵＲＬまたは他のアドレスを含む識別子を有することができる。いくつかの実装形態では、ブラウザは、例えば、ＩＰＣ通信を介して、選択されたコンテンツ項目を人工現実環境に供給することができる。いくつかの実装形態では、プロセス５２５は、プロセス５２５が画像を表示できる２Ｄパネルをブラウザ外に作成することができる。選択されたコンテンツ項目の２Ｄバージョンは、人工現実環境において表示できる。例えば、２Ｄバージョンは、ブロック５０６で識別されたジェスチャとの関連で表示可能である。ジェスチャが掴みおよびプルである場合のいくつかの実装形態では、これは、２Ｄバージョンがブラウザから取り出されているかのように現れ得る。
【0053】
ブロック５３０では、プロセス５２５は、選択されたコンテンツ項目の２Ｄバージョンのユーザ操作を監視することができる。例えば、ユーザは、コンテンツ項目の２Ｄバージョンの、サイズ変更、回転もしくは位置変更、変形、あるいはこれとの対話を行うことを可能にし得る。ユーザはまた、コンテンツ項目の２Ｄバージョンを「解除」あるいはこれから抜けることができる。いくつかの実装形態では、これは、ユーザの手を広げることまたはコントローラ上のボタンを解除することなどの特定のジェスチャを行うことによって達成可能である。他の実装形態では、２Ｄバージョンは、出口ボタンなどの仮想コントロールと関連付け可能であり、このアクティブ化は選択されたコンテンツ項目の解除を示すことができる。
【0054】
ブロック５３２では、プロセス５２５が選択されたコンテンツ項目の解除を識別していない場合、プロセス５２５は解除が識別されるまでブロック５３０に戻ることができる。解除が識別されると、プロセス５２５はブロック５３４に進むことができる。
【0055】
ブロック５３４では、選択されたコンテンツ項目が解除されることに応答して、プロセス５２５は、人工現実環境から、選択されたコンテンツ項目の２Ｄバージョンの表示を除去することができる。これは、この項目を人工現実環境のローカルストレージから削除すること、またはこれを隠されたオブジェクトとして設定することを含むことができる。いくつかの実装形態では、選択されたコンテンツ項目を解除することによって、２Ｄバージョンがブラウザに、例えば、プロセス５２５が２Ｄバージョンを隠す前に取り出されたブラウザにおける場所に、スナップするまたは戻るように見える可能性がある。ブラウザにおける選択されたコンテンツ項目が隠された、またはプレースホルダコンテンツ項目と置き換えられたいくつかの実装形態では、プロセス５２５は、ブラウザにおける選択されたコンテンツ項目を、ユーザが該コンテンツ項目を解除する時、またはブラウザに戻る２Ｄバージョンの効果を表示後に再表示するようにブラウザにシグナリングすることができる。プロセス５２５（およびプロセス５００）はその後終了することができる。
【0056】
ブロック５０８から、選択されたコンテンツ項目が環境コンテンツと関連付けられる時、プロセス５００は分岐「Ｂ）」でブロック５０８からプロセス５５０のブロック５５２に移っている。ブロック５５２では、プロセス５５０は、選択されたコンテンツ項目に対応する環境コンテンツを得、かつ環境コンテンツへの部分ビューを作成することができる。ブロック５０４がコンテンツをプリフェッチするために行われた場合、環境コンテンツは既に人工現実環境のローカルストレージにある可能性があり、プロセス５５０はそのローカルストレージから環境コンテンツを得ることができる。他の実装形態では、プロセス５５０は、環境コンテンツに対するＵＲＬまたは他のアドレスを含む識別子を有することができ、これをプロセス５５０で使用して、リモートストレージから環境コンテンツを取得することができる。いくつかの実装形態では、ブラウザは、例えば、ＩＰＣ通信を介して、環境コンテンツを供給することができる。いくつかの実装形態では、プロセス５５０は、ブラウザ外で、２Ｄパネルまたは輪郭が付けられた２Ｄ形状（例えば、楕円形または円柱形の一片）として環境コンテンツへの部分ビューを作成することができる。さまざまな実装形態では、環境コンテンツへの部分ビューは、環境の一部分の静止画像として２Ｄパネルまたは輪郭が付けられた２Ｄ形状で示され得る、または、部分ビューが移動すると環境のビューを変更する動的な「ウィンドウ」であり得る。例えば、部分ビューは、部分ビューの位置によって指定されるカメラ角度で環境における仮想カメラから環境へのある画像を示すことができる。作成されると、プロセス５５０は、人工現実環境において部分ビューを表示することができる。例えば、部分ビューは、ブロック５０６で識別されたジェスチャとの関連で表示可能である。ジェスチャが掴みおよびプルであるいくつかの実装形態では、これは、部分ビューがブラウザから取り出されるかのように見える可能性がある。この時点で、ユーザは、ブラウザを見ること、および部分ビューをブラウザ外に移動させる操作両方を行うことができる。
【0057】
ブロック５５４では、プロセス５５０は、環境コンテンツへの部分ビューのユーザ操作を監視することができる。例えば、ユーザは、部分ビューの、サイズ変更、回転もしくは位置変更、変形、あるいはこれとの対話を行うことを可能にし得る。いくつかの実装形態では、ユーザは、部分ビューの縁または隅を掴み、かつ、この縁または隅の位置を変更すること、例えば、これらを引き離すまたはくっつける、これらを回転させることなどによって、部分ビューを操作することができる。ユーザはまた、部分ビューを「解除する」あるいはこれから抜けることができる。いくつかの実装形態では、これは、ユーザの手を広げることまたはコントローラ上のボタンを解除することなどの特定のジェスチャを行うことによって達成可能である。他の実装形態では、部分ビューは、出口ボタンなどの仮想コントロールと関連付け可能であり、このアクティブ化は部分ビューの解除を示すことができる。
【0058】
ブロック５５６では、プロセス５５０が部分ビューの解除を識別していない場合、プロセス５５０はブロック５５８に進むことができる。解除が識別されると、プロセス５５０はブロック５６６に進むことができる。ブロック５５８では、プロセス５５０は、部分ビューの操作によって部分ビューが閾値を超えたかどうかを判断することができる。プロセス５５０は、部分ビューの合計サイズ、（距離が最小距離を下回っているような、閾値を「上回る」可能性がある）部分ビューとユーザの顔との間の距離、または、部分ビューが占めるユーザの視野量など、この判断についてのさまざまな閾値を使用することができる。いくつかの実装形態では、閾値は、部分ビューが（仮想空間で）２フィートより大きいまたはユーザの顔の１０インチ以内である場合に閾値を超えるかを判断することなど、これらの組み合わせ、またはこれらの間の代替策とすることができる。閾値の例は、部分ビューが、対角線が１８インチ、２４インチ、または３６インチを上回る、ユーザの顔の６インチ、１０インチ、または１８インチ以内である、または、ユーザの視野の３０パーセント、５０パーセント、または７５パーセント以上を占める場合を含む。他の閾値も使用可能である。部分ビューが閾値を超える場合、プロセス５５０はブロック５６０に進むことができる。その他の場合、プロセス５５０はブロック５５４に戻って、部分ビューのユーザ操作を監視し続けることができる。
【0059】
ブロック５６０では、部分ビューが閾値を超えることに応答して、プロセス５５０は環境コンテンツに基づいて新しい人工現実環境を表示することができる。例えば、環境コンテンツがパノラマ画像または映像である場合、プロセス５５０は、ユーザが、パノラマ画像または映像全体が表示される楕円形または円柱形の中心に位置するようにすることができることで、ユーザは自分の視線方向を変更することによってパノラマ映像または画像の異なる部分を見ることが可能になる。別の例として、環境コンテンツが３Ｄ画像または全環境、例えば、仮想オブジェクトを含むことができる仮想エリアである場合、プロセス５５０は、現在の環境を新しい仮想エリアと置き換え可能であることで、ユーザは、例えば、３または６自由度で、新しい仮想エリアを見ることが可能になる。さまざまな実装形態では、新しい人工現実環境はブラウザを示すことができる、または、ブラウザは以前の人工現実環境にとどまることができる。いくつかの実装形態では、ブロック５５２で部分ビューを作成する代わりに、プロセス５５０は、ユーザを新しい人工現実環境に即座に入れること、例えば、環境コンテンツを得た後ブロック５０８からブロック５６０に直接進むことによって、開始することができる。
【0060】
ブロック５６２では、プロセス５５０は、ユーザが新しい人工現実環境から抜けたどうかを判断することができる。例えば、ユーザは、特定のジェスチャを行うこと、コントロール上のボタンを押すこと、仮想コントロールをアクティブ化することなどによって、人工現実環境から抜けることを可能にしてよい。いくつかの実装形態では、ユーザは、新しい人工現実環境にいる間部分ビューを掴むジェスチャを保持し続けることができ、かつ部分ビューを解除することによって新しい人工現実環境から抜けることができる。ユーザが新しい人工現実環境から抜けるまで、プロセス５５０は、ブロック５６２からブロック５６０に戻ることができ、ここで、プロセス５５０は新しい人工現実環境を表示し続けることになる。
【0061】
ユーザが新しい人工現実環境から抜けると、プロセス５５０はブロック５６４に進むことができ、ここで、新しい人工現実環境を表示することを停止し、かつ以前の人工現実環境を代わりに表示することになる。いくつかの実装形態では、新しい人工現実環境から抜けると、環境コンテンツへの部分ビューは再び現れ得る（例えば、ユーザの片手もしくは両手、または１つもしくは複数のコントローラとの関連で位置付けられる）ことで、ユーザは部分ビューをさらに制御および操作することが可能になる。プロセス５５０は、ブロック５５４に戻ることによって部分ビューの操作をさらに監視することができる。代替的な実装形態では、破線５６８で示されるように、ブロック５５４に戻る代わりに、新しい人工現実環境から抜けることはまた、部分ビューを解除するとして解釈可能であるため、プロセス５５０はブロック５６６に進む。
【0062】
ブロック５５６またはブロック５６４のどちらかから入ったブロック５６６では、プロセス５５０は、人工現実環境から部分ビューの表示を除去可能である。これは、人工現実環境のローカルストレージから部分ビューを削除すること、または部分ビューを隠されたオブジェクトとして設定することを含むことができる。いくつかの実装形態では、人工現実環境から部分ビューを除去する前に、プロセス５５０は、部分ビューを、ブラウザに、例えば、取り出されたブラウザにおける場所にスナップするまたは戻るように見えるようにすることが可能である。ブラウザにおける選択されたコンテンツ項目が隠されたまたはプレースホルダコンテンツ項目と置き換えられたいくつかの実装形態では、プロセス５５０は、ブラウザにおける選択されたコンテンツ項目を、ユーザが部分ビューを解除する時またはブラウザに戻る部分ビューの効果を表示後に再表示するようにブラウザにシグナリングすることができる。プロセス５５０（およびプロセス５００）はその後終了することができる。
【0063】
ブロック５０８から、選択されたコンテンツ項目が１つまたは複数の３Ｄモデルと関連付けられる時、プロセス５００は、分岐「Ｃ）」でブロック５０８からプロセス５７５のブロック５７８に移っている。ブロック５７８では、プロセス５７５は、選択されたコンテンツ項目に対応する３Ｄモデル、および人工現実環境に対する３Ｄモデルを得ることができる。ブロック５０４がコンテンツをプリフェッチするために行われた場合、３Ｄモデルは、人工現実環境のローカルストレージに既にある可能性があり、プロセス５７５はローカルストレージからこれら３Ｄモデルを得ることができる。他の実装形態では、プロセス５７５は、プロセス５７５がリモートストレージから取得可能である３Ｄモデルに対するＵＲＬまたは他のアドレスを含む識別子を有することができる。いくつかの実装形態では、ブラウザは、例えば、ＩＰＣ通信を介して、３Ｄモデルを供給することができる。得られると、プロセス５７５は３Ｄモデルを人工現実環境にロードすることができる。
【0064】
プロセス５７５の残りは、１つまたは複数のモデルのそれぞれに対して、またはグループとしてのモデルに対して別個に行われ得る。ブロック５８０では、プロセス５７５は、３Ｄモデルのうちの１つのユーザ操作を監視することができる。例えば、ユーザは、関連のコントロールの、サイズ変更、回転もしくは位置変更、変形、アクティブ化を行う、あるいは３Ｄモデルに利用可能ないずれの対話も行うことが可能であってよい。ユーザは、３Ｄモデルを「解除」あるいはこれから抜けることができる。いくつかの実装形態では、これは、ユーザの手を広げることまたはコントローラ上のボタンを解除することなどの特定のジェスチャを行うことによって達成可能である。他の実装形態では、３Ｄモデルは、出口ボタンなどの仮想コントロールと関連付け可能であり、このアクティブ化は３Ｄモデルの解除を示すことができる。
【0065】
ブロック５８２では、プロセス５７５が３Ｄモデルの解除を識別していない場合、プロセス５７５は解除が識別されるまでブロック５８０に戻ることができる。解除が識別されると、プロセス５７５はブロック５８４に進むことができる。
【0066】
ブロック５８４では、３Ｄモデルが解除されることに応答して、プロセス５７５は、人工現実環境から３Ｄモデルの表示を除去することができる。これは、この３Ｄモデルを人工現実環境のローカルストレージから削除すること、またはこれを隠されたオブジェクトとして設定することを含むことができる。いくつかの実装形態では、３Ｄモデルを解除することによって、３Ｄモデルがブラウザに、例えば、プロセス５７５が３Ｄモデルを隠す前に取り出されたブラウザにおける場所に、スナップするまたは戻るようにすることができる。ブラウザにおける選択されたコンテンツ項目が隠された、またはプレースホルダコンテンツ項目と置き換えられたいくつかの実装形態では、プロセス５７５は、ブラウザにおける選択されたコンテンツ項目（または、そのモデルと関連付けられた選択されたコンテンツ項目の一部分）を、ユーザが３Ｄモデルを解除する時またはブラウザに戻る３Ｄモデルの効果を表示後に再表示するようにブラウザにシグナリングすることができる。プロセス５７５（およびプロセス５００）はその後終了することができる。
【0067】
図６は、人工現実環境においてウェブベースコンテンツ項目を提示するための現在の技術のいくつかの実装形態において使用されるプロセスを実行する構成要素の例６００を示すブロック図である。例６００は、人工現実（ＸＲ）環境６０２と、ＸＲ環境６０２に表示される画像６１２を有するウェブブラウザ６０４と、ジェスチャモニタ６０６と、選択可能コンテンツストア６０８と、コンテンツサーバまたはデータベース（ＤＢ）６１０と、コンテンツのインタラクティブな３Ｄバージョン６１４とを含む。
【0068】
例６００は、ＸＲ環境６０２に表示されるブラウザ６０４で開始する。ユーザは、画像６１２を含む表示されたウェブサイトを見てこれと対話するためにブラウザを動作させることができる。ウェブサイトがロードされる時、ブラウザ６０４はステップ６５２において、ウェブサイトにおいて、画像６１２を含むコンテンツ項目のリストを指示するＩＰＣメッセージを送る。ＩＰＣメッセージに応答して、選択可能コンテンツストア６０８は、コンテンツ項目のリストを解決して関連付けられたタグに基づくタイプにし、および、３Ｄ環境に含めるためのコンテンツ項目の少なくともいくつかに対応する３Ｄコンテンツを（例えば、ステップ６５４および６５６において）取得し、かつ記憶する。例えば、その他の場合は３Ｄコンテンツと関連付けられないウェブサイトからの画像は、ブラウザまたはリモートソースから受信され、かつ２Ｄバージョン（例えば、２Ｄパネル）にまたは３Ｄ画像に変換可能であり、コンテンツ項目は環境コンテンツ（例えば、パノラマ画像もしくは映像、３Ｄ画像、または環境）と関連付けられる場合、関連付けられた環境コンテンツは取得可能であり、または、コンテンツ項目が３Ｄモデルと関連付けられる場合、関連付けられた３Ｄモデルは取得可能である。
【0069】
例６００では、ジェスチャモニタ６０６がブラウザとの関連でユーザジェスチャを監視することを続けることができる。ジェスチャがステップ６５２からのＩＰＣメッセージに列挙された（例えば、示されない、ブラウザ６０４によって提供されたコンテンツ項目位置データに基づいて判断された）コンテンツ項目のうちの１つを選択する時、例６００は、ステップ６５８において、選択可能コンテンツストア６０８から、ブラウザ外の３Ｄ環境において表示可能である対応するコンテンツを選択することができる。この場合、ユーザは、ブラウザ内から画像６１２を「掴み」、かつ「プル」ジェスチャを行っている。それに応じて、選択可能コンテンツストア６０８は、画像６１２に対応するコンテンツのインタラクティブな３Ｄバージョン６１４をＸＲ環境６０２に提供することができ、ＸＲ環境６０２は該コンテンツをプルジェスチャに対して表示する。よって、ユーザには、ユーザがブラウザからコンテンツを取り出したかのように見える。ジェスチャモニタ６０６はまた、画像選択の指示をブラウザ６０４に提供可能であることで、ブラウザ６０４に、ユーザがコンテンツの３Ｄバージョン６１４を解除するまで画像６１２を空のボックスと置き換えさせる。その時点で、ＸＲ環境は、（最初に、コンテンツのインタラクティブな３Ｄバージョン６１４がブラウザ６０４へとスナップしているかのような効果を示して）コンテンツのインタラクティブな３Ｄバージョン６１４を隠し、かつ、空のボックスを元の画像６１２と置き換えるようにブラウザ６０４にシグナリングすることができる。
【0070】
図７Ａ～図７Ｃは、以前に３Ｄコンテンツと関連付けられなかったウェブベースコンテンツ項目との例示の対話を示す概念図である。図７Ａは、例えば、ユーザが、人工現実環境に表示されるブラウザ７０６の方に手を伸ばし、かつ画像７０４の縁近くを把持することによってブラウザ７０６によって表示される画像７０４を選択するジェスチャ７０２を示す。図７Ｂは、ユーザがブラウザから画像を「取り出す」ジェスチャを示す。人工現実環境は、このジェスチャに応答して、画像７０４を示す２Ｄパネル７３２を作成し、この２Ｄパネルはユーザの手に取り付けられる。人工現実環境はまた、ブラウザ７０６における画像７０４を空のボックス７３４と置き換えるためのメッセージをブラウザ７０６に送る。図７Ｃは、ユーザが、２Ｄパネル７３４の別の縁を掴み、かつこれを２Ｄパネル７３４の反対側の縁を保持しているジェスチャ７０２から遠ざける別のジェスチャ７６２を行うことで、人工現実環境で２Ｄパネル７３４を拡大させることを示す。
【0071】
図８Ａ～図８Ｄは、環境コンテンツ（この場合、パノラマ画像）を含む３Ｄコンテンツと関連付けられるウェブベースコンテンツ項目との例示の対話を示す概念図である。図８Ａは、人工現実環境に表示されるブラウザ８０６の方に手を伸ばし、かつ画像８０４の両側の縁を掴むことによってブラウザ８０６によって表示される画像８０４を選択するユーザの両手ジェスチャ８０２を示す。図８Ｂは、ユーザがジェスチャ８０２によってブラウザ８０６から画像８０４を取り出すことに応答して作成された画像８０４と関連付けられた環境コンテンツへの部分ビュー８３２をユーザが保持することを示す。ユーザは、環境への部分ビュー８３２を拡大するように、部分ビューの両側の縁を引き離すことによってジェスチャ８０２を拡張している。この時点で、環境への部分ビュー８３２は、依然、ユーザから閾値距離を下回って離れている。この例では、環境への部分ビュー８３２は、パノラマ画像への「ウィンドウ」であるため、ユーザは、パノラマ画像の異なる部分を見るために環境への部分ビュー８３２を異なる方向に移動させることができる。図８Ｃは、ユーザがジェスチャ８０２を保持し続ける時点を示すが、ユーザ自身までの閾値距離内の環境への部分ビュー８３２を取り出していることで、環境への部分ビュー８３２を（矢印８６２によって指示されるように）広げて人工現実環境全体を包含するようにする。ユーザはここで、パノラマ画像全体が表示される楕円体（例えば、球体）を包含する。ユーザは、自分の頭を３自由度で移動させて、ジェスチャ８０２を移動させる必要なくパノラマ画像の異なる部分を見ることができる。図８Ｄは、ユーザが、ジェスチャ８０２を解除するように、自分の手を開くことによるジェスチャ８８２を行った時点を示す。これによって、人工現実環境が図８Ｃで入った環境から抜けて、ブラウザ８０６を含む環境に戻り、および、環境への部分ビュー８３２がブラウザ８０６へとスナップする（アクション線８８４によって示される）効果を表示する。ブラウザ８０６はさらにまた、プレースホルダボックス８８６を元の画像８０４と置き換えることができる。
【0072】
図９Ａ～図９Ｃは、３Ｄモデルを含む３Ｄコンテンツと関連付けられたウェブベースコンテンツ項目との例示の対話を示す概念図である。図９Ａは、例えば、ユーザが、人工現実環境に表示されるブラウザ９０６の方に手を伸ばし、かつ、画像９０４の一部分を把持することによってブラウザによって表示される画像９０４を選択するジェスチャ９０２を示す。図９Ｂは、ユーザがジェスチャ９０２を保持している間ブラウザ９０６から画像９０４を取り出すことに応答して作成された画像９０４と関連付けられた３Ｄモデル９３２をユーザが保持することを示す。人工現実環境はまた、ブラウザ９０６における画像９０４を空のボックス９３４と置き換えるためのメッセージをブラウザ９０６に送る。ユーザはここで、ブラウザ９０６外の３Ｄ空間においてモデル９３２を操作することができ、例えば、ジェスチャ９０２を保持している間にモデル９３２を回転もしくは移動させる、または、３Ｄモデル９３２と関連して表示されるコントロール９３６をアクティブにする。図９Ｃは、ユーザが、ジェスチャ９０２を解除するように、自分の手を開くことによるジェスチャ９６２を行った時点を示す。これによって、人工現実環境は、３Ｄモデル９３２がブラウザ９０６に戻るようにした後隠されるようにし、かつユーザが３Ｄモデル９３２を解除したことを指示するメッセージをブラウザ９０６に送るようにする。ブラウザ９０６はさらにまた、プレースホルダボックス９３４を元の画像９０４と置き換えることができる。
【0073】
本明細書における、「実装形態」（例えば、「いくつかの実装形態」、「さまざまな実装形態」、「１つの実装形態」、「一実装形態」など）への言及は、実装形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも１つの実装形態に含まれることを意味する。本明細書におけるさまざまな場所にこれらの語句が現れることは、全てが必ずしも同じ実装形態に言及しているわけでもないし、他の実装形態を相互に除外する別個のまたは代替的な実装形態であるわけでもない。さらに、一部の実装形態によって示されるが他の実装形態によって示されない場合があるさまざまな特徴が記載される。同様に、一部の実装形態にとっては必要条件であるが、他の実装形態にとってはそうでないさまざまな必要条件が記載される。
【0074】
本明細書で使用される際、閾値を上回ることは、比較中の項目に対する値が指定された他の値を上回ること、比較中の項目がある特定の指定された数の項目の中で最も大きい値を有すること、または比較中の項目が指定された最高のパーセンテージ値内の値を有することを意味する。本明細書で使用される際、閾値を下回ることは、比較中の項目に対する値が指定された他の値を下回ること、比較中の項目がある特定の指定された数の項目の中で最も小さい値を有すること、または比較中の項目が指定された最低のパーセンテージ値内の値を有することを意味する。本明細書で使用される際に、閾値内であることは、比較中の項目に対する値が２つの指定された他の値の間にあること、比較中の項目が指定された数の項目の中間にあること、または比較中の項目が中間の指定されたパーセンテージ範囲内の値を有することを意味する。高いまたは重要ではないなどの相対的な用語は、別段定義されない時、値を割り当て、かつその値が確立された閾値とどのように比較されるかを判断するものと理解可能である。例えば、語句「速い接続を選択すること」は、その接続速度に対応して割り当てられた値を有し、その割り当てられた値が閾値を超える接続を選択することを意味するように理解可能である。
【0075】
本明細書で使用される際、「または」という語は、一連の項目の任意の可能な置換を指す。例えば、「Ａ、ＢまたはＣ」という語句は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、Ａ、Ｂ、およびＣ、またはＡおよびＡ、Ｂ、Ｂ、およびＣ、Ａ、Ａ、Ｂ、Ｃ、およびＣなどの複数の任意の項目のいずれかなど、Ａ、Ｂ、Ｃの少なくとも１つ、またはこれらの任意の組み合わせを指す。
【0076】
構造上の特徴および／または方法論的動作に特有の言語で主題について説明してきたが、添付の特許請求の範囲で定義される主題が必ずしも上述される具体的な特徴または動作に限定されないことは理解されたい。具体的な実施形態および実装形態が例示の目的で本明細書に説明されているが、実施形態および実装形態の範囲から逸脱することなく、さまざまな修正がなされ得る。上述される具体的な特徴および動作は、以下に続く特許請求の範囲を満たす例示の形態として開示される。それ故に、実施形態および実装形態は、添付の特許請求の範囲によって限定される場合を除いて限定されない。
【0077】
上で述べられるいずれの特許、特許出願、および他の参考文献も、参照により本明細書に組み込まれる。必要に応じて、上述されるさまざまな参考文献のシステム、機能、および概念を用いてさらなる実装形態を提供するために態様が修正され得る。参照により組み込まれる文献の記述または主題が本出願の記述または主題と矛盾する場合、本出願が優先されるものとする。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図8D】
【図9A】
【図9B】
【図9C】
【国際調査報告】