特表2023-548795眼運動に基づくエクステンデッドリアリティ環境相互作用の方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-21
(54)【発明の名称】眼運動に基づくエクステンデッドリアリティ環境相互作用の方法およびシステム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231114BHJP
G06F 3/0346 20130101ALI20231114BHJP
G06F 3/038 20130101ALI20231114BHJP
G06F 3/16 20060101ALI20231114BHJP
G06F 3/04812 20220101ALI20231114BHJP
G06T 19/00 20110101ALI20231114BHJP
【ＦＩ】
G06F3/01 510
G06F3/0346 421
G06F3/038 310A
G06F3/16 630
G06F3/04812
G06F3/038 350D
G06T19/00 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023524125
(86)(22)【出願日】2020-12-29
(85)【翻訳文提出日】2023-05-29
(86)【国際出願番号】 US2020067335
(87)【国際公開番号】W WO2022086577
(87)【国際公開日】2022-04-28
(31)【優先権主張番号】17/075,222
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,224
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,227
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,229
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/075,232
(32)【優先日】2020-10-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518345664
【氏名又は名称】ロヴィ ガイズ， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】アヘル， アンクル アニル
(72)【発明者】
【氏名】セン， スサント
(72)【発明者】
【氏名】バラジ， アール
(72)【発明者】
【氏名】プリクンタ， サイ ドゥルガ ヴェンカット レディ
(72)【発明者】
【氏名】ロバート ジョゼ， ジェフリー コップス
(72)【発明者】
【氏名】ティー ブイ， アルン クマール
(72)【発明者】
【氏名】齋藤 さくら
【テーマコード（参考）】
5B050
5B087
5E555
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050CA07
5B050CA08
5B050EA09
5B050EA27
5B050FA02
5B050FA05
5B050FA08
5B087AA09
5B087AB05
5B087BC05
5B087BC32
5B087DD03
5B087DD06
5B087DE03
5B087DE07
5E555AA11
5E555AA46
5E555BA02
5E555BA06
5E555BA38
5E555BB02
5E555BB06
5E555BB38
5E555BC04
5E555BC17
5E555BE17
5E555CA42
5E555CA44
5E555CA47
5E555CB19
5E555CB21
5E555CB64
5E555CB65
5E555CC01
5E555DA08
5E555DA09
5E555DB06
5E555DB53
5E555DB57
5E555DC09
5E555DC18
5E555DC19
5E555DC63
5E555DD06
5E555EA22
5E555EA23
5E555FA00
(57)【要約】
エクステンデッドリアリティ環境相互作用のためのシステムおよび方法が、説明される。オブジェクトを含む、エクステンデッドリアリティ環境が、表示のために発生され、第１のセンサが、注視がエクステンデッドリアリティ環境の第１の部分からエクステンデッドリアリティ環境の第２の部分に偏移していることを検出するために使用され、オブジェクトは、エクステンデッドリアリティ環境の第１の部分から除外され、エクステンデッドリアリティ環境の第２の部分内に含まれる。注視における偏移のインジケータが、注視偏移を検出することに応答して、エクステンデッドリアリティ環境内での表示のために発生され、音声コマンドが、インジケータがオブジェクトの近傍にある間に第２のセンサによって検出される。音声コマンドを検出することに応答して、音声コマンドに対応するアクションが、実行され得る。
【特許請求の範囲】
【請求項1】
エクステンデッドリアリティ環境相互作用のための方法であって、オブジェクトを備えるエクステンデッドリアリティ環境を表示のために発生させることと、
第１のセンサを使用することによって、注視が前記エクステンデッドリアリティ環境の第１の部分から前記エクステンデッドリアリティ環境の第２の部分に偏移していることを検出することであって、前記オブジェクトは、前記エクステンデッドリアリティ環境の第１の部分から除外され、前記エクステンデッドリアリティ環境の第２の部分内に含まれる、ことと、
前記注視偏移を検出することに応答して、前記注視における偏移のインジケータを前記エクステンデッドリアリティ環境内での表示のために発生させることと、
第２のセンサを使用することによって、前記インジケータが前記オブジェクトの近傍にある間に音声コマンドを検出することと、
前記音声コマンドを検出することに応答して、前記音声コマンドに対応するアクションを実行することと
を含む、方法。
【請求項2】
双方向性メディアガイドが、前記表示上に提供され、前記アクションは、前記双方向性メディアガイドを介してアクセス可能なメディアアセットに関連する命令である、請求項１に記載の方法。
【請求項3】
前記注視は、眼の網膜移動に基づいて検出され、前記方法はさらに、前記網膜移動を前記表示上の前記インジケータの移動に変換することを含む、請求項１または２に記載の方法。
【請求項4】
網膜移動のレートが、所定の値を超えるかどうかを決定することと、前記網膜移動のレートが、前記所定の値を超えることを決定することに応答して、前記網膜移動を前記表示上の前記インジケータの移動に変換するとき、前記網膜移動を正規化することと
をさらに含む、請求項３に記載の方法。
【請求項5】
前記音声コマンドは、前記メディアアセットの識別と、前記アクションを実行するためのコマンドとを含む、請求項２－４のいずれかに記載の方法。
【請求項6】
前記音声コマンドは、前記表示上に新しいメディアアセットを提示するための命令を含む、請求項２－５のいずれかに記載の方法。
【請求項7】
前記オブジェクトは、エンティティと関連付けられ、前記音声コマンドは、前記エンティティに関連するコンテンツを読み出すための命令を備える、請求項２－６のいずれかに記載の方法。
【請求項8】
前記インジケータが前記オブジェクトの近傍にある間に前記音声コマンドを検出することは、前記注視が少なくとも所定の閾値期間にわたって前記オブジェクトに指向されていることを決定することを含む、請求項１－７のいずれかに記載の方法。
【請求項9】
前記インジケータが前記オブジェクトの近傍にあることは、前記インジケータが前記オブジェクトに重複することを含む、請求項１－８のいずれかに記載の方法。
【請求項10】
前記表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、請求項１－９のいずれかに記載の方法。
【請求項11】
エクステンデッドリアリティ環境相互作用のためのシステムであって、前記システムは、請求項１－１０のいずれかに記載の方法を実行するように構成される制御回路網を備える、システム。
【請求項12】
エクステンデッドリアリティ環境相互作用のためのシステムであって、ディスプレイと、
制御回路網であって、
オブジェクトを備えるエクステンデッドリアリティ環境を表示のために発生させることと、
第１のセンサを使用することによって、注視が前記エクステンデッドリアリティ環境の第１の部分から前記エクステンデッドリアリティ環境の第２の部分に偏移していることを検出することであって、前記オブジェクトは、前記エクステンデッドリアリティ環境の第１の部分から除外され、前記エクステンデッドリアリティ環境の第２の部分内に含まれる、ことと、
前記注視偏移を検出することに応答して、前記注視における偏移のインジケータを前記エクステンデッドリアリティ環境内での表示のために発生させることと、
第２のセンサを使用することによって、前記インジケータが前記オブジェクトの近傍にある間に音声コマンドを検出することと、
前記音声コマンドを検出することに応答して、前記音声コマンドに対応するアクションを実行することと
を行うように構成される、制御回路網と
を備える、システム。
【請求項13】
双方向性メディアガイドが、前記表示上に提供され、前記アクションは、前記双方向性メディアガイドを介してアクセス可能なメディアアセットに関連する命令である、請求項１２に記載のシステム。
【請求項14】
前記制御回路網はさらに、眼の網膜移動に基づいて、前記注視を検出することと、
前記網膜移動を前記表示上の前記インジケータの移動に変換することと
を行うように構成される、請求項１２または１３に記載のシステム。
【請求項15】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上にエンコードされる命令を有し、前記命令は、制御回路網によって実行されると、前記制御回路網に、請求項１－１０のいずれかに記載の方法を実施させる、非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、改良されたエクステンデッドリアリティ環境相互作用に関し、特に、眼運動を検出し、検出された眼運動に基づいて、エクステンデッドリアリティ環境内で動作を実施するためのシステムおよび方法が、開示される。
【発明の概要】
【課題を解決するための手段】
【0002】
メディア技術における進歩は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）技術等のエクステンデッドリアリティ（ＸＲ）技術の開発につながっている。ＶＲシステムは、３次元コンピュータ発生環境内にユーザを完全に没入させる（例えば、ユーザに環境内にいる感覚を与える）、または部分的に没入させ得る（例えば、ユーザに環境を見ている感覚を与える）。環境は、ユーザが相互作用し得るオブジェクトまたはアイテムを含み得る。ＡＲシステムは、実世界物体にわたってオーバーレイされる拡張された情報等の現実の修正されたバージョンを提供し得る。ＭＲシステムは、双方向性仮想オブジェクトを実世界にマッピングする。そのようなシステムは、立体ディスプレイまたはスマートグラスを備える、頭部搭載型デバイス等のウェアラブルを利用し得る。
【0003】
ＸＲシステムは、多くの課題を導入する。例えば、環境を視認するために使用されているウェアラブルデバイスは、外部デバイス（例えば、レンズ）を含まない場合があるため、ＸＲシステムが、ユーザがＸＲ環境内で自身の視野または焦点を改変するときを検出することは、困難であり得る。別の実施例として、散瞳および縮瞳は、ユーザがＸＲ環境内で視認しているものまたはユーザの眼に入射する光の量に応じて、変動し得るが、ユーザは、自身の瞳孔に対する制御を有し得ず、したがって、ユーザの瞳孔を監視することは、ＸＲ環境内のユーザの注視または視野を決定するための信頼性のある方法ではない場合がある。さらに悪いことに、ユーザの視野が、正確に確認される場合であっても、ユーザの視野内に複数のオブジェクトが、存在する場合、ユーザが相互作用することを所望するオブジェクトを決定することは、困難であり得る。
【0004】
加えて、ＸＲに対する現在のアプローチは、ある欠点に悩まされている。１つのアプローチでは、ユーザは、ＸＲ環境をナビゲートするために、ハンドジェスチャまたはジョイスティックを採用する。しかしながら、ＸＲ環境と相互作用するためにそのようなユーザ入力を要求することは、ＸＲの体験を損なう（すなわち、ＸＲ環境が現実ではないことをユーザに思い出させる）ことは言うまでもなく、ユーザにとって面倒または不便であり得る。加えて、ＸＲに対する現在のアプローチでは、ユーザが自身の視野内のオブジェクトに関する情報を便宜的に取得すること、またはユーザがＸＲ環境内で相互作用することは、可能ではない場合がある。
【0005】
これらの問題を克服するために、ユーザの視野内のオブジェクトを識別し、ユーザの眼瞼運動を検出し、そのような検出に基づいて、修正された詳細レベルを用いてエクステンデッドリアリティ環境内でオブジェクトを表示のために再発生させるためのシステムおよび方法が、本明細書に提供される。本明細書に説明されるシステムおよび方法はまた、検出された眼瞼運動および記憶された眼瞼運動識別子を合致させるステップと、そのような合致に基づいて、オブジェクトに対してアクションを実施するステップとを提供する。加えて、オブジェクトを含む、エクステンデッドリアリティ環境の新しい部分へのユーザの注視偏移を反映するためのインジケータを発生させ、インジケータがオブジェクトの近傍にある間に音声コマンドが受信されるとき、アクションを実行するためのシステムおよび方法が、提供される。本明細書に説明されるシステムおよび方法はまた、オブジェクトを含む、エクステンデッドリアリティ環境の一部の近傍において、不透明度ベースのインジケータをエクステンデッドリアリティ環境内での表示のために発生させるステップと、オブジェクトの識別された境界に基づいて、そのようなインジケータの不透明度を変動させるステップとを提供する。加えて、ユーザが、エクステンデッドリアリティ環境内のアイテムについての付加的情報を便宜的に取得することを可能にするためのシステムおよび方法が、提供される。
【0006】
本開示のいくつかの側面では、エクステンデッドリアリティシステムは、第１のオブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させ、１つまたはそれを上回るセンサから入力を受信する。受信された入力に基づいて、本システムは、視野内の第１のオブジェクトを識別し、眼瞼運動を検出し、眼瞼運動を検出することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させる。したがって、眼瞼運動は、ユーザに着目されるユーザの視野内のオブジェクトを決定することと関連付けられる課題を克服するために、監視されることができる。加えて、ユーザのそのような眼瞼運動を検出することは、ユーザが、例えば、エクステンデッドリアリティ環境内のユーザから遠く離れているように見えるオブジェクトのより細かい詳細を視認することを可能にし、これは、特に、視覚障害を有するユーザに関して、エクステンデッドリアリティシステムにおけるユーザ体験を改良し得る。
【0007】
エクステンデッドリアリティ環境は、視野内の第１のオブジェクトおよび第２のオブジェクトを含む、複数のオブジェクトを備えてもよく、本システムは、検出された眼瞼運動が第１のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させてもよい。本システムが、検出された眼瞼運動が第２のオブジェクトと関連付けられることを決定する場合、本システムは、修正された詳細レベルを用いて第２のオブジェクトを表示のために再発生させてもよい。第１のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの一方にあってもよく、第２のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの他方にあってもよい。
【0008】
いくつかの実施形態では、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップは、より高い分解能においてオブジェクトを提示するステップを含む。加えて、または代替として、１つまたはそれを上回るアクションが、１つまたはそれを上回る検出された眼瞼運動に基づいて、第１のオブジェクトに対して実施されてもよい。
【0009】
本開示のいくつかの側面では、本システムは、ユーザに対する複数のオブジェクトの個別の仮想距離を算出し、視野内の第１のオブジェクトを識別するステップは、第１のオブジェクトが個別の仮想距離のユーザに最近接する仮想距離にあることを決定するステップを含む。
【0010】
いくつかの実施形態では、眼瞼運動を検出するステップは、眼瞼の運動の量を決定するステップを含む、および／または眼瞼運動を検出するステップは、１つまたはそれを上回る眼瞼レベルを決定するステップを含む。本システムは、第１のオブジェクトが視野内に留まる間、ユーザがエクステンデッドリアリティ環境内で第１の位置から新しい位置にナビゲートしていることを検出し、新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させてもよい。
【0011】
本開示のいくつかの側面では、エクステンデッドリアリティシステムは、オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させ、エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子および対応するアクションのテーブルをメモリ内に記憶する。センサを使用して、本システムは、眼瞼運動を検出し、検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させる。検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させることに応答して、本システムは、合致された眼瞼運動に対応するアクションに基づいて、エクステンデッドリアリティ環境の更新されたバージョンを表示のために発生させる。したがって、眼瞼運動は、ユーザが相互作用することを所望する視野内のオブジェクトを決定することと関連付けられる課題を克服するために、監視されることができる。加えて、ユーザのそのような眼瞼運動を検出することは、ユーザが、エクステンデッドリアリティ環境内のユーザから遠く離れているように見えるオブジェクトと相互作用することを可能にし、これは、特に、視覚障害を有するユーザに関して、エクステンデッドリアリティシステムにおけるユーザ体験を改良し得る。
【0012】
オブジェクトは、ユーザの注視がオブジェクトに指向されていることを検出することによって、エクステンデッドリアリティ環境内の複数のオブジェクトから選択されてもよい。本システムは、（例えば、ある眼瞼運動が実施させるアクションに関してユーザに思い出させる、またはユーザを誘導するために）ユーザの注視が指向されるオブジェクトに対して実施可能な眼瞼運動識別子のサブセットを表示のために発生させてもよい。複数のアクションのアクションは、オブジェクトを操作すること、および／またはオブジェクトの外観を改変することに対応してもよい。（例えば、オブジェクトが、書籍である場合、アクションは、書籍のページをめくること、書籍を傾けること、書籍のページを破ること等であってもよい）。本システムは、ユーザの注視がオブジェクト上に留まる間、ユーザがエクステンデッドリアリティ環境内で第１の位置から新しい位置にナビゲートしていることを検出し、新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンであって、改変された外観を有する、オブジェクトの更新されたバージョンを表示のために発生させてもよい。
【0013】
いくつかの実施形態では、ユーザは、エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子と対応するアクションとの間の関係を規定する、ユーザプロファイルと関連付けられてもよい。オブジェクトに対して実施可能なアクションは、オブジェクトのタイプに基づいて、変動してもよい。眼瞼運動を検出するために、本システムは、所定の期間にわたって眼瞼が閉じられたままであるかどうかを決定し、（例えば、眼瞼運動が不随意の瞬目ではないことを確実にするために）所定の期間にわたって眼瞼が閉じられたままであることを決定することに応答して、検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させてもよい。
【0014】
本開示のいくつかの側面では、エクステンデッドリアリティシステムは、オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させ、第１のセンサを使用して、注視がエクステンデッドリアリティ環境の第１の部分からエクステンデッドリアリティ環境の第２の部分に偏移していることを検出し、オブジェクトは、エクステンデッドリアリティ環境の第１の部分から除外され、エクステンデッドリアリティ環境の第２の部分内に含まれる。注視偏移を検出することに応答して、本システムは、注視における偏移のインジケータをエクステンデッドリアリティ環境内での表示のために発生させ、第２のセンサを使用することによって、インジケータがオブジェクトの近傍にある間に音声コマンドを検出する。音声コマンドを検出することに応答して、エクステンデッドリアリティシステムは、音声コマンドに対応するアクションを実行する。したがって、エクステンデッドリアリティは、ユーザ体験を改良するために、音声と組み合わせて活用されてもよい。より具体的には、ユーザは、エクステンデッドリアリティ環境をナビ－ゲートするために（例えば、マウスまたはトラックパッドがデスクトップ、ラップトップ、またはモバイルデバイスと併用される方法の代理として）自身の眼を便宜的に使用し、自身の注視の場所に関するリアルタイム確認を受け取り、ユーザの注視のインジケータが、エクステンデッドリアリティ環境内の着目オブジェクトの近傍にあるとき、音声コマンドを介して環境内で所望のアクションを実施してもよい。
【0015】
双方向性メディアガイドが、表示上に提供されてもよく、上記に言及されるアクションは、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連する命令であってもよい。音声コマンドは、メディアアセットの識別およびアクションを実行するためのコマンド、および／または表示上に新しいメディアアセットを提示するための命令および／またはエンティティに関連するコンテンツを読み出すための命令を含んでもよく、オブジェクトは、エンティティと関連付けられる。
【0016】
いくつかの実施形態では、エクステンデッドリアリティシステムは、網膜移動のレートが、所定の値を超えるかどうかを決定し、網膜移動のレートが、所定の値を超えることを決定することに応答して、網膜移動を表示上のインジケータの移動に変換するとき、網膜移動を正規化してもよい。本システムは、注視が少なくとも所定の閾値期間にわたってオブジェクトに指向されていることを決定することに応じて、インジケータがオブジェクトの近傍にある（例えば、オブジェクトに重複する）間に音声コマンドを検出してもよい。表示は、仮想現実頭部搭載型デバイスを介して提示される。
【0017】
本開示のいくつかの側面では、エクステンデッドリアリティシステムは、オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させ、センサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分に指向されていることを検出してもよく、オブジェクトは、エクステンデッドリアリティ環境の第１の部分内に含まれる。エクステンデッドリアリティシステムは、エクステンデッドリアリティ環境の第１の部分の近傍において、複数の不透明度ベースのインジケータをエクステンデッドリアリティ環境内での表示のために発生させ、オブジェクトの境界を識別し、オブジェクトの識別された境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させてもよい。したがって、ユーザは、エクステンデッドリアリティ環境をナビ－ゲートするために（例えば、マウスまたはトラックパッドがデスクトップ、ラップトップ、またはモバイルデバイスと併用される方法の代理として）自身の眼を便宜的に使用し、自身の注視の場所に関するリアルタイム確認を受け取ってもよく、そのようなリアルタイム注視のインジケータの不透明度は、ユーザの視野を不明瞭にせず、ユーザの体験を劣化させることを回避するように、便宜的に調節される。
【0018】
エクステンデッドリアリティシステムは、不透明度ベースのインジケータのうちの少なくとも１つがオブジェクトの境界に重複するかどうかを決定し、境界に重複する不透明度ベースのインジケータの個別の不透明度を変動させてもよい。複数の不透明度ベースのインジケータは、オブジェクトに向かって指向される矢印である。エクステンデッドリアリティシステムは、センサを使用することによって、注視がエクステンデッドリアリティ環境の第２の部分に偏移しているかどうかを検出し、注視が第２の部分に偏移していることを決定することに応答して、複数の不透明度ベースのインジケータを表示の第２の部分の近傍にオーバーレイさせてもよい。
【0019】
いくつかの実施形態では、個別の不透明度は、オブジェクトからの距離に基づいて変動される。例えば、インジケータの個別の不透明度は、（例えば、ユーザが注視しているオブジェクトを強調するために）インジケータとオブジェクトとの間の距離が減少するにつれて増加し、または、（例えば、ユーザが注視しているオブジェクトを不明瞭にすることを回避するために）インジケータとオブジェクトとの間の距離が減少するにつれて増加してもよい。
【0020】
いくつかの実施形態では、双方向性メディアガイドが、表示上に提供されてもよく、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連するアクションが、少なくとも部分的に、検出された注視に基づいて受信される。そのような表示は、仮想現実頭部搭載型デバイスを介して提示される、または仮想現実頭部搭載型デバイスの使用を伴わずに提示されてもよい。
【0021】
本開示のいくつかの側面では、エクステンデッドリアリティシステムは、オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させ、眼運動を検出し、検出に基づいて、オブジェクトが少なくとも所定の期間にわたって視野内にあるかどうかを決定する。オブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、本システムは、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる。したがって、着目オブジェクトに関する情報が、着目オブジェクトに関連するユーザの眼運動を検出することに基づいて、ユーザに便宜的に表示されてもよい。
【0022】
オブジェクトに関連する１つまたはそれを上回るアイテムは、テキスト情報、画像、ビデオ、またはそれらの任意の組み合わせを備えてもよい。本システムはさらに、オブジェクトが第１の所定の期間にわたって視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から少なくとも第２の所定の期間が経過していることを決定し、そのような決定に応答して、１つまたはそれを上回るアイテムの表示を停止してもよい。エクステンデッドリアリティ環境は、仮想現実頭部搭載型デバイスを介して提示されてもよい。いくつかの実施形態では、眼運動を検出するステップは、眼瞼運動を監視するステップまたは注視を監視するステップを含む。
【0023】
本システムは、仮想現実セッションの間の所定の期間にわたって、視野が連続的に（または非連続的に）オブジェクト上にあることを決定することに応じて、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定してもよい。
【0024】
いくつかの実施形態では、本システムは、新しいオブジェクトが少なくとも所定の時間にわたって視野内にあることを決定し、そのような決定に応答して、新しいオブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる一方、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させ続けてもよい。
【図面の簡単な説明】
【0025】
本開示の上記および他の目的および利点が、同様の参照文字が全体を通して同様の部分を指す、付随の図面と併せて検討される、以下の詳細な説明の考慮に応じて、明白となるであろう。
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【発明を実施するための形態】
【0041】
詳細な説明
図１は、本開示のいくつかの実施形態による、エクステンデッドリアリティ（ＸＲ）環境内でオブジェクトを表示のために再発生させる例示的プロセスを図示する。頭部搭載型ディスプレイ１０２は、画像を投影し、ユーザをその中に没入させるための３次元ＸＲ環境１００を発生させてもよい。ユーザは、ＸＲ環境１００内に完全または部分的に没入されてもよく、そのような環境は、完全に仮想環境であってもよい。頭部搭載型ディスプレイ１０２は、代替として、環境１００の発生を促進するために、ウェアラブルデバイス（例えば、スマートグラス）またはカメラおよびＸＲアプリケーションを装備するコンピュータまたはモバイルデバイスであってもよい。環境１００は、代替として、実世界物体がコンピュータ発生オブジェクトまたは情報を用いて補完される、拡張現実（ＡＲ）環境、または、例えば、仮想オブジェクトが実世界と相互作用する、または実世界が別様に仮想オブジェクトに接続される、複合現実（ＭＲ）であってもよい。いくつかの実施形態では、環境１００のユーザの視野または視点は、ユーザが自身の頭部を移動させる際に変化し、他の特徴（例えば、オーディオ）が、好適に修正され、物理的世界をシミュレートする。環境１００は、娯楽目的（例えば、ビデオゲーム、映画、ビデオ、スポーツ等）、通信（例えば、ソーシャルメディア）、教育目的（例えば、仮想教室）、職業目的（例えば、訓練シミュレーション）、医療目的等のためのものであってもよい。
図１は、本開示のいくつかの実施形態による、エクステンデッドリアリティ（ＸＲ）環境内でオブジェクトを表示のために再発生させる例示的プロセスを図示する。頭部搭載型ディスプレイ１０２は、画像を投影し、ユーザをその中に没入させるための３次元ＸＲ環境１００を発生させてもよい。ユーザは、ＸＲ環境１００内に完全または部分的に没入されてもよく、そのような環境は、完全に仮想環境であってもよい。頭部搭載型ディスプレイ１０２は、代替として、環境１００の発生を促進するために、ウェアラブルデバイス（例えば、スマートグラス）またはカメラおよびＸＲアプリケーションを装備するコンピュータまたはモバイルデバイスであってもよい。環境１００は、代替として、実世界物体がコンピュータ発生オブジェクトまたは情報を用いて補完される、拡張現実（ＡＲ）環境、または、例えば、仮想オブジェクトが実世界と相互作用する、または実世界が別様に仮想オブジェクトに接続される、複合現実（ＭＲ）であってもよい。いくつかの実施形態では、環境１００のユーザの視野または視点は、ユーザが自身の頭部を移動させる際に変化し、他の特徴（例えば、オーディオ）が、好適に修正され、物理的世界をシミュレートする。環境１００は、娯楽目的（例えば、ビデオゲーム、映画、ビデオ、スポーツ等）、通信（例えば、ソーシャルメディア）、教育目的（例えば、仮想教室）、職業目的（例えば、訓練シミュレーション）、医療目的等のためのものであってもよい。
【0042】
ＸＲシステムは、ユーザの視野内の１つまたはそれを上回るオブジェクトを識別してもよい。視野は、ディスプレイ１０２によって所与の時間にユーザに提示される、ＸＲ環境１００の一部（例えば、３６０度球体環境におけるある角度）である。視野は、ＶＲデバイスの場合では、立体視を生成するための２Ｄ画像の対を備えてもよく、ＡＲデバイス（例えば、スマートグラス）の場合では、視野は、実物体およびＡＲデバイスを使用して実物体の上にオーバーレイされる仮想オブジェクトの混合物（例えば、スマートグラスに関して、カメラを用いて捕捉された写真およびスマートグラスによって追加されたコンテンツ）を含み得る、３Ｄまたは２Ｄ画像を備えてもよい。ＸＲ環境が、単一の自由度、例えば、３６０度の回転を有する場合、任意の視野が、エッジ角度座標（例えば、＋１３５度、＋２２５度）によって、または視野の既知の角度開きと組み合わせられる単一の角度座標（例えば、－５５度）によってのいずれかで定義されてもよい。ＸＲ環境が、６自由度、すなわち、３６０度の３つの回転および３つの空間位置を有する場合、任意の視野が、３つの角度座標および３つの空間座標によって定義されてもよい。視野は、したがって、ユーザがＸＲ環境内の特定の場所におり、ＸＲセットを特定の方向に配向しているときに表示される、ＸＲ環境の一部として理解され得る。
【0043】
ＸＲシステム（例えば、図９のシステム９００）は、視野内の仮想オブジェクトと関連付けられるオブジェクト識別子を含む、視野に関するデータ構造を発生させてもよく、そのようなデータ構造は、ＸＲ環境内の視野の位置を表す座標を含んでもよい。本システムは、ＸＲデバイス１０２によって捕捉されたデータ構造および／または画像に基づいて、現在の視野を決定し、ユーザの視野内のオブジェクトを識別してもよい。図１の実施例に示されるように、環境１００内のユーザの検出された視野は、自動車として描写される、オブジェクト１０４を含むが、当業者は、任意の数または組み合わせの異なるタイプのオブジェクトが、環境１００内に含まれ得ることを理解するであろう。ＸＲシステムは、デフォルト詳細レベル（例えば、デフォルト分解能または表示されるピクセルの数、またはデフォルトサイズまたは外観）においてオブジェクト１０４を表示のために発生させてもよい。例えば、環境１００内のオブジェクトは、デフォルトで４Ｋ分解能（３，８４０×２，１６０）または任意の他の好適な分解能において提示されてもよい。環境１００内のオブジェクトの分解能は、ユーザの眼毎に同一である、または変動してもよい。いくつかの実施形態では、詳細レベルは、オブジェクトのサイズまたは外観を指し得、例えば、オブジェクトは、デフォルトサイズまたはデフォルト色において発生されてもよい。
【0044】
いくつかの実施形態では、ユーザの視野内の１つまたはそれを上回るオブジェクト１０４を決定することに応じて、ＸＲシステムは、特定の眼瞼運動があるアクションをオブジェクト１０４に対して実施させる方法に関してユーザに示す、または別様にガイダンスを提供し得る、識別子１０６（例えば、「自動車の詳細を修正するために１回瞬目する」）を表示のために発生させてもよい。いくつかの実施形態では、ＸＲシステムは、ＸＲ環境内のオブジェクト１０４に対して実施可能な複数の眼瞼運動識別子および対応するアクションを含む、テーブル（例えば、図８の記憶装置８０８内に記憶され得る、図３のテーブル３１６）を参照してもよい。例えば、テーブルは、加えて、示される眼瞼運動を検出することに応じて、ユーザに表示されるオブジェクトのサイズを増加または減少させることに対応し得る、識別子（例えば、２回瞬目する）を記憶してもよい。
【0045】
いったん視野内の着目オブジェクトが、識別されると、ＸＲシステムは、センサ（例えば、カメラ）を使用することによって、ユーザの眼瞼運動１０８を検出してもよい。いくつかの実施形態では、ＸＲシステムは、不随意の瞬目に基づいてアクションを実施することを回避するために（例えば、そのようなアクションがユーザによって所望されない場合）、眼瞼運動が、所定の期間（例えば、０．５秒または１秒）を超えるかどうかを検出してもよい。ユーザの眼瞼運動１０８（例えば、着目オブジェクトの詳細を修正するアクションに対応する単一の瞬目）を検出することに応答して、ＸＲは、頭部搭載型ディスプレイ１０２を介してユーザに提供される、オブジェクト１０４を表示のために再発生させる。例えば、オブジェクト１０４は、最初に提供されるもの（例えば、４Ｋ分解能、３，８４０×２，１６０）よりも高い分解能（例えば、８Ｋ分解能、７，６８０×４，３２０）においてユーザに提示されてもよい。いくつかの実施形態では、検出された眼瞼運動は、ＸＲシステムに、異なる様式でオブジェクト１０４の詳細を修正させてもよい（例えば、オブジェクトの初期提示と比較してオブジェクトのサイズを増加または減少させる、オブジェクトの初期外観と比較してオブジェクトの色またはテクスチャを変更する等）。
【0046】
いくつかの実施形態では、眼瞼運動を検出するステップは、眼瞼の運動の量を決定するステップを含む、または眼瞼運動を検出するステップは、１つまたはそれを上回る眼瞼レベルを決定するステップを含む。例えば、ＸＲシステムは、センサ（例えば、カメラ）を使用して、眼瞼の運動の量を検出してもよく、検出された量と所定の期間にわたる運動の閾値量（例えば、３秒期間にわたって検出される５回の眼瞼運動）を比較してもよく、眼瞼の運動の検出された量が、所定の期間にわたる運動の閾値量を超えるとき、画像が、修正または選択されてもよい。別の実施例として、ＸＲシステムは、センサ（例えば、カメラ）を使用して、所定の期間にわたる１つまたはそれを上回る眼瞼レベル（例えば、明確に異なる眼瞼レベル）を検出してもよく、検出された量と所定の期間にわたる眼瞼レベルの閾値数（例えば、３秒期間にわたって検出される５つの明確に異なる眼瞼レベル）を比較してもよく、眼瞼レベルの検出された数が、所定の期間にわたる眼レベルの閾値数を超えるとき、画像が、修正または選択されてもよい。
【0047】
図２は、複数のオブジェクトがユーザの視野内で検出される、例示的プロセスを示す。ＸＲシステムは、オブジェクト２０４および２０８がそれぞれ、頭部搭載型ディスプレイ２０２を介してＸＲ環境２００を表示されているユーザの視野内にあることを検出してもよい。図２の最上部分における環境２００に示されるように、ユーザの視野内にあるものとして検出されるオブジェクト２０４、２０８は、最初に、デフォルト詳細レベル（例えば、デフォルト分解能またはデフォルトサイズ）で提示されてもよい。眼瞼運動２１０（例えば、識別子２０６において示される「自動車の詳細を修正するために１回瞬目する」に対応する）を検出することに応じて、ＸＲシステムは、修正された詳細レベルを用いて視野内のオブジェクト２０４を表示のために再発生させてもよい（例えば、オブジェクト２０４の分解能を向上させる）。他方、眼瞼運動２１２（例えば、識別子２０６において示される「飛行機の詳細を修正するために２回瞬目する」に対応する）を検出することに応じて、ＸＲシステムは、修正された詳細レベルを用いて視野内のオブジェクト２０８を表示のために再発生させてもよい（例えば、オブジェクト２０８の分解能を向上させる）。
【0048】
いくつかの実施形態では、さらなる眼瞼運動２１２を検出することは、眼瞼運動２１０を検出することに応答して実施される修正を、続けて逆転させてもよい（例えば、オブジェクト２０４は、最初にユーザに提示されたデフォルト分解能に戻ってもよい一方、オブジェクト２０８は、修正された詳細を用いて提示される）。代替として、オブジェクトは、ＸＲセッション全体を通して、および／または将来のセッションにおいて、修正された状態において維持されてもよい。いくつかの実施形態では、眼瞼運動が再実施されていることを検出することは、アクションを逆転させてもよい（例えば、眼瞼運動２１０を２回目に検出することは、オブジェクト２０４を最初にユーザに提示されたデフォルト分解能に戻させてもよい）。いくつかの実施形態では、ユーザの視野内にあり得る複数のオブジェクトのうち、そのようなオブジェクトのうちの一方（例えば、オブジェクト２０４）は、ＸＲ環境２００の表示の前景にあってもよく、そのようなオブジェクトのうちの他方は、ＸＲ環境２００内の表示（例えば、オブジェクト２０８）の背景にあってもよい。加えて、１つまたはそれを上回るアクションが、ユーザの視野内の修正されたオブジェクトに対して実施されてもよい（例えば、特定の眼瞼運動が、自動車オブジェクト２０４の扉を開放すること、または飛行機オブジェクト２０８と相互作用することに対応してもよい）。視野内の直近で修正されたオブジェクトは、アクションがそのようなオブジェクトに対して実施され得るように、「選択された」オブジェクトであってもよい。そのような側面は、ユーザから遠い、または別様に詳細に見られることができないほど小さすぎるオブジェクトが、ユーザがオブジェクトを明確に視認することを可能にするために、修正された詳細での表示のために再発生されることを可能にし得る。
【0049】
本開示のいくつかの側面では、ＸＲシステムは、ユーザの視野内のオブジェクトと一致するユーザの眼瞼運動を検出してもよく、眼瞼が閉じられる相対的な程度を算出し、ユーザの視野内の最初に焦点を合わせるオブジェクトを決定してもよい。いくつかの実施形態では、ユーザが、ＸＲ環境に進入すると、ＸＲシステムは、デフォルト視野を設定し、環境内および／または視野内のオブジェクトの数を検出し、ユーザに対する検出されたオブジェクトのそれぞれの個別の仮想距離または焦点距離を算出してもよい。オブジェクトは、ユーザからの異なる仮想距離にあり得る。いくつかの実施形態では、視野内のオブジェクトを識別するステップは、オブジェクトが、個別の仮想距離または焦点距離のユーザに最近接する仮想距離にあることを決定するステップを含む。仮想距離は、例えば、ＸＲ環境内のオブジェクトがユーザから位置する知覚距離であってもよく、ＸＲ環境内のオブジェクトの座標に基づいて、計算されてもよい。ユーザの眼瞼レベルは、少なくとも部分的に、そのような仮想距離に基づいて計算されてもよく、眼瞼レベルの変化を検出することに応じて、ユーザに最近接する仮想距離にあるオブジェクトが、検出され、それに修正が実施され得る、着目オブジェクトとして選択されてもよい。
【0050】
いくつかの実施形態では、ＸＲシステムは、ＸＲ環境２００の周囲のユーザの移動を検出し、ユーザが動き回る際、ユーザの視野が変化することを検出してもよい。そのような状況では、ユーザの視野は、ユーザの新しい視野内のオブジェクトの数を決定するために、リセットされてもよい。他方、ＸＲシステムが、ＸＲ環境２００の周囲のユーザの移動を検出するが、ユーザの注視が、依然として特定のオブジェクト上に固定されたままであることを検出する場合、表示２００は、ユーザの移動と一貫する、変動された視点からのそのようなオブジェクトを表示のために発生させ、シミュレートされた環境を維持してもよい。いくつかの実施形態では、仮想現実システムによって検出される眼瞼レベルの任意の変化は、ユーザの視野内のその詳細が修正されるべきであるオブジェクトを決定するために使用されてもよい。ＸＲシステムは、センサ（例えば、制御回路網と組み合わせたジャイロスコープ、加速度計、カメラ等）を使用することによって、ＸＲ環境内のユーザの移動を追跡してもよい。
【0051】
図３は、本開示のいくつかの実施形態による、ＸＲ環境内のオブジェクトに対してアクションを実施する例示的プロセスを示す。頭部搭載型ディスプレイ３０２は、オブジェクト３０４、３１０、３１２、３１４を含む、ＸＲ環境３００を表示のために発生させてもよい。４つのオブジェクト（書籍オブジェクト３０４、ランプオブジェクト３１０、机オブジェクト３１２、および椅子オブジェクト３１４）が、環境３００内に示されるが、任意の数のオブジェクトおよび任意のタイプのオブジェクトが、表示のために発生され得ることを理解されたい。ＸＲシステム（例えば、図９のシステム９００）は、ＸＲ環境内のオブジェクトに対して実施可能な眼瞼運動識別子および対応するアクションのテーブル３１６を（例えば、図８の記憶装置８０８内に）記憶してもよい。例えば、テーブル３１６は、所望のアクション「書籍のページをめくるために１回瞬目する、書籍を傾けるために２回瞬目する、書籍からページを破るために３回瞬目する」を促進するためにユーザに表示され得る、識別子３０６によって示されるような書籍オブジェクト３０４に関する関連付けを含む、複数の関連付けを記憶してもよい。任意の数のアクションおよび任意のタイプの識別子が、テーブル３１６内に記憶され得、アクションが、オブジェクトのタイプに依存し得る（例えば、テーブル３１６は、ランプオブジェクト３１０に関連する仮想電球をオンにするアクションと関連付けられる識別子を記憶し得る）ことを理解されたい。環境が複数のオブジェクトを含む場合では、オブジェクトは、ユーザの注視がオブジェクトに指向されていることを（例えば、センサを使用して）検出することによって、複数から選択されてもよい。
【0052】
ＸＲシステムは、センサ（例えば、カメラ）を使用することによって、ユーザの眼瞼運動を検出する。本システムは、例えば、センサ出力を分析し、そのような出力と記憶される識別子（例えば、所定の数の瞬目、瞬目パターン、眼瞼運動の量、眼瞼レベル等）を比較することによって、検出された眼瞼運動が、テーブル３１６内の識別子のうちのいずれかに合致するかどうかを決定してもよい。いくつかの実施形態では、記憶される識別子は、音声コマンドまたは他の入力と組み合わせた眼瞼運動を含んでもよい。いくつかの実施形態では、ＸＲシステムは、不随意の瞬目に基づいてアクションを実施することを回避するために（例えば、そのようなアクションがユーザによって所望されない場合）、眼瞼運動が、所定の期間（例えば、０．５秒）を超えるかどうかを検出してもよい。本システムは、経時的なユーザの眼瞼の開放および閉鎖の程度に基づいて、ユーザの眼瞼運動を検出してもよい。
【0053】
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させることに応答して、ＸＲシステムは、合致された眼瞼運動に対応するアクションに基づいて、ＸＲ環境３００の更新されたバージョンを表示のために発生させる。図３の実施例では、本システムは、書籍のページをめくることと関連付けられる眼瞼運動を検出し（３１８）、閉じられた書籍を描写する、環境３００の上側部分における書籍オブジェクト３０４と比較して、書籍オブジェクト３０４のめくられたページを描写する、図３の下側部分における環境３００に示されるように、そのようなアクションを実行する。当業者は、環境３００内のオブジェクトが、種々の方法で操作され得、例えば、椅子オブジェクト３１４が、机オブジェクト３１２の異なる部分に隣接して移動され、または種々の方法で改変され、例えば、椅子オブジェクト３１４からクッションを除去し得ることを理解するであろう。
【0054】
いくつかの実施形態では、選択された着目オブジェクトのために好適な識別子３０６のサブセットが、特定の眼瞼運動に基づいて実施されるべき利用可能なアクションを決定する際のユーザの便宜のために、ユーザに表示されてもよい。いくつかの実施形態では、ＸＲシステムは、ＸＲ環境３００内のオブジェクトに対して実施可能な眼瞼運動識別子と対応するアクションとの間の関係を規定する、１つまたはそれを上回るユーザプロファイルを記憶してもよい。例えば、ユーザプロファイルは、例えば、ユーザの便宜のために識別子３０６と関連付けて表示され得る、ユーザ選好に調整されるアクション、ユーザのお気に入りのアクション、ユーザの直近で実施されたアクション、ユーザの最も一般的に実施されるアクション、ユーザの購入アクション等を含んでもよい。
【0055】
いくつかの実施形態では、ＸＲシステムは、ＸＲ環境２００の周囲のユーザの移動を検出してもよく、ユーザが動き回る際、ユーザの注視が変化することを検出してもよい。そのような状況では、本システムは、新しい着目オブジェクトを選択してもよい。代替として、本システムは、ユーザの注視がオブジェクト上に留まる間、ユーザがＸＲ環境内で第１の位置から新しい位置にナビゲートしていることを検出し、そのような決定に応答して、ユーザの視点に基づいて、オブジェクトの更新されたバージョンを表示のために発生させてもよい（例えば、ユーザに提示されるオブジェクトのサイズまたは角度を改変する）。オブジェクトの更新されたバージョンは、改変された外観（例えば、ユーザがテーブル３１６内のそのようなアクションと関連付けられる眼瞼運動を以前に実施した場合では、破かれたページを伴う書籍）を有するオブジェクトをユーザに提示することを含んでもよい。
【0056】
いくつかの実施形態では、図１－２に議論される側面は、図３の実施形態と組み合わせられてもよい（例えば、ＸＲ環境内の単一のユーザセッションにおいて、ＸＲ環境内のオブジェクトが、より詳細に再発生されてもよく、種々のアクションが、そのようなオブジェクトに対して実施されてもよい）。
【0057】
図４Ａ－４Ｂは、本開示のいくつかの実施形態による、インジケータがＸＲ環境内のオブジェクトの近傍にある間に音声コマンドを受信する実施例を示す。ＸＲシステム（例えば、図９のシステム９００）は、頭部搭載型ディスプレイ４０２を介して、ユーザにＸＲ環境４００を表示のために発生させてもよい。いくつかの実施形態では、ＸＲ環境４００は、メディアコンテンツの選択および消費を促進するために、双方向性メディアガイドアプリケーションを含んでもよい。ＸＲ環境４００は、選択可能なメディアコンテンツに関する識別子に対応し得る、１つまたはそれを上回るオブジェクト４０８、４１０を含んでもよい。本システムは、センサ（例えば、カメラ）を使用することによって、ユーザの注視が、ＸＲ環境の一部（例えば、オブジェクト４０８の近傍における（図４Ａ））から、ＸＲ環境の別の部分（例えば、オブジェクト４１０の近傍における（図４Ｂ））に偏移していることを検出する。図４Ａ－４Ｂが、例示的であり、ユーザの注視が、いかなるオブジェクトも含有しない、または複数のオブジェクトを含有し得る、ＸＲ環境４００の一部から、ＸＲ環境４００の別の部分に偏移していることを理解されたい。
【0058】
注視偏移を検出することに応答して、ＸＲシステムは、ＸＲ環境４００内に、注視における偏移を示すインジケータ４０６を表示のために発生させてもよい。例えば、図４Ａにおけるインジケータ４０６は、ユーザの注視が、オブジェクト４０８（例えば、映画「Ｔｈｅ Ｄａｒｋ Ｋｎｉｇｈｔ」に関する識別子）上にあることを反映し、図４Ｂでは、インジケータ４０６は、ユーザの注視が、オブジェクト４１０（例えば、映画「Ａｍｅｒｉｃａｎ Ｐｓｙｃｈｏ」に関する識別子）に偏移していることを反映する。いくつかの実施形態では、単一のインジケータが、表示のために発生されてもよい、または代替として、複数のインジケータが、表示のために発生されてもよい。いくつかの実施形態では、インジケータは、着目オブジェクトへの近接に基づいて、半透明度において変動してもよい。図４Ａ－４Ｂの実施例では、インジケータ４０６は、着目オブジェクトに指向される矢印として示されるが、インジケータが、関連付けられるオブジェクトをユーザに強調させる、または顕著に表示させるための任意の好適な印またはマーキングを備え得ることが、当業者によって理解されるであろう。例えば、インジケータは、着目オブジェクトを強調するためのある色または形状、眼球の画像または絵文字、インジケータの近傍におけるオブジェクトの拡大、インジケータの近傍におけるオブジェクトのアニメーション等であってもよい。
【0059】
本システムは、センサ（例えば、マイクロホン）を使用することによって、（例えば、インジケータが、着目オブジェクトに重複する、または別様にその所定の距離内にある場合）インジケータ４０６がオブジェクト４１０の近傍にある間に音声コマンドを検出してもよい。ＸＲシステムは、音声コマンドを処理し、（例えば、音声コマンド内に含まれるオブジェクトと、インジケータ４０６によって示されるようなユーザの注視が指向されるオブジェクトとの間の合致が存在するという条件で）アクションを実行してもよい。例えば、図４Ａの実施例における音声コマンド４０４を受信することに応じて、本システムは、オブジェクト４０８と関連付けられるメディアアセット「Ｔｈｅ Ｄａｒｋ Ｋｎｉｇｈｔ」の提示を開始してもよく、図４Ｂの実施例における音声コマンド４０５を受信することに応じて、本システムは、オブジェクト４１０と関連付けられるメディアアセット「Ａｍｅｒｉｃａｎ Ｐｓｙｃｈｏ」の提示を開始してもよい。いくつかの実施形態では、インジケータが、ユーザの注視を正確に反映していないことがユーザによって決定される場合、本システムは、本システムがユーザの注視を再較正することを要求する、および／またはユーザが自身が注視していると考える表示の部分を示す、好適な音声コマンドをユーザから受け取ってもよい。
【0060】
いくつかの実施形態では、ユーザの注視は、眼の網膜移動（センサ、例えば、網膜からの光源の反射を測定するカメラ、眼追跡グラス、画面ベースの眼追跡によって追跡される）に基づいて検出される。ユーザの網膜移動は、表示上のインジケータ４０６の移動として、ＸＲ環境の表示にプロットまたは変換されてもよい。本開示のいくつかの側面では、本システムは、網膜移動のレートが、所定の値を超えるかどうかを決定してもよく、そのような決定に応答して、網膜移動をＸＲ環境の表示上のインジケータ４０６の移動に変換するとき、正規化を実施する。例えば、注視偏移の速度が、所定の値を超える場合、正規化が、表示上のインジケータ４０６の移動を減速させるために（例えば、ユーザが表示上のインジケータ４０６の移動をより容易に追跡することを可能にするために）実施されてもよい。インジケータのクラスタ全体が、表示のそのような新しい部分に移動してもよい。
【0061】
いくつかの実施形態では、本システムは、ユーザ音声コマンドに応答する電子音声認識（または音声支援）デバイス（例えば、テレビ、コンピュータ、音声アシスタント）を含み、音声入力は、オーディオまたはデジタル信号（またはオーディオまたはデジタル入力）の形態であってもよい。本システムは、自然言語理解（ＮＬＵ）技法を実施してもよく、音声コマンドをテキストに転写するために、自然言語理解回路網および／または音声テキスト化回路網を含んでもよく、音声コマンドを解析し、音声入力からキーワードを識別および抽出してもよい。本システムは、抽出されたキーワードと着目オブジェクトと関連付けられるメタデータを比較し、合致が存在するかどうか、例えば、音声コマンドを実行するかどうかを決定してもよい。いくつかの実施形態では、受信された音声コマンドが、インジケータの近傍におけるオブジェクトに合致しない場合、本システムは、ユーザに不一致を通知し、関連付けられるアクションを実行することを控える、または新しい音声コマンドに関してユーザをプロンプトしてもよい。
【0062】
いくつかの実施形態では、音声コマンドは、メディアアセットの識別およびアクション（例えば、再生、早送り、巻き戻し等）を実行するためのコマンドまたは表示上に新しいメディアアセットを提示する（例えば、他のメディアアセットを通してスクロールする、またはカルーセル内のメディアアセットの新しいページに移動する）ための命令を含む。本開示のいくつかの側面では、インジケータがオブジェクトの近傍にあることを決定するステップは、ユーザの注視が少なくとも所定の閾値期間（例えば、５秒）にわたってオブジェクトに指向されていることを決定するステップを含む。
【0063】
図５は、本開示のいくつかの実施形態による、インジケータがＸＲ環境内のオブジェクトの近傍にある間に音声コマンドを受信する実施例を示す。ＸＲシステム（例えば、図９のシステム９００）は、頭部搭載型ディスプレイ５０２を含み、頭部搭載型ディスプレイ５０２を用いて、オブジェクト５０８、５１０を含む、ＸＲ環境５００を表示のために発生させてもよい。図５の上側環境５００に示されるように、本システムは、センサ（例えば、カメラ）を使用することによって、ユーザの注視がＸＲ環境の一部（例えば、オブジェクト５０８を含む）に指向されていることを検出してもよい。本システムは、ＸＲ環境５００のオブジェクト５０８を含む部分の近傍において、複数の不透明度ベースのインジケータ５０６をＸＲ環境５００内での表示のために発生させてもよい。図５の実施例では、インジケータ５０６は、着目オブジェクトに指向される矢印として示されるが、インジケータが、関連付けられるオブジェクトをユーザに強調させる、または顕著に表示させるための任意の好適な印またはマーキングを備え得ることが、当業者によって理解されるであろう。例えば、インジケータは、着目オブジェクトを強調するためのある色または形状、眼球の画像または絵文字、インジケータの近傍におけるオブジェクトの拡大、インジケータの近傍におけるオブジェクトのアニメーション等であってもよい。
【0064】
本システムは、例えば、エッジ検出技法、オブジェクト５０８の座標を読み出すこと、オブジェクト５０８を囲繞する面積のピクセル値を分析すること等によって、オブジェクト５０８の境界（例えば、エッジ、形状輪郭、端）を識別してもよい。オブジェクトの識別された境界に基づいて、ＸＲシステムは、複数の不透明度ベースのインジケータ５０６のうちの少なくとも１つの不透明度を変動させてもよい。いくつかの実施形態では、本システムは、複数の不透明度ベースのインジケータのうちの少なくとも１つが、オブジェクトの境界に重複する、またはその所定の距離内にあるかどうかを決定してもよく、そのような決定に応答して、オブジェクト５０８の境界に重複する１つまたはそれを上回るインジケータ５０６の個別の不透明度を変動させてもよい。例えば、本システムは、図９のＸＲシステム９００における着目オブジェクトの座標とインジケータ５０６の座標を比較してもよい。いくつかの実施形態では、本システムが、ユーザの注視が表示の一部（例えば、オブジェクト５０８を含む）から、別のオブジェクト（例えば、オブジェクト５１０）を含む表示の一部に偏移していることを検出する場合、本システムは、複数の透明度ベースのインジケータを、オブジェクト５１０を含む表示の部分の近傍にオーバーレイさせる。インジケータのクラスタ全体が、表示のそのような新しい部分に移動してもよい。
【0065】
本システムは、オブジェクトからの距離に基づいて、個別の不透明度を変動させてもよい。図５の実施例に示されるように、インジケータ５０６の個別の不透明度は、インジケータ５０６とオブジェクト５０８との間の距離が減少するにつれて、増加してもよい。これは、それにユーザの注視が指向される表示の部分をユーザに強調するために望ましくあり得る。代替として、図６の実施例に示されるように、インジケータ６０６の個別の不透明度は、個別のインジケータ６０６とオブジェクト６０８との間の距離が減少するにつれて、減少してもよい。これは、着目オブジェクトの部分を不明瞭にすることを最小限にするために望ましくあり得る。いくつかの実施形態では、本システムは、インジケータのうちのいずれかが、着目されない場合がある、別のオブジェクトに重複する、または別様にその近傍にあるかどうかを決定してもよく、そのような状況では、インジケータは、そのような着目されないオブジェクトの部分を不明瞭にすること、またはそのようなオブジェクトが着目されることをユーザに誤って示すことのいずれかを回避するために、半透明であるように設定されてもよい。
【0066】
図５および図６の実施例に示されるように、それぞれ、ＸＲ環境５００、６００は、双方向性メディアガイドを含んでもよい。インジケータ５０６、６０６の近傍におけるオブジェクトと関連付けられるアクションを実施するための音声コマンドを受信することに応答して、本システムは、アクションを実施してもよい（例えば、オブジェクト５０８、６０８と関連付けられる俳優である「Ｃｈｒｉｓｔｉａｎ Ｂａｌｅ」と関連付けられるメタデータを有する映画に関する識別子を提示のために発生させる）。図５－６の実施例は、「俳優」カテゴリに関連するオブジェクトを示すが、種々の他のカテゴリが、表示のために発生され、閲覧されてもよい（例えば、ジャンル、キャスト、監督等）。いくつかの実施形態では、環境５００、６００は、ＸＲ頭部搭載型デバイスの有無を問わずに提示されてもよい。例えば、ＸＲ環境は、完全没入型ＶＲとして、または図５－６に示されるようなテレビ画面上にオーバーレイされるＡＲまたはＭＲにおいて提示されてもよい。
【0067】
いくつかの実施形態では、図１－４の実施例の特徴は、図５－６の実施例の特徴と併せて使用されてもよい。例えば、インジケータ（例えば、図１におけるインジケータ１０６等）は、（例えば、図３のテーブル３１６における）実施可能なアクションと関連付けられ得る、眼瞼運動または注視を実施する際にユーザを誘導するために、ユーザに表示されてもよい。図５および６のインジケータはまた、他の環境（例えば、ビデオゲーム、スポーツ、通信、ソーシャルメディア等）に関連して使用されてもよい。
【0068】
図７は、本開示のいくつかの実施形態による、ＸＲ環境内のアイテムに関連する付加的情報を提示する実施例を示す。頭部搭載型ディスプレイ７０２は、ＸＲ環境７００をユーザに提示する。ＸＲ環境７００は、１つまたはそれを上回るオブジェクト、例えば、洗濯機オブジェクト７０２、冷蔵庫オブジェクト７０４、壁オブジェクト７０８等を含んでもよい。いくつかの実施形態では、ＸＲ環境７００は、環境７００内でとられ得るアクションをユーザに示し得る、識別子７０６を含む。環境７００は、建物（例えば、家屋またはアパート）内の部屋を示すが、環境７００は、任意の仮想または拡張環境、例えば、山脈、景色の良い場所、ユーザによってプレーされているビデオゲーム等を備えてもよい。
【0069】
本システムは、（例えば、センサを介して）ユーザの眼運動を検出し、検出された眼運動に基づいて、オブジェクト（例えば、洗濯機オブジェクト７０２、冷蔵庫オブジェクト７０４、および／または壁オブジェクト７０８）が少なくとも所定の期間７１０（例えば、５秒）にわたってユーザの視野内にあるかどうかを決定する。オブジェクト（例えば、壁オブジェクト）が、少なくとも所定の期間にわたって視野内にあることを決定することに応答して、本システムは、オブジェクト７０８に関連する１つまたはそれを上回るアイテム７１４をＸＲ環境内での表示のために発生させる。オブジェクトに関連する１つまたはそれを上回るアイテム７１４は、テキスト情報、画像、ビデオ、またはそれらの任意の組み合わせを備えてもよく、（例えば、図８の記憶装置８０８内に記憶される）アイテム情報データベース７１２から読み出されてもよい。例えば、アイテム７１４は、壁オブジェクト７０８の厚さを示し、そのような付加的情報は、ユーザがＸＲ環境７００内で頭部搭載型ディスプレイ７０２を介して壁オブジェクト７０８を注視するときに提供されてもよい。いくつかの実施形態では、眼運動を検出するステップは、眼瞼運動を監視するステップを含む。本開示のいくつかの側面では、オブジェクト７０８に関連する１つまたはそれを上回るアイテム７１４をＸＲ環境内での表示のために発生させるステップは、オブジェクト７０８が、少なくとも所定の期間にわたって視野内にあること、およびユーザの注視内にあることの両方を検出することに応答して、実施される。いくつかの実施形態では、本システムは、（例えば、ユーザによる、またはユーザの履歴データに基づいて本システムによって推奨される）所定の期間の修正を可能にする。
【0070】
別の実施例として、環境７００は、山脈であってもよく、ユーザの（例えば、センサを介して検出された）検出された眼運動に基づいて、オブジェクト（例えば、山）が少なくとも所定の期間にわたってユーザの視野内にあることを決定することに応じて、山オブジェクトに関する情報が、ユーザへの表示のために発生されてもよい（例えば、山の名前、山の標高、山の場所等）。
【0071】
本開示のいくつかの側面では、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定するステップは、ＸＲセッションの間の所定の期間（例えば、５秒）にわたって視野がオブジェクト上に連続的にあることを決定するステップを含んでもよい。例えば、本システムが、ユーザの視野が所定の期間へのタイマのカウントダウンの間に偏移していることを検出する場合、カウントダウンは、リセットされてもよい。代替として、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定するステップは、ＸＲセッションの間の所定の期間（例えば、５秒）にわたって視野がオブジェクト上に非連続的にあることを決定するステップを含んでもよい。例えば、本システムが、ユーザの視野が所定の期間へのタイマのカウントダウンの間に偏移していることを検出する場合、カウントダウンは、一時停止され、ユーザの注視がオブジェクトに戻ったことを検出することに応じて、再開されてもよい。
【0072】
いくつかの実施形態では、本システムは、新しいオブジェクトが少なくとも所定の時間にわたって視野内にあるかどうかを決定してもよい。例えば、本システムがそのような決定を行うことに応答して、本システムは、新しいオブジェクトに関連する１つまたはそれを上回るアイテムをＸＲ環境内での表示のために発生させる一方、オブジェクトに関連する１つまたはそれを上回るアイテム（例えば、オブジェクト７０８およびアイテム７１４）をＸＲ環境内での表示のために発生させ続けてもよい。これは、ユーザが、少なくともＸＲセッションの持続時間の間に複数のアイテムに関する付加的情報を視認することを可能にする。いくつかの実施形態では、付加的情報アイテムは、ＸＲ環境内の次のユーザセッションにおいて維持されてもよい。
【0073】
いくつかの実施形態では、本システムは、オブジェクト７０８が第１の所定の期間にわたって視野内に存在することなく、１つまたはそれを上回るアイテム７１４の表示の開始から少なくとも所定の期間（例えば、１０秒）が経過していることを決定してもよい。例えば、アイテム７１４がユーザに提供されて以降、少なくとも所定の期間（例えば、１０秒）が経過しており、アイテム７１４と関連付けられるオブジェクト７０８が、そのような期間の間に視野内にない場合、アイテム７１４の表示は、停止されてもよい（例えば、ユーザが、もはやオブジェクト７０８に着目していない場合があるため）。
【0074】
ある実施形態では、付加的入力（例えば、音声コマンド、ハンドジェスチャ、タッチ）が、ユーザの眼運動を検出することと組み合わせて利用されてもよい。例えば、本システムは、ユーザが、もはや着目アイテムに関連する付加的情報を視認することを所望していないことを示す音声コマンドを受信してもよい、または付加的情報を表示するための音声コマンドを受信してもよく、アイテム情報データベース７１２から着目アイテム（例えば、アイテム７０８）に関連する付加的情報を読み出してもよい。
【0075】
図８は、本開示のいくつかの実施形態による、ＸＲシステムにおける例証的デバイスのブロック図である。ＸＲシステムにおけるデバイス８００は、コンピュータネットワークを経由してＸＲデバイス（例えば、それぞれ、図１－７のデバイス１０２、２０２、３０２、４０２、５０２、６０２、７０２）に伝送される、ＸＲ環境を発生させる、表示する、および／または管理するための１つまたはそれを上回るサーバを含んでもよい。デバイス８００は、制御回路網８０４および／またはＩ／Ｏ経路８１０を含んでもよい。制御回路網８０４は、処理回路網８０６等の任意の好適な処理回路網に基づいてもよい。本明細書に言及されるように、処理回路網は、１つまたはそれを上回るマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等に基づく回路網を意味するように理解されるべきであり、マルチコアプロセッサ（例えば、デュアルコア、クアッドコア、ヘキサコア、または任意の好適な数のコア）またはスーパーコンピュータを含んでもよい。
【0076】
いくつかの実施形態では、処理回路網８０６は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット（例えば、２つのＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ）または複数の異なるプロセッサ（例えば、Ｉｎｔｅｌ Ｃｏｒｅ ｉ５プロセッサおよびＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ）を横断して分散されてもよい。Ｉ／Ｏ経路８１０は、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を経由して、デバイス情報または他のデータおよび／または他のコンテンツおよびデータを、処理回路網８０６および記憶装置８０８を含む制御回路網８０４に提供してもよい。制御回路網８０４は、Ｉ／Ｏ経路８１０を使用して、コマンド、要求、信号（デジタルおよびアナログ）、および他の好適なデータを送信および受信するために使用されてもよい。Ｉ／Ｏ経路８１０は、制御回路網８０４（および具体的には、処理回路網８０６）を１つまたはそれを上回る通信経路に接続してもよい。いくつかの実施形態では、記憶装置８０８は、図３のテーブル３１６および／または図７のアイテム情報データベース７１２を含んでもよい。
【0077】
いくつかの実施形態では、制御回路網８０４は、メモリ（例えば、記憶装置８０８）内に記憶される、ＸＲコンテンツ発生および／または処理機能の実行のための命令を実行する。命令は、不揮発性メモリ８１４および／または揮発性メモリ８１２のいずれかの中に記憶され、実行時に処理回路網８０６にロードされてもよい。ＸＲコンテンツを発生および処理するためのシステム（例えば、図１－７を参照して説明されるシステム）は、ユーザデバイス（例えば、エンドユーザデバイス９２０）および／またはサーバ（例えば、サーバ９００）上で実装されるスタンドアロンアプリケーションである、またはデバイス８００に従って複数のデバイスを横断して分散されてもよい。本システムは、ソフトウェアまたは実行可能命令のセットとして実装されてもよい。ＸＲ処理の本明細書に議論される実施形態のうちのいずれかを実施するための命令は、非一過性コンピュータ可読媒体（例えば、ハードドライブ、ＤＲＡＭ集積回路上のランダムアクセスメモリ、ＢＬＵＲＡＹディスク上の読取専用メモリ等）または一過性コンピュータ可読媒体（例えば、データおよび／または命令を搬送する伝搬信号）上でエンコードされてもよい。例えば、本明細書に説明されるプロセスによる命令は、記憶装置８０８内に記憶され、デバイス８００の制御回路網８０４によって実行されてもよい。
【0078】
制御回路網８０４は、１つまたはそれを上回るアナログチューナ、１つまたはそれを上回るＭＰＥＧ－２デコーダまたは他のデジタルデコード回路網、高精細チューナ、または任意の他の好適な同調またはビデオ回路またはそのような回路の組み合わせ等のビデオ発生回路網および同調回路網を含んでもよい。エンコード回路網（例えば、無線、アナログ、またはデジタル信号を記憶のためのＭＰＥＧ信号に変換するため）もまた、含まれてもよい。制御回路網８０４はまた、コンテンツを図９のエンドユーザデバイス９２０、９２５、９３０の好ましい出力フォーマットにアップコンバートおよびダウンコンバートするためのスケーラ回路網を含んでもよい。回路網８０４はまた、デジタル信号とアナログ信号との間で変換するためのデジタル／アナログコンバータ回路網と、アナログ／デジタルコンバータ回路網とを含んでもよい。同調およびエンコード回路網は、コンテンツを受信し、表示する、再生する、または記録するために使用されてもよい。同調およびエンコード回路網はまた、ガイダンスデータを受信するために使用されてもよい。例えば、同調、ビデオ発生、エンコード、デコード、暗号化、復号化、スケーラ、およびアナログ／デジタル回路網を含む、本明細書に説明される回路網は、１つまたはそれを上回る汎用または特殊化プロセッサ上で起動するソフトウェアを使用して実装されてもよい。複数のチューナが、同時同調機能（例えば、視聴および記録機能、物理的環境のビデオまたは他の記録を組み込むための機能、複数チューナ記録等）を取り扱うために提供されてもよい。記憶装置８０８が、デバイス８００とは別個のデバイスとして提供される場合、同調およびエンコード回路網（複数のチューナを含む）は、記憶装置８０８と関連付けられてもよい。デバイス８００は、各デバイス（例えば、１０２、２０２、３０２、４０２、５０２、６０２、７０２）と通信する中央デバイスであってもよい。代替として、デバイス８００は、デバイス１０４に対応してもよく、すなわち、各システム（例えば、図１－７の）は、その独自のデバイス９２０を有していない場合があり、むしろ、単一の中央デバイス８００が、システム毎にＸＲ環境発生およびプロセスを実行してもよい。
【0079】
図９は、本開示のいくつかの実施形態による、ＸＲコンテンツシステムの例証的ブロック図を示す。少なくとも１つのＸＲコンテンツサーバ９００が、本明細書に説明されるもの等のＸＲコンテンツを発生させる。ＸＲコンテンツサーバ９００は、インターネット９１０を経由して、デバイス９２０、９２５、９３０を含む、複数のエンドユーザデバイスにコンテンツを伝送してもよい。エンドユーザＸＲデバイスは、例えば、パーソナルコンピュータ、モバイルデバイス（例えば、スマートフォン）、および／またはＸＲ環境を提示し、それとの相互作用を可能にするように構成される、ＸＲヘッドセット、ゴーグル、スーツ、グローブ等を含む、ウェアラブルデバイスを含んでもよい。これらのデバイスは、オペレータ／ユーザが、（例えば、表示画面を介して）マルチユーザＸＲコンテンツを視認し、それと相互作用することを可能にするように構成される。これらのデバイスは、例えば、本明細書に説明されるような視点および注意指向キューを提示する、視覚、オーディオ、および触覚フィードバックを提供してもよい。エンドユーザデバイス９２０、９２５、９３０はまた、インターネット９１０を介してサーバ９００にデータを伝送し、そのようなデータは、デバイス９２０、９２５、９３０が向いている方向（したがって、サーバ９００が各デバイス９２０、９２５、９３０上で表示のために発生させなければならないビュー）を示す配向情報、各デバイス９２０、９２５、９３０によって検出されるオーディオ信号、およびＸＲオブジェクトの選択等のユーザ入力を含む。サーバ９００は、次いで、デバイス９２０、９２５、９３０毎にＸＲ環境のビューを発生させてもよい。
【0080】
図１０は、本開示のいくつかの実施形態による、ＸＲ環境内でオブジェクトを表示のために再発生させるための詳細な例証的プロセスのフローチャートである。プロセス１０００またはその任意のステップが、図８－９に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセス１３００は、複数のデバイス間でエクステンデッドリアリティ環境の制御を分散させるため等、ネットワークデバイス８００、および／またはサーバ９００、および／またはデバイス９２０、９２５、９３０上で実装され得るコンピュータ実行可能命令の１つまたはそれを上回るプログラムによって命令されるように、ネットワークデバイス８００（例えば、制御回路網８０４を介して）、および／またはサーバ９００の制御回路網、および／またはデバイス９２０、９２５、９３０の制御回路網によって実行されてもよい。加えて、プロセス１０００の１つまたはそれを上回るステップは、任意の他のプロセスまたは実施形態（例えば、図１１のプロセス１１００、図１２のプロセス１２００、図１３のプロセス１３００、図１４のプロセス１４００、図１５のプロセス１５００）の１つまたはそれを上回るステップに組み込まれる、またはそれと組み合わせられてもよい。
【0081】
１００２において、入力／出力（Ｉ／Ｏ）回路網（例えば、頭部搭載型ディスプレイ１０２のＩ／Ｏ回路網）が、ＸＲ環境（例えば、ＶＲ、ＡＲ、またはＭＲ環境）に進入するためのユーザ選択を受信してもよい。そのようなユーザ選択は、入力（例えば、音声コマンドまたはタッチスクリーン）を介して受信されてもよい。
【0082】
１００４において、制御回路網（例えば、図８の制御回路網８０４および／または図１の頭部搭載型ディスプレイ１０２の制御回路網）が、ユーザ選択を受信することに応答して、オブジェクト（例えば、図１の自動車オブジェクト１０４）を含む、ＸＲ環境を表示のために（例えば、図１の頭部搭載型デバイス１０２を介して）発生させてもよい。
【0083】
１００６において、Ｉ／Ｏ回路網（例えば、頭部搭載型ディスプレイ１０２のＩ／Ｏ回路網）が、センサ（例えば、カメラ）から入力を受信してもよい。センサは、ユーザの眼の種々の属性（例えば、眼瞼運動、注視）を検出してもよい。
【0084】
１００８において、制御回路網（例えば、図８の制御回路網８０４および／または図１の頭部搭載型ディスプレイ１０２の制御回路網）は、受信された入力に基づいて、ユーザの視野内のオブジェクト（例えば、図１の自動車オブジェクト１０４）を識別してもよい。いくつかの実施形態では、制御回路網は、視野内の仮想オブジェクトと関連付けられるオブジェクト識別子を含む、視野に関するデータ構造を発生させてもよく、そのようなデータ構造は、ＸＲ環境内の視野の位置を表す座標を含んでもよい。制御回路網は、ＸＲデバイス１０２によって捕捉されたデータ構造および／または画像に基づいて、現在の視野を決定し、ユーザの視野内のオブジェクトを識別してもよい。
【0085】
１０１０において、制御回路網は、センサ（例えば、カメラ）からの受信された入力に基づいて、ユーザの眼瞼運動（例えば、眼瞼運動の量、瞬目パターン、眼瞼レベル等）を検出してもよい。いくつかの実施形態では、そのような眼瞼運動は、ユーザのそのような不随意の瞬目をコマンドとして解釈することを回避するために、不随意の瞬目から区別されてもよい。例えば、本システムは、眼が所定の時間量（例えば、０．５秒）未満にわたって閉じられたままである瞬目パターンを無視してもよい。
【0086】
１０１２において、制御回路網は、眼瞼運動を検出することに応答して、修正された詳細レベルを用いてオブジェクト（例えば、図１の自動車オブジェクト１０４）を表示のために再発生させてもよい。例えば、制御回路網は、特定の瞬目パターンを検出することに応じて、より高い分解能においてオブジェクトを表示のために再発生させてもよい。いくつかの実施形態では、制御回路網は、検出された眼瞼運動が、オブジェクトの詳細レベルを修正するための眼瞼運動識別子に合致するかどうかを決定するために、眼瞼運動識別子と実施可能なアクションとの間の関連付けを記憶する、テーブル（例えば、図３のテーブル３１６）を参照してもよい。
【0087】
図１１は、本開示のいくつかの実施形態による、ＸＲ環境内でオブジェクトを表示のために再発生させるための詳細な例証的プロセスのフローチャートである。例えば、プロセス１１００は、複数のデバイス間でエクステンデッドリアリティ環境の制御を分散させるため等、ネットワークデバイス８００、および／またはサーバ９００、および／またはデバイス９２０、９２５、９３０上で実装され得るコンピュータ実行可能命令の１つまたはそれを上回るプログラムによって命令されるように、ネットワークデバイス８００（例えば、制御回路網８０４を介して）、および／またはサーバ９００の制御回路網、および／またはデバイス９２０、９２５、９３０の制御回路網によって実行されてもよい。加えて、プロセス１１００の１つまたはそれを上回るステップは、任意の他のプロセスまたは実施形態（例えば、図１０のプロセス１０００、図１２のプロセス１２００、図１３のプロセス１３００、図１４のプロセス１４００、図１５のプロセス１５００）の１つまたはそれを上回るステップに組み込まれる、またはそれと組み合わせられてもよい。
【0088】
１１０２において、Ｉ／Ｏ回路網（例えば、頭部搭載型ディスプレイ２０２のＩ／Ｏ回路網）が、ＸＲ環境（例えば、ＶＲ、ＡＲ、またはＭＲ環境）に進入するためのユーザ選択を受信してもよい。そのようなユーザ選択は、入力（例えば、音声コマンドまたはタッチスクリーン）を介して受信されてもよい。
【0089】
１１０４において、制御回路網（例えば、図８の制御回路網８０４および／または図２の頭部搭載型ディスプレイ２０２の制御回路網）が、ユーザ選択を受信することに応答して、複数のオブジェクト（例えば、図２の自動車オブジェクト２０４および図２の飛行機オブジェクト２０８）を含む、ＸＲ環境を表示のために（例えば、図２の頭部搭載型デバイス２０２を介して）発生させてもよい。
【0090】
１１０６において、Ｉ／Ｏ回路網（例えば、頭部搭載型ディスプレイ１０２のＩ／Ｏ回路網）が、センサ（例えば、カメラ）から入力を受信してもよい。センサは、ユーザの眼の種々の属性（例えば、眼瞼運動、注視）を検出してもよい。
【0091】
１１０８において、制御回路網（例えば、図８の制御回路網８０４および／または図１の頭部搭載型ディスプレイ２０２の制御回路網）は、受信された入力に基づいて、ユーザの視野内のオブジェクト（例えば、図２の自動車オブジェクト２０４および図２の飛行機オブジェクト２０８）を識別してもよい。いくつかの実施形態では、制御回路網は、視野内の仮想オブジェクトと関連付けられるオブジェクト識別子を含む、視野に関するデータ構造を発生させてもよく、そのようなデータ構造は、ＸＲ環境内の視野の位置を表す座標を含んでもよい。制御回路網は、ＸＲデバイス２０２によって捕捉されたデータ構造および／または画像に基づいて、現在の視野を決定し、ユーザの視野内のオブジェクトを識別してもよい。
【0092】
１１１０において、制御回路網は、センサ（例えば、カメラ）からの受信された入力に基づいて、ユーザの眼瞼運動（例えば、眼瞼運動の量、瞬目パターン、眼瞼レベル等）を検出してもよい。いくつかの実施形態では、そのような眼瞼運動は、ユーザのそのような不随意の瞬目をコマンドとして解釈することを回避するために、不随意の瞬目から区別されてもよい。例えば、本システムは、眼が所定の時間量（例えば、０．５秒）未満にわたって閉じられたままである瞬目パターンを無視してもよい。
【0093】
１１１２において、制御回路網は、眼瞼運動が、第１のオブジェクト（例えば、図２の自動車オブジェクト２０４）と関連付けられるかどうかを決定してもよい。図２の実施例では、制御回路網は、検出された眼瞼運動が、眼瞼運動識別子「自動車の詳細を修正するために１回瞬目する」（例えば、図３のテーブル３１６内に記憶される）に合致するかどうかを決定してもよい。
【0094】
１１１４において、検出された眼瞼運動が、第１のオブジェクト（例えば、図２の自動車オブジェクト２０４）に関する眼瞼運動識別子に合致することを決定することに応じて、制御回路網は、修正された詳細レベルを用いてそのようなオブジェクトを表示のために再発生させてもよい。例えば、制御回路網は、特定の瞬目パターンを検出することに応じて、最初に提示されるものよりも高い分解能において、または特定の瞬目パターンを検出することに応じて、最初に提示されるものよりも大きいサイズにおいて、そのようなオブジェクトを表示のために再発生させてもよい。
【0095】
１１１６において、制御回路網が、眼瞼運動が第１のオブジェクト（例えば、図２の自動車オブジェクト２０４）と関連付けられないことを決定する場合、制御回路網は、眼瞼運動が別のオブジェクト（例えば、図２の飛行機オブジェクト２０８）と関連付けられるかどうかを決定してもよい。図２の実施例では、制御回路網は、検出された眼瞼運動が、眼瞼運動識別子「飛行機の詳細を修正するために２回瞬目する」（例えば、図３のテーブル３１６内に記憶される）に合致するかどうかを決定してもよい。
【0096】
１１１８において、検出された眼瞼運動が、第２のオブジェクト（例えば、図２の飛行機オブジェクト２０８）に関する眼瞼運動識別子に合致することを決定することに応じて、制御回路網は、修正された詳細レベルを用いてそのようなオブジェクトを表示のために再発生させてもよい。例えば、制御回路網は、特定の瞬目パターンを検出することに応じて、最初に提示されるものよりも高い分解能において、または特定の瞬目パターンを検出することに応じて、最初に提示されるものよりも大きいサイズにおいて、オブジェクトを表示のために再発生させてもよい。したがって、ユーザは、自身の眼瞼を作動させることによって、選択的に自身の注視または焦点をＸＲ環境内で偏移させ得る。
【0097】
図１２は、本開示のいくつかの実施形態による、ＸＲ環境内のオブジェクトに対してアクションを実施するための詳細な例証的プロセスのフローチャートである。例えば、プロセス１２００は、複数のデバイス間でエクステンデッドリアリティ環境の制御を分散させるため等、ネットワークデバイス８００、および／またはサーバ９００、および／またはデバイス９２０、９２５、９３０上で実装され得るコンピュータ実行可能命令の１つまたはそれを上回るプログラムによって命令されるように、ネットワークデバイス８００（例えば、制御回路網８０４を介して）、および／またはサーバ９００の制御回路網、および／またはデバイス９２０、９２５、９３０の制御回路網によって実行されてもよい。加えて、プロセス１２００の１つまたはそれを上回るステップは、任意の他のプロセスまたは実施形態（例えば、図１０のプロセス１０００、図１１のプロセス１１００、図１３のプロセス１３００、図１４のプロセス１４００、図１５のプロセス１５００）の１つまたはそれを上回るステップに組み込まれる、またはそれと組み合わせられてもよい。
【0098】
１２０２において、Ｉ／Ｏ回路網（例えば、頭部搭載型ディスプレイ３０２のＩ／Ｏ回路網）が、ＸＲ環境（例えば、ＶＲ、ＡＲ、またはＭＲ環境）に進入するためのユーザ選択を受信してもよい。そのようなユーザ選択は、入力（例えば、音声コマンドまたはタッチスクリーン）を介して受信されてもよい。
【0099】
１２０４において、制御回路網（例えば、図８の制御回路網８０４および／または図３の頭部搭載型ディスプレイ３０２の制御回路網）が、ユーザ選択を受信することに応答して、オブジェクト（例えば、図３の書籍オブジェクト３０４）を含む、ＸＲ環境を表示のために（例えば、図３の頭部搭載型デバイス３０２を介して）発生させてもよい。いくつかの実施形態では、制御回路網は、複数のオブジェクト（例えば、図３の書籍オブジェクト３０４、ランプオブジェクト３１０、机３１２、椅子３１４）を発生させてもよい。
【0100】
１２０６において、制御回路網は、オブジェクトに対して実施可能な眼瞼運動識別子および対応するアクションのテーブル（例えば、図３のテーブル３１６）をメモリ（例えば、図８の記憶装置８０８および／または図３の頭部搭載型ディスプレイ３０２の記憶装置）内に記憶する、またはそれにメモリ内でアクセスしてもよい。
【0101】
１２０８において、制御回路網は、センサ（例えば、カメラ）からの受信された入力に基づいて、ユーザの眼瞼運動（例えば、眼瞼運動の量、瞬目パターン、眼瞼レベル等）を検出してもよい。いくつかの実施形態では、そのような眼瞼運動は、ユーザのそのような不随意の瞬目をコマンドとして解釈することを回避するために、不随意の瞬目から区別されてもよい。例えば、本システムは、眼が所定の時間量（例えば、０．５秒）未満にわたって閉じられたままである瞬目パターンを無視してもよい。
【0102】
１２１０において、制御回路網は、検出された眼瞼運動が、テーブル（例えば、図３のテーブル３１６）内の識別子のうちのいずれかに合致するかどうかを決定する。いくつかの実施形態では、制御回路網は、センサ出力を分析し、そのような出力と記憶される識別子（例えば、所定の数の瞬目、瞬目パターン、眼瞼運動の量、眼瞼レベル等）を比較してもよい。いくつかの実施形態では、記憶される識別子は、音声コマンドまたは他の入力と組み合わせた眼瞼運動を含んでもよい。
【0103】
１２１２において、制御回路網は、検出された眼瞼運動が、記憶される眼瞼運動識別子に合致するかどうかを決定する。いくつかの実施形態では、制御回路網は、合致スコアを算出してもよく、算出された合致スコアが所定の閾値を超えるとき、検出された眼瞼運動と記憶される眼瞼運動識別子との間に合致が存在することを決定してもよい。
【0104】
１２１４において、検出された眼瞼運動が記憶される眼瞼運動識別子に合致することを決定することに応じて、制御回路網は、合致された眼瞼運動に対応するアクションに基づいて、ＸＲ環境の更新されたバージョンを表示のために発生させる。図３の実施例では、ＸＲ環境３００の更新されたバージョンは、（例えば、書籍オブジェクト３０４が閉じられている、図３の上側部分に図示される環境３００と比較して、図３の下側部分に図示される環境３００において）めくられたページを有する、書籍オブジェクト３０４を含む。
【0105】
図１３は、本開示のいくつかの実施形態による、インジケータがＸＲ環境内のオブジェクトの近傍にある間に音声コマンドを受信するための詳細な例証的プロセスのフローチャートである。例えば、プロセス１３００は、複数のデバイス間でエクステンデッドリアリティ環境の制御を分散させるため等、ネットワークデバイス８００、および／またはサーバ９００、および／またはデバイス９２０、９２５、９３０上で実装され得るコンピュータ実行可能命令の１つまたはそれを上回るプログラムによって命令されるように、ネットワークデバイス８００（例えば、制御回路網８０４を介して）、および／またはサーバ９００の制御回路網、および／またはデバイス９２０、９２５、９３０の制御回路網によって実行されてもよい。加えて、プロセス１３００の１つまたはそれを上回るステップは、任意の他のプロセスまたは実施形態（例えば、図１０のプロセス１０００、図１１のプロセス１１００、図１２のプロセス１２００、図１４のプロセス１４００、図１５のプロセス１５００）の１つまたはそれを上回るステップに組み込まれる、またはそれと組み合わせられてもよい。
【0106】
１３０２において、Ｉ／Ｏ回路網（例えば、図４Ａ－４Ｂの頭部搭載型ディスプレイ４０２のＩ／Ｏ回路網）が、ＸＲ環境（例えば、ＶＲ、ＡＲ、またはＭＲ環境）に進入するためのユーザ選択を受信してもよい。そのようなユーザ選択は、入力（例えば、音声コマンドまたはタッチスクリーン）を介して受信されてもよい。
【0107】
１３０４において、制御回路網（例えば、図８の制御回路網８０４および／または図４Ａの頭部搭載型ディスプレイ４０２の制御回路網）が、ユーザ選択を受信することに応答して、オブジェクト（例えば、図４のオブジェクト４０８）を含む、ＸＲ環境を表示のために（例えば、図４の頭部搭載型デバイス４０２を介して）発生させてもよい。いくつかの実施形態では、制御回路網は、複数のオブジェクト（例えば、図４のオブジェクト４０８および４１０）を発生させてもよい。
【0108】
１３０６において、制御回路網は、ユーザの注視を検出してもよい。例えば、センサ（例えば、カメラ）が、ユーザの網膜移動を追跡するために使用されてもよく、ユーザのそのような網膜移動は、ＸＲ環境（例えば、図４Ａ－４Ｂの環境４００）の表示にプロットされてもよい。
【0109】
１３０８において、制御回路網は、ユーザの注視が、オブジェクト（例えば、図４Ａ－４Ｂのオブジェクト４１０）を含む、ＸＲ環境の第２の部分に偏移しているかどうかを決定してもよい。いくつかの実施形態では、ユーザの注視は、いかなるオブジェクトも含まれない表示の第１の部分から偏移している場合がある。代替として、表示のそのような第１の部分は、オブジェクト（例えば、図４Ａ－４Ｂのオブジェクト４０８）を含んでもよい。
【0110】
１３１０において、ユーザの注視が、オブジェクト（例えば、図４Ａ－４Ｂのオブジェクト４１０）を含む、ＸＲ環境のそのような第２の部分に偏移していることを決定することに応答して、制御回路網は、注視における偏移のインジケータ（例えば、図４のインジケータ４０６）を表示のために発生させてもよい。例えば、そのようなインジケータは、ユーザが、本システムが自身の注視を正確に追跡していることを確認することを可能にする。
【0111】
１３１２において、ユーザの注視が、ＸＲ環境のそのような第２の部分に偏移していないことを決定することに応答して、制御回路網は、ユーザの注視が偏移していない、または表示の異なる部分に偏移していることを決定してもよく、ユーザの注視が指向される表示の部分において、インジケータ（例えば、図４のインジケータ４０６）を表示のために発生させてもよい。
【0112】
１３１４において、Ｉ／Ｏ回路網（例えば、図４Ａ－４Ｂの頭部搭載型ディスプレイ４０２のＩ／Ｏ回路網）が、インジケータ（例えば、図４のインジケータ４０６）が着目オブジェクト（例えば、図４Ａのオブジェクト４０８または図４Ｂのオブジェクト４１０）の近傍にある間に音声コマンドを受信してもよい。いくつかの実施形態では、制御回路網（例えば、図８の制御回路網８０４および／または図４Ａの頭部搭載型ディスプレイ４０２の制御回路網）は、音声コマンドがそのような着目オブジェクトに関連するかどうかを決定してもよい。図４Ａの実施例では、制御回路網は、「「Ｔｈｅ Ｄａｒｋ Ｋｎｉｇｈｔ」を再生する」の音声コマンドからキーワードを抽出し、抽出されたキーワードとそれにユーザの注視が指向されるオブジェクト（例えば、オブジェクト４０８）と関連付けられるメタデータを比較し、音声コマンドが着目オブジェクトに関連するかどうかを決定してもよい。
【0113】
１３１６において、制御回路網は、オブジェクトに関連する音声コマンドに対応するアクションを実行してもよい。例えば、図４Ｂの実施例では、オブジェクト４１０、すなわち、メディアコンテンツアイテム「Ａｍｅｒｉｃａｎ Ｐｓｙｃｈｏ」に関する識別子が、インジケータ４０６の近傍にあり、音声コマンド４０５（「「Ａｍｅｒｉｃａｎ Ｐｓｙｃｈｏ」を再生する」）を受信することに応じて、ユーザへのそのようなメディアアセットの提示が、開始されてもよい。
【0114】
図１４は、本開示のいくつかの実施形態による、ＸＲ環境内のインジケータの不透明度を変動させるための詳細な例証的プロセスのフローチャートである。プロセス１４００またはその任意のステップが、図８－９に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセス１４００は、複数のデバイス間でエクステンデッドリアリティ環境の制御を分散させるため等、ネットワークデバイス８００、および／またはサーバ９００、および／またはデバイス９２０、９２５、９３０上で実装され得るコンピュータ実行可能命令の１つまたはそれを上回るプログラムによって命令されるように、ネットワークデバイス８００（例えば、制御回路網８０４を介して）、および／またはサーバ９００の制御回路網、および／またはデバイス９２０、９２５、９３０の制御回路網によって実行されてもよい。加えて、プロセス１４００の１つまたはそれを上回るステップは、任意の他のプロセスまたは実施形態（例えば、図１０のプロセス１０００、図１１のプロセス１１００、図１２のプロセス１２００、図１３のプロセス１３００、図１５のプロセス１５００）の１つまたはそれを上回るステップに組み込まれる、またはそれと組み合わせられてもよい。
【0115】
１４０２において、Ｉ／Ｏ回路網（例えば、図５の頭部搭載型ディスプレイ５０２のＩ／Ｏ回路網）が、ＸＲ環境（例えば、ＶＲ、ＡＲ、またはＭＲ環境）に進入するためのユーザ選択を受信してもよい。そのようなユーザ選択は、入力（例えば、音声コマンドまたはタッチスクリーン）を介して受信されてもよい。
【0116】
１４０４において、制御回路網（例えば、図８の制御回路網８０４および／または図５の頭部搭載型ディスプレイ５０２の制御回路網）が、ユーザ選択を受信することに応答して、オブジェクト（例えば、図５のオブジェクト５０８）を含む、ＸＲ環境を表示のために（例えば、図５の頭部搭載型デバイス５０２を介して）発生させてもよい。いくつかの実施形態では、制御回路網は、複数のオブジェクト（例えば、図５のオブジェクト５０８および５１０）を発生させてもよい。
【0117】
１４０６において、制御回路網は、ユーザの注視を検出してもよい。例えば、センサ（例えば、カメラ）が、ユーザの網膜移動を追跡するために使用されてもよく、ユーザのそのような網膜移動は、ＸＲ環境（例えば、図５の環境５００）の表示にプロットされてもよい。制御回路網は、ユーザの注視が、オブジェクト（例えば、図５のオブジェクト５０８）を含む、ＸＲ環境の一部に指向されているかどうかを決定してもよい。
【0118】
１４１０において、ユーザの注視が、オブジェクト（例えば、図５のオブジェクト５０８）を含む、ＸＲ環境の一部に指向されていないことを決定することに応じて、制御回路網は、ユーザの注視が、異なるオブジェクト（例えば、図５のオブジェクト５１０）を含む、ＸＲ環境の異なる部分に指向されているかどうかを決定してもよい。
【0119】
１４１０において、ユーザの注視が、オブジェクト（例えば、図５のオブジェクト５０８）を含む、ＸＲ環境の一部に指向されていることを決定することに応じて、制御回路網は、ＸＲ環境のそのような部分の近傍において、不透明度ベースのインジケータ（例えば、図６のインジケータ５０６）をＸＲ環境内での表示のために発生させてもよい。他方、ユーザの注視が、異なるオブジェクト（例えば、図５のオブジェクト５１０）を含む、ＸＲ環境の異なる部分に指向されていることを決定することに応じて、制御回路網は、ＸＲ環境のそのような異なる部分の近傍において、不透明度ベースのインジケータ（例えば、図６のインジケータ５０６）をＸＲ環境内での表示のために発生させてもよい。
【0120】
１４１２において、制御回路網は、着目オブジェクト（例えば、図５におけるオブジェクト５０８）の境界を決定してもよい。例えば、制御回路網は、オブジェクトの境界を決定するために、エッジ検出技法および／またはピクセル比較を実施してもよい。
【0121】
１４１４において、制御回路網は、オブジェクトの識別された境界に基づいて、少なくとも１つの不透明度ベースのインジケータ（例えば、図５のインジケータ５０６）の不透明度を変動させる。いくつかの実施形態では、着目オブジェクトの境界に重複するインジケータの不透明度は、変動される。例えば、着目オブジェクトの境界に重複するインジケータの不透明度は、着目オブジェクトを不明瞭にすることを回避するために、減少されてもよい（図６）、またはユーザの注視が着目オブジェクトに指向されていることを強調するために、増加されてもよい（図５）。
【0122】
図１５は、本開示のいくつかの実施形態による、ＸＲ環境内でアイテムに関連する付加的情報を提示するための詳細な例証的プロセスのフローチャートである。プロセス１５００またはその任意のステップが、図８－９に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセス１５００は、複数のデバイス間でエクステンデッドリアリティ環境の制御を分散させるため等、ネットワークデバイス８００、および／またはサーバ９００、および／またはデバイス９２０、９２５、９３０上で実装され得るコンピュータ実行可能命令の１つまたはそれを上回るプログラムによって命令されるように、ネットワークデバイス８００（例えば、制御回路網８０４を介して）、および／またはサーバ９００の制御回路網、および／またはデバイス９２０、９２５、９３０の制御回路網によって実行されてもよい。加えて、プロセス１５００の１つまたはそれを上回るステップは、任意の他のプロセスまたは実施形態（例えば、図１０のプロセス１０００、図１１のプロセス１１００、図１２のプロセス１２００、図１３のプロセス１３００、図１４のプロセス１４００）の１つまたはそれを上回るステップに組み込まれる、またはそれと組み合わせられてもよい。
【0123】
１５０２において、Ｉ／Ｏ回路網（例えば、図７の頭部搭載型ディスプレイ７０２のＩ／Ｏ回路網）が、ＸＲ環境（例えば、ＶＲ、ＡＲ、またはＭＲ環境）に進入するためのユーザ選択を受信してもよい。そのようなユーザ選択は、入力（例えば、音声コマンドまたはタッチスクリーン）を介して受信されてもよい。
【0124】
１５０４において、制御回路網（例えば、図８の制御回路網８０４および／または図７の頭部搭載型ディスプレイ７０２の制御回路網）が、ユーザ選択を受信することに応答して、オブジェクト（例えば、図７のオブジェクト７０８）を含む、ＸＲ環境を表示のために（例えば、図７の頭部搭載型デバイス７０２を介して）発生させてもよい。いくつかの実施形態では、制御回路網は、複数のオブジェクト（例えば、図７のオブジェクト７０２、７０４、７０８）を発生させてもよい。
【0125】
【0126】
１５０８において、制御回路網は、オブジェクトが少なくとも所定の期間にわたってユーザの視野内にあるかどうかを決定してもよい。いくつかの実施形態では、制御回路網は、視野内の仮想オブジェクトと関連付けられるオブジェクト識別子を含む、視野に関するデータ構造を発生させてもよく、そのようなデータ構造は、ＶＲ環境内の視野の位置を表す座標を含んでもよい。制御回路網は、頭部搭載型ディスプレイ７０２によって捕捉されたデータ構造および／または画像に基づいて、現在の視野を決定し、ユーザの視野内のオブジェクトを識別してもよい。ある実施形態では、制御回路網は、加えて、ユーザの注視が視野内のオブジェクトに指向されているかどうかを検出してもよい。
【0127】
１５１０において、制御回路網は、オブジェクトが少なくとも所定の期間（例えば、５秒）にわたって視野内にあることを決定することに応答して、制御回路網は、オブジェクト（例えば、図７のオブジェクト７０８）に関連する１つまたはそれを上回るアイテム（例えば、図７のアイテム７１４）をＸＲ環境内での表示のために発生させる。いくつかの実施形態では、オブジェクトが少なくとも所定の期間にわたって視野内にあるかどうかを決定する際、制御回路網は、オブジェクトが、ＸＲセッションの間の連続的（または非連続的）期間にわたってユーザの視野内に留まるかどうかを決定してもよい。
【0128】
上記に議論されるプロセスは、限定ではなく、例証的であることを意図している。当業者は、本明細書に議論されるプロセスのステップが、省略され、修正され、組み合わせられ、および／または再配列され得、任意の付加的ステップが、本発明の範囲から逸脱することなく、実施され得ることを理解するであろう。より一般的には、上記の開示は、限定ではなく、例示的であることを意味する。続く請求項のみが、本発明が含む内容に関する境界を設定することを意味する。さらに、任意の１つの実施形態に説明される特徴および限定が、本明細書の任意の他の実施形態に適用され得、１つの実施形態に関するフローチャートまたは実施例が、好適な様式で任意の他の実施形態と組み合わせられる、異なる順序で行われる、または並行して行われ得ることに留意されたい。加えて、本明細書に説明されるシステムおよび方法は、リアルタイムで実施され得る。また、上記に説明されるシステムおよび／または方法が、他のシステムおよび／または方法に適用される、またはそれに従って使用され得ることに留意されたい。
本明細書は、限定ではないが、以下を含む、実施形態を開示する。
１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させるステップと、
第１のセンサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分からエクステンデッドリアリティ環境の第２の部分に偏移していることを検出するステップであって、オブジェクトは、エクステンデッドリアリティ環境の第１の部分から除外され、エクステンデッドリアリティ環境の第２の部分内に含まれる、ステップと、
注視偏移を検出することに応答して、注視における偏移のインジケータをエクステンデッドリアリティ環境内での表示のために発生させるステップと、
第２のセンサを使用することによって、インジケータがオブジェクトの近傍にある間に音声コマンドを検出するステップと、
音声コマンドを検出することに応答して、音声コマンドに対応するアクションを実行するステップと、
を含む、方法。
２．双方向性メディアガイドが、表示上に提供され、アクションは、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連する命令である、項目１に記載の方法。
３．注視は、眼の網膜移動に基づいて検出され、本方法はさらに、
網膜移動を表示上のインジケータの移動に変換するステップを含む、項目１または２に記載の方法。
４．網膜移動のレートが、所定の値を超えるかどうかを決定するステップと、
網膜移動のレートが、所定の値を超えることを決定することに応答して、網膜移動を表示上のインジケータの移動に変換するとき、網膜移動を正規化するステップと、
をさらに含む、項目３に記載の方法。
５．音声コマンドは、メディアアセットの識別と、アクションを実行するためのコマンドとを含む、項目２－４のいずれかに記載の方法。
６．音声コマンドは、表示上に新しいメディアアセットを提示するための命令を含む、項目２－５のいずれかに記載の方法。
７．オブジェクトは、エンティティと関連付けられ、音声コマンドは、エンティティに関連するコンテンツを読み出すための命令を備える、項目２－６のいずれかに記載の方法。
８．インジケータがオブジェクトの近傍にある間に音声コマンドを検出するステップは、注視が少なくとも所定の閾値期間にわたってオブジェクトに指向されていることを決定するステップを含む、項目１－７のいずれかに記載の方法。
９．インジケータがオブジェクトの近傍にあることは、インジケータがオブジェクトに重複することを含む、項目１－８のいずれかに記載の方法。
１０．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目１－９のいずれかに記載の方法。
１１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
ディスプレイと、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させ、
第１のセンサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分からエクステンデッドリアリティ環境の第２の部分に偏移していることを検出し、オブジェクトは、エクステンデッドリアリティ環境の第１の部分から除外され、エクステンデッドリアリティ環境の第２の部分内に含まれ、
注視偏移を検出することに応答して、注視における偏移のインジケータをエクステンデッドリアリティ環境内での表示のために発生させ、
第２のセンサを使用することによって、インジケータがオブジェクトの近傍にある間に音声コマンドを検出し、
音声コマンドを検出することに応答して、音声コマンドに対応するアクションを実行する、
ように構成される、制御回路網と、
を備える、システム。
１２．双方向性メディアガイドが、表示上に提供され、アクションは、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連する命令である、項目１１に記載のシステム。
１３．制御回路網はさらに、
眼の網膜移動に基づいて、注視を検出し、
網膜移動を表示上のインジケータの移動に変換する、
ように構成される、項目１１または１２に記載のシステム。
１４．制御回路網はさらに、
網膜移動のレートが、所定の値を超えるかどうかを決定し、
網膜移動のレートが、所定の値を超えることを決定することに応答して、網膜移動を表示上のインジケータの移動に変換するとき、網膜移動を正規化する、
ように構成される、項目１３に記載のシステム。
１５．音声コマンドは、メディアアセットの識別と、アクションを実行するためのコマンドとを含む、項目１２－１４のいずれかに記載のシステム。
１６．音声コマンドは、表示上に新しいメディアアセットを提示するための命令を含む、項目１２－１５のいずれかに記載のシステム。
１７．オブジェクトは、エンティティと関連付けられ、音声コマンドは、エンティティに関連するコンテンツを読み出すための命令を備える、項目１２－１６のいずれかに記載のシステム。
１８．制御回路網はさらに、インジケータがオブジェクトの近傍にある間に音声コマンドを検出する際、注視が少なくとも所定の閾値期間にわたってオブジェクトに指向されていることを決定するように構成される、項目１１－１７のいずれかに記載のシステム。
１９．インジケータがオブジェクトの近傍にあることは、インジケータがオブジェクトに重複することを含む、項目１１－１８のいずれかに記載のシステム。
２０．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目１１－１９のいずれかに記載のシステム。
２１．エクステンデッドリアリティ環境相互作用のための方法であって、
第１のオブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させるステップと、
１つまたはそれを上回るセンサから入力を受信するステップと、
受信された入力に基づいて、視野内の第１のオブジェクトを識別するステップと、
受信された入力に基づいて、眼瞼運動を検出するステップと、
眼瞼運動を検出することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップと、
を含む、方法。
２２．エクステンデッドリアリティ環境は、複数のオブジェクトを備え、複数のオブジェクトは、第１のオブジェクトと、第２のオブジェクトとを含み、
識別するステップはさらに、視野内の第２のオブジェクトを識別するステップを含み、
修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップは、検出された眼瞼運動が第１のオブジェクトと関連付けられることを決定することに応答して実施される、
項目２１に記載の方法。
２３．検出された眼瞼運動が第２のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第２のオブジェクトを表示のために再発生させるステップをさらに含む、項目２２に記載の方法。
２４．第１のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの一方にあり、第２のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの他方にある、項目２２または２３に記載の方法。
２５．修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップは、より高い分解能においてオブジェクトを提示するステップを含む、項目２１－２４のいずれかに記載の方法。
２６．１つまたはそれを上回る検出された眼瞼運動に基づいて、識別されたオブジェクトに対して１つまたはそれを上回るアクションを実施するステップをさらに含む、項目２１－２５のいずれかに記載の方法。
２７．ユーザに対する複数のオブジェクトの個別の仮想距離を算出するステップをさらに含み、
視野内の第１のオブジェクトを識別するステップは、第１のオブジェクトが個別の仮想距離のユーザに最近接する仮想距離にあることを決定するステップを含む、
項目２２－２６のいずれかに記載の方法。
２８．眼瞼運動を検出するステップは、眼瞼の運動の量を決定するステップを含む、項目２１－２７のいずれかに記載の方法。
２９．眼瞼運動を検出するステップは、１つまたはそれを上回る眼瞼レベルを決定するステップを含む、項目２１－２８のいずれかに記載の方法。
３０．第１のオブジェクトがユーザの視野内に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出するステップと、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させるステップと、
をさらに含む、項目２１－２９のいずれかに記載の方法。
３１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
第１のオブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させる、
ように構成される、制御回路網と、
１つまたはそれを上回るセンサから入力を受信する、
ように構成される、入力／出力（Ｉ／Ｏ）回路網と、
を備え、
制御回路網はさらに、
受信された入力に基づいて、視野内の第１のオブジェクトを識別し、
受信された入力に基づいて、眼瞼運動を検出し、
眼瞼運動を検出することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させる、
ように構成される、システム。
３２．エクステンデッドリアリティ環境は、複数のオブジェクトを備え、複数のオブジェクトは、第１のオブジェクトと、第２のオブジェクトとを含み、
制御回路網はさらに、視野内の第２のオブジェクトを識別するように構成され、
制御回路網はさらに、検出された眼瞼運動が第１のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップを実施するように構成される、
項目３１に記載のシステム。
３３．制御回路網はさらに、
検出された眼瞼運動が第２のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第２のオブジェクトを表示のために再発生させるように構成される、項目３２に記載のシステム。
３４．第１のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの一方にあり、第２のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの他方にある、項目３１または３３に記載のシステム。
３５．制御回路網はさらに、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させる際、より高い分解能においてオブジェクトを提示するように構成される、項目３１－３４のいずれかに記載のシステム。
３６．制御回路網はさらに、
１つまたはそれを上回る検出された眼瞼運動に基づいて、識別されたオブジェクトに対して１つまたはそれを上回るアクションを実施するように構成される、項目３１－３５のいずれかに記載のシステム。
３７．制御回路網はさらに、
ユーザに対する複数のオブジェクトの個別の仮想距離を算出し、
視野内の第１のオブジェクトを識別する際、第１のオブジェクトが個別の仮想距離のユーザに最近接する仮想距離にあることを決定する、
ように構成される、項目３２－３６のいずれかに記載のシステム。
３８．制御回路網はさらに、眼瞼運動を検出する際、眼瞼の運動の量を決定するように構成される、項目３１－３７のいずれかに記載のシステム。
３９．制御回路網はさらに、眼瞼運動を検出する際、１つまたはそれを上回る眼瞼レベルを決定するように構成される、項目３１－３８のいずれかに記載のシステム。
４０．制御回路網はさらに、
第１のオブジェクトが視野内に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出し、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させる、
ように構成される、項目３１－３８のいずれかに記載のシステム。
４１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させるステップと、
エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子および対応するアクションのテーブルをメモリ内に記憶するステップと、
センサを使用することによって、眼瞼運動を検出するステップと、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させるステップと、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させることに応答して、合致された眼瞼運動に対応するアクションに基づいて、エクステンデッドリアリティ環境の更新されたバージョンを表示のために発生させるステップと、
を含む、方法。
４２．ユーザの注視がオブジェクトに指向されていることを検出することによって、エクステンデッドリアリティ環境内の複数のオブジェクトからオブジェクトを選択するステップをさらに含む、項目４１に記載の方法。
４３．ユーザの注視が指向されるオブジェクトに対して実施可能な眼瞼運動識別子のサブセットを表示のために発生させるステップをさらに含む、項目４２に記載の方法。
４４．複数のアクションのアクションは、オブジェクトを操作することに対応する、項目４１－４３のいずれかに記載の方法。
４５．アクションは、オブジェクトの外観を改変することに対応する、項目４１－４４のいずれかに記載の方法。
４６．ユーザは、エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子と対応するアクションとの間の関係を規定する、ユーザプロファイルと関連付けられる、項目４１－４５のいずれかに記載の方法。
４７．ユーザの注視がオブジェクト上に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出するステップと、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させるステップであって、オブジェクトの更新されたバージョンは、改変された外観を有する、ステップと、
をさらに含む、項目４５－４６に記載の方法。
４８．オブジェクトに対して実施可能なアクションは、オブジェクトのタイプに基づいて変動する、項目４１－４７のいずれかに記載の方法。
４９．眼瞼運動を検出するステップは、
眼瞼が所定の期間にわたって閉じられたままであるかどうかを決定するステップを含む、項目４１－４８のいずれかに記載の方法。
５０．検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させるステップは、眼瞼が所定の期間にわたって閉じられたままであることを決定することに応答して、実施される、項目４９に記載の方法。
５１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させる、
ように構成される、制御回路網と、
エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子および対応するアクションのテーブルを記憶する、
ように構成される、メモリと、
を備え、
制御回路網はさらに、
センサを使用することによって、眼瞼運動を検出し、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させ、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させることに応答して、合致された眼瞼運動に対応するアクションに基づいて、エクステンデッドリアリティ環境の更新されたバージョンを表示のために発生させる、
ように構成される、システム。
５２．制御回路網はさらに、
ユーザの注視がオブジェクトに指向されていることを検出することによって、エクステンデッドリアリティ環境内の複数のオブジェクトからオブジェクトを選択するように構成される、項目５１に記載のシステム。
５３．制御回路網はさらに、
ユーザの注視が指向されるオブジェクトに対して実施可能な眼瞼運動識別子のサブセットを表示のために発生させるように構成される、項目５１または５２に記載のシステム。
５４．複数のアクションのアクションは、オブジェクトを操作することに対応する、項目５１－５３のいずれかに記載のシステム。
５５．アクションは、オブジェクトの外観を改変することに対応する、項目５１－５４のいずれかに記載のシステム。
５６．ユーザは、エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子と対応するアクションとの間の関係を規定する、ユーザプロファイルと関連付けられる、項目５１－５５のいずれかに記載のシステム。
５７．制御回路網はさらに、
ユーザの注視がオブジェクト上に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出し、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させ、第１のオブジェクトの更新されたバージョンは、改変された外観を有する、
ように構成される、項目５５または５６に記載のシステム。
５８．オブジェクトに対して実施可能なアクションは、オブジェクトのタイプに基づいて変動する、項目５１－５７のいずれかに記載のシステム。
５９．制御回路網はさらに、眼瞼運動を検出する際、
眼瞼が所定の期間にわたって閉じられたままであるかどうかを決定するように構成される、項目５１－５８のいずれかに記載のシステム。
６０．制御回路網はさらに、眼瞼が所定の期間にわたって閉じられたままであることを決定することに応答して、検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させるステップを実施するように構成される、項目５９に記載のシステム。
６１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させるステップと、
センサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分に指向されていることを検出するステップであって、オブジェクトは、エクステンデッドリアリティ環境の第１の部分内に含まれる、ステップと、
エクステンデッドリアリティ環境の第１の部分の近傍において、複数の不透明度ベースのインジケータをエクステンデッドリアリティ環境内での表示のために発生させるステップと、
オブジェクトの境界を識別するステップと、
オブジェクトの識別された境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させるステップと、
を含む、方法。
６２．複数の不透明度ベースのインジケータのうちの少なくとも１つがオブジェクトの境界に重複するかどうかを決定するステップをさらに含み、
オブジェクトの境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させるステップは、境界に重複する複数の不透明度ベースのインジケータのうちの少なくとも１つの個別の不透明度を変動させるステップを含む、項目６１に記載の方法。
６３．複数の不透明度ベースのインジケータは、オブジェクトに向かって指向される矢印である、項目６１または６２に記載の方法。
６４．センサを使用することによって、注視がエクステンデッドリアリティ環境の第２の部分に偏移しているかどうかを検出するステップと、
注視が第２の部分に偏移していることを決定することに応答して、複数の不透明度ベースのインジケータを表示の第２の部分の近傍にオーバーレイさせるステップと、
をさらに含む、項目６１－６３のいずれかに記載の方法。
６５．個別の不透明度は、オブジェクトからの距離に基づいて変動される、項目６１－６４のいずれかに記載の方法。
６６．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が減少するにつれて増加する、項目６５に記載の方法。
６７．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が増加するにつれて増加する、項目６５または６６に記載の方法。
６８．双方向性メディアガイドが、表示上に提供され、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連するアクションが、少なくとも部分的に、検出された注視に基づいて受信される、項目６１－６７のいずれかに記載の方法。
６９．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目６１－６８のいずれかに記載の方法。
７０．表示は、エクステンデッドリアリティ頭部搭載型デバイスの使用を伴わずに提示される、項目６１－６９のいずれかに記載の方法。
７１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
ディスプレイと、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させ、
センサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分に指向されていることを検出し、オブジェクトは、エクステンデッドリアリティ環境の第１の部分内に含まれ、
エクステンデッドリアリティ環境の第１の部分の近傍において、複数の不透明度ベースのインジケータをエクステンデッドリアリティ環境内での表示のために発生させ、
オブジェクトの境界を識別し、
オブジェクトの識別された境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させる、
ように構成される、制御回路網と、
を備える、システム。
７２．制御回路網はさらに、
複数の不透明度ベースのインジケータのうちの少なくとも１つがオブジェクトの境界に重複するかどうかを決定し、
オブジェクトの境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させる際、境界に重複する複数の不透明度ベースのインジケータのうちの少なくとも１つの個別の不透明度を変動させる、
ように構成される、項目７１に記載のシステム。
７３．複数の不透明度ベースのインジケータは、オブジェクトに向かって指向される矢印である、項目７１または７２に記載のシステム。
７４．制御回路網はさらに、
センサを使用することによって、注視がエクステンデッドリアリティ環境の第２の部分に偏移しているかどうかを検出し、
注視が第２の部分に偏移していることを決定することに応答して、複数の不透明度ベースのインジケータを表示の第２の部分の近傍にオーバーレイさせる、
ように構成される、項目７１－７３のいずれかに記載のシステム。
７５．個別の不透明度は、オブジェクトからの距離に基づいて変動される、項目７１－７４のいずれかに記載のシステム。
７６．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が減少するにつれて増加する、項目７５に記載のシステム。
７７．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が増加するにつれて増加する、項目７５または７６に記載のシステム。
７８．双方向性メディアガイドが、表示上に提供され、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連するアクションが、少なくとも部分的に、検出された注視に基づいて受信される、項目７１－７７のいずれかに記載のシステム。
７９．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目７１－７８のいずれかに記載のシステム。
８０．表示は、エクステンデッドリアリティ頭部搭載型デバイスの使用を伴わずに提示される、項目７１－７９のいずれかに記載のシステム。
８１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させるステップと、
眼運動を検出するステップと、
検出に基づいて、オブジェクトが少なくとも所定の期間にわたって視野内にあるかどうかを決定するステップと、
オブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させるステップと、
を含む、方法。
８２．オブジェクトに関連する１つまたはそれを上回るアイテムは、テキスト情報、画像、ビデオ、またはそれらの任意の組み合わせを備える、項目８１に記載の方法。
８３．オブジェクトが第１の所定の期間にわたって視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から少なくとも第２の所定の期間が経過していることを決定するステップと、
オブジェクトが視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から第２の所定の期間が経過していることを決定することに応答して、１つまたはそれを上回るアイテムの表示を停止するステップと、
をさらに含む、項目８１または８２に記載の方法。
８４．眼運動を検出するステップは、眼瞼運動を監視するステップを含む、項目８１－８３のいずれかに記載の方法。
８５．オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させるステップは、オブジェクトが、少なくとも所定の期間にわたって視野内および注視内にあることを決定することに応答して実施される、項目８１－８４のいずれかに記載の方法。
８６．検出に基づいて、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定するステップは、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって連続的にオブジェクト上にあることを決定するステップを含む、項目８１－８５のいずれかに記載の方法。
８７．検出に基づいて、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定するステップは、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって非連続的にオブジェクト上にあることを決定するステップを含む、項目８１－８６のいずれかに記載の方法。
８８．新しいオブジェクトが少なくとも所定の時間にわたって視野内にあることを決定するステップと、
新しいオブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、新しいオブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる一方、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させ続けるステップと、
をさらに含む、項目８１－８７のいずれかに記載の方法。
８９．所定の期間に関する時間量の修正を可能にするステップをさらに含む、項目８１－８８のいずれかに記載の方法。
９０．エクステンデッドリアリティ環境は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目８１－８９のいずれかに記載の方法。
９１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
ディスプレイと、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させ、
眼運動を検出し、
検出に基づいて、オブジェクトが少なくとも所定の期間にわたって視野内にあるかどうかを決定し、
オブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる、
ように構成される、制御回路網と、
を備える、システム。
９２．オブジェクトに関連する１つまたはそれを上回るアイテムは、テキスト情報、画像、ビデオ、またはそれらの任意の組み合わせを備える、項目９１に記載のシステム。
９３．制御回路網はさらに、
オブジェクトが第１の所定の期間にわたって視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から少なくとも第２の所定の期間が経過していることを決定し、
オブジェクトが視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から第２の所定の期間が経過していることを決定することに応答して、１つまたはそれを上回るアイテムの表示を停止する、
ように構成される、項目９１または９２に記載のシステム。
９４．制御回路網はさらに、眼運動を検出する際、眼瞼運動を監視するように構成される、項目９１－９３のいずれかに記載のシステム。
９５．制御回路網はさらに、オブジェクトが、少なくとも所定の期間にわたって視野内および注視内にあることを決定することに応答して、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させるように構成される、項目９１－９４のいずれかに記載のシステム。
９６．制御回路網はさらに、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定する際、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって連続的にオブジェクト上にあることを決定するように構成される、項目９１－９５のいずれかに記載のシステム。
９７．制御回路網はさらに、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定する際、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって非連続的にオブジェクト上にあることを決定するように構成される、項目９１－９６のいずれかに記載のシステム。
９８．制御回路網はさらに、
新しいオブジェクトが少なくとも所定の時間にわたって視野内にあることを決定し、
新しいオブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、新しいオブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる一方、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させ続ける、
ように構成される、項目９１－９７のいずれかに記載のシステム。
９９．制御回路網はさらに、
所定の期間に関する時間量の修正を可能にするように構成される、項目９１－９８のいずれかに記載のシステム。
１００．エクステンデッドリアリティ環境は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目９１－９９のいずれかに記載のシステム。
本明細書は、限定ではないが、以下を含む、実施形態を開示する。
１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させるステップと、
第１のセンサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分からエクステンデッドリアリティ環境の第２の部分に偏移していることを検出するステップであって、オブジェクトは、エクステンデッドリアリティ環境の第１の部分から除外され、エクステンデッドリアリティ環境の第２の部分内に含まれる、ステップと、
注視偏移を検出することに応答して、注視における偏移のインジケータをエクステンデッドリアリティ環境内での表示のために発生させるステップと、
第２のセンサを使用することによって、インジケータがオブジェクトの近傍にある間に音声コマンドを検出するステップと、
音声コマンドを検出することに応答して、音声コマンドに対応するアクションを実行するステップと、
を含む、方法。
２．双方向性メディアガイドが、表示上に提供され、アクションは、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連する命令である、項目１に記載の方法。
３．注視は、眼の網膜移動に基づいて検出され、本方法はさらに、
網膜移動を表示上のインジケータの移動に変換するステップを含む、項目１または２に記載の方法。
４．網膜移動のレートが、所定の値を超えるかどうかを決定するステップと、
網膜移動のレートが、所定の値を超えることを決定することに応答して、網膜移動を表示上のインジケータの移動に変換するとき、網膜移動を正規化するステップと、
をさらに含む、項目３に記載の方法。
５．音声コマンドは、メディアアセットの識別と、アクションを実行するためのコマンドとを含む、項目２－４のいずれかに記載の方法。
６．音声コマンドは、表示上に新しいメディアアセットを提示するための命令を含む、項目２－５のいずれかに記載の方法。
７．オブジェクトは、エンティティと関連付けられ、音声コマンドは、エンティティに関連するコンテンツを読み出すための命令を備える、項目２－６のいずれかに記載の方法。
８．インジケータがオブジェクトの近傍にある間に音声コマンドを検出するステップは、注視が少なくとも所定の閾値期間にわたってオブジェクトに指向されていることを決定するステップを含む、項目１－７のいずれかに記載の方法。
９．インジケータがオブジェクトの近傍にあることは、インジケータがオブジェクトに重複することを含む、項目１－８のいずれかに記載の方法。
１０．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目１－９のいずれかに記載の方法。
１１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
ディスプレイと、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させ、
第１のセンサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分からエクステンデッドリアリティ環境の第２の部分に偏移していることを検出し、オブジェクトは、エクステンデッドリアリティ環境の第１の部分から除外され、エクステンデッドリアリティ環境の第２の部分内に含まれ、
注視偏移を検出することに応答して、注視における偏移のインジケータをエクステンデッドリアリティ環境内での表示のために発生させ、
第２のセンサを使用することによって、インジケータがオブジェクトの近傍にある間に音声コマンドを検出し、
音声コマンドを検出することに応答して、音声コマンドに対応するアクションを実行する、
ように構成される、制御回路網と、
を備える、システム。
１２．双方向性メディアガイドが、表示上に提供され、アクションは、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連する命令である、項目１１に記載のシステム。
１３．制御回路網はさらに、
眼の網膜移動に基づいて、注視を検出し、
網膜移動を表示上のインジケータの移動に変換する、
ように構成される、項目１１または１２に記載のシステム。
１４．制御回路網はさらに、
網膜移動のレートが、所定の値を超えるかどうかを決定し、
網膜移動のレートが、所定の値を超えることを決定することに応答して、網膜移動を表示上のインジケータの移動に変換するとき、網膜移動を正規化する、
ように構成される、項目１３に記載のシステム。
１５．音声コマンドは、メディアアセットの識別と、アクションを実行するためのコマンドとを含む、項目１２－１４のいずれかに記載のシステム。
１６．音声コマンドは、表示上に新しいメディアアセットを提示するための命令を含む、項目１２－１５のいずれかに記載のシステム。
１７．オブジェクトは、エンティティと関連付けられ、音声コマンドは、エンティティに関連するコンテンツを読み出すための命令を備える、項目１２－１６のいずれかに記載のシステム。
１８．制御回路網はさらに、インジケータがオブジェクトの近傍にある間に音声コマンドを検出する際、注視が少なくとも所定の閾値期間にわたってオブジェクトに指向されていることを決定するように構成される、項目１１－１７のいずれかに記載のシステム。
１９．インジケータがオブジェクトの近傍にあることは、インジケータがオブジェクトに重複することを含む、項目１１－１８のいずれかに記載のシステム。
２０．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目１１－１９のいずれかに記載のシステム。
２１．エクステンデッドリアリティ環境相互作用のための方法であって、
第１のオブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させるステップと、
１つまたはそれを上回るセンサから入力を受信するステップと、
受信された入力に基づいて、視野内の第１のオブジェクトを識別するステップと、
受信された入力に基づいて、眼瞼運動を検出するステップと、
眼瞼運動を検出することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップと、
を含む、方法。
２２．エクステンデッドリアリティ環境は、複数のオブジェクトを備え、複数のオブジェクトは、第１のオブジェクトと、第２のオブジェクトとを含み、
識別するステップはさらに、視野内の第２のオブジェクトを識別するステップを含み、
修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップは、検出された眼瞼運動が第１のオブジェクトと関連付けられることを決定することに応答して実施される、
項目２１に記載の方法。
２３．検出された眼瞼運動が第２のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第２のオブジェクトを表示のために再発生させるステップをさらに含む、項目２２に記載の方法。
２４．第１のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの一方にあり、第２のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの他方にある、項目２２または２３に記載の方法。
２５．修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップは、より高い分解能においてオブジェクトを提示するステップを含む、項目２１－２４のいずれかに記載の方法。
２６．１つまたはそれを上回る検出された眼瞼運動に基づいて、識別されたオブジェクトに対して１つまたはそれを上回るアクションを実施するステップをさらに含む、項目２１－２５のいずれかに記載の方法。
２７．ユーザに対する複数のオブジェクトの個別の仮想距離を算出するステップをさらに含み、
視野内の第１のオブジェクトを識別するステップは、第１のオブジェクトが個別の仮想距離のユーザに最近接する仮想距離にあることを決定するステップを含む、
項目２２－２６のいずれかに記載の方法。
２８．眼瞼運動を検出するステップは、眼瞼の運動の量を決定するステップを含む、項目２１－２７のいずれかに記載の方法。
２９．眼瞼運動を検出するステップは、１つまたはそれを上回る眼瞼レベルを決定するステップを含む、項目２１－２８のいずれかに記載の方法。
３０．第１のオブジェクトがユーザの視野内に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出するステップと、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させるステップと、
をさらに含む、項目２１－２９のいずれかに記載の方法。
３１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
第１のオブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させる、
ように構成される、制御回路網と、
１つまたはそれを上回るセンサから入力を受信する、
ように構成される、入力／出力（Ｉ／Ｏ）回路網と、
を備え、
制御回路網はさらに、
受信された入力に基づいて、視野内の第１のオブジェクトを識別し、
受信された入力に基づいて、眼瞼運動を検出し、
眼瞼運動を検出することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させる、
ように構成される、システム。
３２．エクステンデッドリアリティ環境は、複数のオブジェクトを備え、複数のオブジェクトは、第１のオブジェクトと、第２のオブジェクトとを含み、
制御回路網はさらに、視野内の第２のオブジェクトを識別するように構成され、
制御回路網はさらに、検出された眼瞼運動が第１のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させるステップを実施するように構成される、
項目３１に記載のシステム。
３３．制御回路網はさらに、
検出された眼瞼運動が第２のオブジェクトと関連付けられることを決定することに応答して、修正された詳細レベルを用いて第２のオブジェクトを表示のために再発生させるように構成される、項目３２に記載のシステム。
３４．第１のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの一方にあり、第２のオブジェクトは、エクステンデッドリアリティ環境内の視野内の前景または背景のうちの他方にある、項目３１または３３に記載のシステム。
３５．制御回路網はさらに、修正された詳細レベルを用いて第１のオブジェクトを表示のために再発生させる際、より高い分解能においてオブジェクトを提示するように構成される、項目３１－３４のいずれかに記載のシステム。
３６．制御回路網はさらに、
１つまたはそれを上回る検出された眼瞼運動に基づいて、識別されたオブジェクトに対して１つまたはそれを上回るアクションを実施するように構成される、項目３１－３５のいずれかに記載のシステム。
３７．制御回路網はさらに、
ユーザに対する複数のオブジェクトの個別の仮想距離を算出し、
視野内の第１のオブジェクトを識別する際、第１のオブジェクトが個別の仮想距離のユーザに最近接する仮想距離にあることを決定する、
ように構成される、項目３２－３６のいずれかに記載のシステム。
３８．制御回路網はさらに、眼瞼運動を検出する際、眼瞼の運動の量を決定するように構成される、項目３１－３７のいずれかに記載のシステム。
３９．制御回路網はさらに、眼瞼運動を検出する際、１つまたはそれを上回る眼瞼レベルを決定するように構成される、項目３１－３８のいずれかに記載のシステム。
４０．制御回路網はさらに、
第１のオブジェクトが視野内に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出し、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させる、
ように構成される、項目３１－３８のいずれかに記載のシステム。
４１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させるステップと、
エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子および対応するアクションのテーブルをメモリ内に記憶するステップと、
センサを使用することによって、眼瞼運動を検出するステップと、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させるステップと、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させることに応答して、合致された眼瞼運動に対応するアクションに基づいて、エクステンデッドリアリティ環境の更新されたバージョンを表示のために発生させるステップと、
を含む、方法。
４２．ユーザの注視がオブジェクトに指向されていることを検出することによって、エクステンデッドリアリティ環境内の複数のオブジェクトからオブジェクトを選択するステップをさらに含む、項目４１に記載の方法。
４３．ユーザの注視が指向されるオブジェクトに対して実施可能な眼瞼運動識別子のサブセットを表示のために発生させるステップをさらに含む、項目４２に記載の方法。
４４．複数のアクションのアクションは、オブジェクトを操作することに対応する、項目４１－４３のいずれかに記載の方法。
４５．アクションは、オブジェクトの外観を改変することに対応する、項目４１－４４のいずれかに記載の方法。
４６．ユーザは、エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子と対応するアクションとの間の関係を規定する、ユーザプロファイルと関連付けられる、項目４１－４５のいずれかに記載の方法。
４７．ユーザの注視がオブジェクト上に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出するステップと、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させるステップであって、オブジェクトの更新されたバージョンは、改変された外観を有する、ステップと、
をさらに含む、項目４５－４６に記載の方法。
４８．オブジェクトに対して実施可能なアクションは、オブジェクトのタイプに基づいて変動する、項目４１－４７のいずれかに記載の方法。
４９．眼瞼運動を検出するステップは、
眼瞼が所定の期間にわたって閉じられたままであるかどうかを決定するステップを含む、項目４１－４８のいずれかに記載の方法。
５０．検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させるステップは、眼瞼が所定の期間にわたって閉じられたままであることを決定することに応答して、実施される、項目４９に記載の方法。
５１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させる、
ように構成される、制御回路網と、
エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子および対応するアクションのテーブルを記憶する、
ように構成される、メモリと、
を備え、
制御回路網はさらに、
センサを使用することによって、眼瞼運動を検出し、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させ、
検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させることに応答して、合致された眼瞼運動に対応するアクションに基づいて、エクステンデッドリアリティ環境の更新されたバージョンを表示のために発生させる、
ように構成される、システム。
５２．制御回路網はさらに、
ユーザの注視がオブジェクトに指向されていることを検出することによって、エクステンデッドリアリティ環境内の複数のオブジェクトからオブジェクトを選択するように構成される、項目５１に記載のシステム。
５３．制御回路網はさらに、
ユーザの注視が指向されるオブジェクトに対して実施可能な眼瞼運動識別子のサブセットを表示のために発生させるように構成される、項目５１または５２に記載のシステム。
５４．複数のアクションのアクションは、オブジェクトを操作することに対応する、項目５１－５３のいずれかに記載のシステム。
５５．アクションは、オブジェクトの外観を改変することに対応する、項目５１－５４のいずれかに記載のシステム。
５６．ユーザは、エクステンデッドリアリティ環境内のオブジェクトに対して実施可能な眼瞼運動識別子と対応するアクションとの間の関係を規定する、ユーザプロファイルと関連付けられる、項目５１－５５のいずれかに記載のシステム。
５７．制御回路網はさらに、
ユーザの注視がオブジェクト上に留まる間、ユーザがエクステンデッドリアリティ環境内の第１の位置から新しい位置にナビゲートしていることを検出し、
新しい位置におけるユーザの視点に基づいて、第１のオブジェクトの更新されたバージョンを表示のために発生させ、第１のオブジェクトの更新されたバージョンは、改変された外観を有する、
ように構成される、項目５５または５６に記載のシステム。
５８．オブジェクトに対して実施可能なアクションは、オブジェクトのタイプに基づいて変動する、項目５１－５７のいずれかに記載のシステム。
５９．制御回路網はさらに、眼瞼運動を検出する際、
眼瞼が所定の期間にわたって閉じられたままであるかどうかを決定するように構成される、項目５１－５８のいずれかに記載のシステム。
６０．制御回路網はさらに、眼瞼が所定の期間にわたって閉じられたままであることを決定することに応答して、検出された眼瞼運動を記憶される眼瞼運動識別子のうちの１つに合致させるステップを実施するように構成される、項目５９に記載のシステム。
６１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させるステップと、
センサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分に指向されていることを検出するステップであって、オブジェクトは、エクステンデッドリアリティ環境の第１の部分内に含まれる、ステップと、
エクステンデッドリアリティ環境の第１の部分の近傍において、複数の不透明度ベースのインジケータをエクステンデッドリアリティ環境内での表示のために発生させるステップと、
オブジェクトの境界を識別するステップと、
オブジェクトの識別された境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させるステップと、
を含む、方法。
６２．複数の不透明度ベースのインジケータのうちの少なくとも１つがオブジェクトの境界に重複するかどうかを決定するステップをさらに含み、
オブジェクトの境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させるステップは、境界に重複する複数の不透明度ベースのインジケータのうちの少なくとも１つの個別の不透明度を変動させるステップを含む、項目６１に記載の方法。
６３．複数の不透明度ベースのインジケータは、オブジェクトに向かって指向される矢印である、項目６１または６２に記載の方法。
６４．センサを使用することによって、注視がエクステンデッドリアリティ環境の第２の部分に偏移しているかどうかを検出するステップと、
注視が第２の部分に偏移していることを決定することに応答して、複数の不透明度ベースのインジケータを表示の第２の部分の近傍にオーバーレイさせるステップと、
をさらに含む、項目６１－６３のいずれかに記載の方法。
６５．個別の不透明度は、オブジェクトからの距離に基づいて変動される、項目６１－６４のいずれかに記載の方法。
６６．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が減少するにつれて増加する、項目６５に記載の方法。
６７．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が増加するにつれて増加する、項目６５または６６に記載の方法。
６８．双方向性メディアガイドが、表示上に提供され、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連するアクションが、少なくとも部分的に、検出された注視に基づいて受信される、項目６１－６７のいずれかに記載の方法。
６９．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目６１－６８のいずれかに記載の方法。
７０．表示は、エクステンデッドリアリティ頭部搭載型デバイスの使用を伴わずに提示される、項目６１－６９のいずれかに記載の方法。
７１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
ディスプレイと、
オブジェクトを備える、エクステンデッドリアリティ環境を表示のために発生させ、
センサを使用することによって、注視がエクステンデッドリアリティ環境の第１の部分に指向されていることを検出し、オブジェクトは、エクステンデッドリアリティ環境の第１の部分内に含まれ、
エクステンデッドリアリティ環境の第１の部分の近傍において、複数の不透明度ベースのインジケータをエクステンデッドリアリティ環境内での表示のために発生させ、
オブジェクトの境界を識別し、
オブジェクトの識別された境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させる、
ように構成される、制御回路網と、
を備える、システム。
７２．制御回路網はさらに、
複数の不透明度ベースのインジケータのうちの少なくとも１つがオブジェクトの境界に重複するかどうかを決定し、
オブジェクトの境界に基づいて、複数の不透明度ベースのインジケータのうちの少なくとも１つの不透明度を変動させる際、境界に重複する複数の不透明度ベースのインジケータのうちの少なくとも１つの個別の不透明度を変動させる、
ように構成される、項目７１に記載のシステム。
７３．複数の不透明度ベースのインジケータは、オブジェクトに向かって指向される矢印である、項目７１または７２に記載のシステム。
７４．制御回路網はさらに、
センサを使用することによって、注視がエクステンデッドリアリティ環境の第２の部分に偏移しているかどうかを検出し、
注視が第２の部分に偏移していることを決定することに応答して、複数の不透明度ベースのインジケータを表示の第２の部分の近傍にオーバーレイさせる、
ように構成される、項目７１－７３のいずれかに記載のシステム。
７５．個別の不透明度は、オブジェクトからの距離に基づいて変動される、項目７１－７４のいずれかに記載のシステム。
７６．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が減少するにつれて増加する、項目７５に記載のシステム。
７７．インジケータの個別の不透明度は、個別のインジケータとオブジェクトとの間の距離が増加するにつれて増加する、項目７５または７６に記載のシステム。
７８．双方向性メディアガイドが、表示上に提供され、双方向性メディアガイドを介してアクセス可能なメディアアセットに関連するアクションが、少なくとも部分的に、検出された注視に基づいて受信される、項目７１－７７のいずれかに記載のシステム。
７９．表示は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目７１－７８のいずれかに記載のシステム。
８０．表示は、エクステンデッドリアリティ頭部搭載型デバイスの使用を伴わずに提示される、項目７１－７９のいずれかに記載のシステム。
８１．エクステンデッドリアリティ環境相互作用のための方法であって、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させるステップと、
眼運動を検出するステップと、
検出に基づいて、オブジェクトが少なくとも所定の期間にわたって視野内にあるかどうかを決定するステップと、
オブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させるステップと、
を含む、方法。
８２．オブジェクトに関連する１つまたはそれを上回るアイテムは、テキスト情報、画像、ビデオ、またはそれらの任意の組み合わせを備える、項目８１に記載の方法。
８３．オブジェクトが第１の所定の期間にわたって視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から少なくとも第２の所定の期間が経過していることを決定するステップと、
オブジェクトが視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から第２の所定の期間が経過していることを決定することに応答して、１つまたはそれを上回るアイテムの表示を停止するステップと、
をさらに含む、項目８１または８２に記載の方法。
８４．眼運動を検出するステップは、眼瞼運動を監視するステップを含む、項目８１－８３のいずれかに記載の方法。
８５．オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させるステップは、オブジェクトが、少なくとも所定の期間にわたって視野内および注視内にあることを決定することに応答して実施される、項目８１－８４のいずれかに記載の方法。
８６．検出に基づいて、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定するステップは、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって連続的にオブジェクト上にあることを決定するステップを含む、項目８１－８５のいずれかに記載の方法。
８７．検出に基づいて、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定するステップは、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって非連続的にオブジェクト上にあることを決定するステップを含む、項目８１－８６のいずれかに記載の方法。
８８．新しいオブジェクトが少なくとも所定の時間にわたって視野内にあることを決定するステップと、
新しいオブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、新しいオブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる一方、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させ続けるステップと、
をさらに含む、項目８１－８７のいずれかに記載の方法。
８９．所定の期間に関する時間量の修正を可能にするステップをさらに含む、項目８１－８８のいずれかに記載の方法。
９０．エクステンデッドリアリティ環境は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目８１－８９のいずれかに記載の方法。
９１．エクステンデッドリアリティ環境相互作用のためのシステムであって、
ディスプレイと、
オブジェクトを含む、エクステンデッドリアリティ環境を表示のために発生させ、
眼運動を検出し、
検出に基づいて、オブジェクトが少なくとも所定の期間にわたって視野内にあるかどうかを決定し、
オブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる、
ように構成される、制御回路網と、
を備える、システム。
９２．オブジェクトに関連する１つまたはそれを上回るアイテムは、テキスト情報、画像、ビデオ、またはそれらの任意の組み合わせを備える、項目９１に記載のシステム。
９３．制御回路網はさらに、
オブジェクトが第１の所定の期間にわたって視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から少なくとも第２の所定の期間が経過していることを決定し、
オブジェクトが視野内に存在することなく、１つまたはそれを上回るアイテムの表示の開始から第２の所定の期間が経過していることを決定することに応答して、１つまたはそれを上回るアイテムの表示を停止する、
ように構成される、項目９１または９２に記載のシステム。
９４．制御回路網はさらに、眼運動を検出する際、眼瞼運動を監視するように構成される、項目９１－９３のいずれかに記載のシステム。
９５．制御回路網はさらに、オブジェクトが、少なくとも所定の期間にわたって視野内および注視内にあることを決定することに応答して、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させるように構成される、項目９１－９４のいずれかに記載のシステム。
９６．制御回路網はさらに、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定する際、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって連続的にオブジェクト上にあることを決定するように構成される、項目９１－９５のいずれかに記載のシステム。
９７．制御回路網はさらに、オブジェクトが所定の期間にわたって視野内にあるかどうかを決定する際、視野がエクステンデッドリアリティセッションの間の所定の期間にわたって非連続的にオブジェクト上にあることを決定するように構成される、項目９１－９６のいずれかに記載のシステム。
９８．制御回路網はさらに、
新しいオブジェクトが少なくとも所定の時間にわたって視野内にあることを決定し、
新しいオブジェクトが少なくとも所定の期間にわたって視野内にあることを決定することに応答して、新しいオブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させる一方、オブジェクトに関連する１つまたはそれを上回るアイテムをエクステンデッドリアリティ環境内での表示のために発生させ続ける、
ように構成される、項目９１－９７のいずれかに記載のシステム。
９９．制御回路網はさらに、
所定の期間に関する時間量の修正を可能にするように構成される、項目９１－９８のいずれかに記載のシステム。
１００．エクステンデッドリアリティ環境は、エクステンデッドリアリティ頭部搭載型デバイスを介して提示される、項目９１－９９のいずれかに記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】