特表2024-546463 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック　リープ，　インコーポレイテッドの特許一覧

特表2024-546463エクステンデッドリアリティディスプレイシステムの性能を制御するための方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3A
3B
4
5
6A
6B
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】エクステンデッドリアリティディスプレイシステムの性能を制御するための方法

(51)【国際特許分類】

H04N 13/344 20180101AFI20241217BHJP

H04N 13/327 20180101ALI20241217BHJP

G02B 27/02 20060101ALI20241217BHJP

A61B 3/028 20060101ALI20241217BHJP

A61B 3/113 20060101ALI20241217BHJP

G09G 5/00 20060101ALI20241217BHJP

G09G 5/36 20060101ALI20241217BHJP

【ＦＩ】

H04N13/344

H04N13/327

G02B27/02 Z

A61B3/028

A61B3/113

G09G5/00 550C

G09G5/36 500

G09G5/00 X

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024532448

(86)(22)【出願日】2022-12-01

(85)【翻訳文提出日】2024-07-22

(86)【国際出願番号】 US2022080779

(87)【国際公開番号】W WO2023102500

(87)【国際公開日】2023-06-08

(31)【優先権主張番号】63/285,051

(32)【優先日】2021-12-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＨＵＮＤＥＲＢＯＬＴ

２．ＬＩＧＨＴＮＩＮＧ

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジックリープ，インコーポレイテッド

【氏名又は名称原語表記】ＭａｇｉｃＬｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ＷＳＵＮＲＩＳＥＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ３３３２２ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本健策

(72)【発明者】

【氏名】ドゥイジンハウワー，ジェイコブス

(72)【発明者】

【氏名】ブラスカンプ，ビョルンニコラースセルヴァティウス

(72)【発明者】

【氏名】カーティス，ケビンリチャード

【テーマコード（参考）】

2H199

4C316

5C182

【Ｆターム（参考）】

2H199CA02

2H199CA04

2H199CA12

2H199CA23

2H199CA24

2H199CA27

2H199CA29

2H199CA32

2H199CA42

2H199CA45

2H199CA53

2H199CA66

2H199CA67

2H199CA69

2H199CA73

2H199CA74

2H199CA92

2H199CA93

2H199CA94

2H199CA95

2H199CA96

2H199CA97

4C316AA13

4C316AA16

4C316AA21

4C316FA18

4C316FA19

4C316FB11

4C316FB12

4C316FC04

5C182AA26

5C182AA31

5C182AB11

5C182AB35

5C182AC38

5C182AC46

5C182BA14

5C182BA46

5C182BA56

5C182BB04

5C182BB12

5C182CA21

5C182CB13

5C182DA44

5C182DA70

(57)【要約】

装着型電子デバイスを使用して仮想コンテンツを表示するためのシステム、方法、およびコンピュータプログラム製品は、装着型電子デバイスを装着するユーザの両眼の照準中心の場所を決定し、これらの照準中心に関する誤差または精度を推定する。動作範囲は、少なくとも部分的に、装着型電子デバイスを用いた仮想コンテンツの両眼視の輻輳・開散運動および遠近調節に関する誤差または精度および基準に基づいて、焦点距離または焦点距離における焦点面のために決定されてもよい。仮想コンテンツが、少なくとも部分的に動作範囲に基づいて、焦点面または焦点距離に対する提示のために、調節された仮想コンテンツに調節されてもよい。調節された仮想コンテンツは、焦点距離または焦点面に対してユーザに提示されてもよい。

【特許請求の範囲】

【請求項1】

装着型電子デバイスを使用して仮想コンテンツを表示するためのシステムであって、
仮想コンテンツをユーザに提示するディスプレイデバイスと、
ディスプレイデバイスに動作可能に結合されるマイクロプロセッサと、
メモリであって、前記メモリは、命令のシーケンスを記憶しており、前記命令のシーケンスは、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、行為のセットであって、
装着型電子デバイスによって、前記装着型電子デバイスを装着する前記ユーザの第１の眼のための照準中心を決定することと、
前記装着型電子デバイスまたはネットワークを介して前記装着型電子デバイスに接続される遠隔コンピューティングデバイスによって、前記照準中心に関する誤差または精度を推定することと、
少なくとも部分的に、前記装着型電子デバイスを用いた前記仮想コンテンツの両眼視の輻輳・開散運動および遠近調節に関する前記誤差または前記精度および基準に基づいて、焦点距離または前記焦点距離における焦点面のための動作範囲を決定することと、
少なくとも部分的に前記動作範囲に基づいて、前記焦点面または前記焦点距離に対する提示のために、仮想コンテンツを調節された仮想コンテンツに調節することと
を含む行為のセットを実施させる、メモリと
を備える、システム。

【請求項2】

前記メモリは、前記命令のシーケンスを記憶しており、前記命令のシーケンスは、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、前記行為のセットであって、
前記ユーザの第１の眼の特性を識別することであって、前記特性は、前記ユーザの眼の疾患に関する、ことと、
少なくとも部分的に前記ユーザの第１の眼の特性に基づいて、前記照準中心を調節することと
をさらに含む行為のセットを実施させる、請求項１に記載のシステム。

【請求項3】

前記メモリは、前記命令のシーケンスを記憶しており、前記命令のシーケンスは、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、前記行為のセットであって、
少なくとも、前記焦点面または前記焦点距離に対して前記調節された仮想コンテンツに関する光ビームを投影する装着型電子デバイスを使用することによって、前記調節された仮想コンテンツを前記ユーザに提示することであって、
前記誤差または前記精度は、前記ユーザおよび前記装着型電子デバイスに特有であるレンダリングカメラ位置誤差または精度、前記装着型電子デバイスに特有のシステムレベル誤差または精度、または複数のユーザに関する母集団レベル残差誤差のうちの少なくとも１つを含む、こと
をさらに含む行為のセットを実施させる、請求項１に記載のシステム。

【請求項4】

前記メモリは、前記命令のシーケンスを記憶しており、前記命令のシーケンスは、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、前記行為のセットであって、
レンダリング位置誤差または精度が、少なくとも部分的に１つまたはそれを上回る基準に基づいて、更新されるべきであるかどうかを決定することと、
前記照準中心に関する第１の誤差または精度を推定することと
をさらに含む行為のセットを実施させる、請求項１に記載のシステム。

【請求項5】

前記メモリは、前記命令のシーケンスを記憶しており、前記命令のシーケンスは、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、前記行為のセットであって、
前記動作範囲をより小さい動作範囲に調節することであって、前記より小さい動作範囲は、前記焦点面または前記焦点距離のための距離範囲を含み、前記焦点面または前記焦点距離に対する前記仮想コンテンツは、前記より小さい動作範囲に従ってレンダリングされる、こと
をさらに含む行為のセットを実施させる、請求項４に記載のシステム。

【請求項6】

前記メモリは、前記命令のシーケンスを記憶しており、前記命令のシーケンスは、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、前記行為のセットであって、
前記装着型電子デバイスと前記ユーザとの間の相対位置、移動、または運動の変化を示す信号を受信することと、
少なくとも前記信号に基づいて、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度を決定することと、
少なくとも部分的に、前記照準中心誤差または精度または前記レンダリングカメラ位置誤差または精度に基づいて、前記動作範囲を調節することと
をさらに含む行為のセットを実施させる、請求項４に記載のシステム。

【請求項7】

前記行為のセットは、少なくとも部分的に、前記照準中心誤差または精度または前記レンダリングカメラ位置誤差または精度に基づいて、前記動作範囲を調節することを含み、前記動作範囲を調節することはさらに、
少なくとも前記装着型電子デバイスの眼追跡モジュールを実行することによって、または視覚タスクを実施することによって、前記ユーザの第１の眼のためのレンダリングカメラ位置を決定することと、
前記ユーザの第１の眼のための前記レンダリングカメラ位置に関する推定された照準中心誤差または精度を決定することと、
複数のユーザのためのグランドトゥルースに対応する前記焦点面または前記焦点距離を識別することと
を含む、請求項６に記載のシステム。

【請求項8】

前記行為のセットは、少なくとも部分的に、前記照準中心誤差または精度または前記レンダリングカメラ位置誤差または精度に基づいて、前記動作範囲を調節することを含み、前記動作範囲を調節することはさらに、
前記ユーザの第１の眼のための前記レンダリングカメラ位置に関する残余誤差を決定すること
を含む、請求項７に記載のシステム。

【請求項9】

前記行為のセットは、少なくとも部分的に、前記照準中心誤差または精度または前記レンダリングカメラ位置誤差または精度に基づいて、前記動作範囲を調節することを含み、前記動作範囲を調節することはさらに、
少なくとも部分的に、前記推定された照準中心誤差または精度に基づいて、前記焦点面または前記焦点距離のための前記動作範囲を調節された動作範囲に調節すること
を含む、請求項７に記載のシステム。

【請求項10】

前記行為のセットは、前記装着型電子デバイスを装着する前記ユーザの第１の眼のための前記照準中心を決定することを含み、前記照準中心を決定することは、
第１の場所における第１のマーカを前記ユーザの第１の眼に提示することであって、前記第１のマーカは、オブジェクトまたは第１のレンダリングされたオブジェクト内の第１の孔を含む、ことと、
標的を、前記焦点面または前記焦点距離における前記ユーザの第１の眼に提示することと
を含む、請求項１に記載のシステム。

【請求項11】

前記行為のセットは、前記装着型電子デバイスを装着する前記ユーザの第１の眼のための前記照準中心を決定することを含み、前記照準中心を決定することは、
前記標的を前記第１のマーカの周囲で移動させることと、
前記標的が前記ユーザの第１の眼によって視認可能な状態になると、前記ユーザから第１の信号を受信することと、
前記第１の信号を受信することに応じて、前記第１のマーカおよび前記標的を接続する第１の基準エンティティを決定することと
を含む、請求項１０に記載のシステム。

【請求項12】

前記行為のセットは、前記装着型電子デバイスを装着する前記ユーザの第１の眼のための前記照準中心を決定することを含み、前記照準中心を決定することは、
第２の場所における第２のマーカを前記ユーザの第１の眼に提示することであって、前記第２のマーカは、前記オブジェクトまたは第２のレンダリングされたオブジェクト内の第２の孔を含む、ことと、
前記標的または別個の標的を、前記焦点面または前記焦点距離における前記ユーザの第１の眼に提示することと
を含む、請求項１１に記載のシステム。

【請求項13】

前記行為のセットは、前記装着型電子デバイスを装着する前記ユーザの第１の眼のための前記照準中心を決定することを含み、前記照準中心を決定することは、
前記標的または前記別個の標的を前記第２のマーカの周囲で移動させることと、
前記標的または前記別個の標的が前記ユーザの第１の眼によって視認可能な状態になると、前記ユーザから第２の信号を受信することと、
前記第２の信号を受信することに応じて、前記第２のマーカおよび前記標的または前記別個の標的を接続する第２の基準エンティティを決定することと
を含む、請求項１２に記載のシステム。

【請求項14】

前記行為のセットは、前記装着型電子デバイスを装着する前記ユーザの第１の眼のための前記照準中心を決定することを含み、前記照準中心を決定することは、
少なくとも部分的に、前記第１の基準エンティティおよび前記第２の基準エンティティに基づいて、前記ユーザの第１の眼のための前記照準中心を決定すること
を含む、請求項１３に記載のシステム。

【請求項16】

装着型電子デバイスを使用して仮想コンテンツを表示するための方法であって、
装着型電子デバイスによって、前記装着型電子デバイスを装着するユーザの第１の眼のための照準中心を決定することと、
前記装着型電子デバイスまたはネットワークを介して前記装着型電子デバイスに接続される遠隔コンピューティングデバイスによって、前記照準中心に関する誤差または精度を推定することと、
少なくとも部分的に、前記装着型電子デバイスを用いた仮想コンテンツの両眼視の輻輳・開散運動および遠近調節に関する前記誤差または前記精度および基準に基づいて、焦点距離または前記焦点距離における焦点面のための動作範囲を決定することと、
少なくとも部分的に前記動作範囲に基づいて、前記焦点面または前記焦点距離に対する提示のために、仮想コンテンツを調節された仮想コンテンツに調節することと
を含む、方法。

【請求項17】

前記ユーザの第１の眼の特性を識別することであって、前記特性は、前記ユーザの眼の疾患に関する、ことと、
少なくとも部分的に前記ユーザの第１の眼の特性に基づいて、前記照準中心を調節することと、
少なくとも、前記焦点面または前記焦点距離に対して前記調節された仮想コンテンツに関する光ビームを投影する装着型電子デバイスを使用することによって、前記調節された仮想コンテンツを前記ユーザに提示することであって、
前記誤差または前記精度は、前記ユーザおよび前記装着型電子デバイスに特有であるレンダリングカメラ位置誤差または精度、前記装着型電子デバイスに特有のシステムレベル誤差または精度、または複数のユーザに関する母集団レベル残差誤差のうちの少なくとも１つを含む、ことと
をさらに含む、請求項１６に記載の方法。

【請求項18】

レンダリング位置誤差または精度が、少なくとも部分的に１つまたはそれを上回る基準に基づいて、更新されるべきであるかどうかを決定することと、
前記照準中心に関する第１の誤差または精度を推定することと、
前記動作範囲をより小さい動作範囲に調節することであって、前記より小さい動作範囲は、前記焦点面または前記焦点距離のための距離範囲を含み、前記焦点面または前記焦点距離に対する前記仮想コンテンツは、前記より小さい動作範囲に従ってレンダリングされる、ことと、
前記装着型電子デバイスと前記ユーザとの間の相対位置、移動、または運動の変化を示す信号を受信することと、
少なくとも前記信号に基づいて、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度を決定することと、
少なくとも部分的に、前記照準中心誤差または精度または前記レンダリングカメラ位置誤差または精度に基づいて、前記動作範囲を調節することと
をさらに含む、請求項１６に記載の方法。

【請求項19】

コンピュータプログラム製品であって、前記コンピュータプログラム製品は、非一過性機械可読記憶媒体を備え、前記非一過性機械可読記憶媒体は、命令のシーケンスをその上に記憶しており、前記命令のシーケンスは、マイクロプロセッサによって実行されると、前記マイクロプロセッサに、行為のセットであって、
装着型電子デバイスによって、前記装着型電子デバイスを装着する前記ユーザの第１の眼のための照準中心を決定することと、
前記装着型電子デバイスまたはネットワークを介して前記装着型電子デバイスに接続される遠隔コンピューティングデバイスによって、前記照準中心に関する誤差または精度を推定することと、
少なくとも部分的に、前記装着型電子デバイスを用いた前記仮想コンテンツの両眼視の輻輳・開散運動および遠近調節に関する前記誤差または前記精度および基準に基づいて、焦点距離または前記焦点距離における焦点面のための動作範囲を決定することと、
少なくとも部分的に前記動作範囲に基づいて、前記焦点面または前記焦点距離に対する提示のために、仮想コンテンツを調節された仮想コンテンツに調節することと
を含む行為のセットを実施させる、コンピュータプログラム製品。

【請求項20】

前記非一過性機械可読記憶媒体は、前記命令のシーケンスをその上に記憶しており、前記命令のシーケンスは、マイクロプロセッサによって実行されると、前記マイクロプロセッサに、前記行為のセットであって、
第１の場所における第１のマーカを前記ユーザの第１の眼に提示することであって、前記第１のマーカは、オブジェクトまたは第１のレンダリングされたオブジェクト内の第１の孔を含む、ことと、
標的を、前記焦点面または前記焦点距離における前記ユーザの第１の眼に提示することと、
前記標的を前記第１のマーカの周囲で移動させることと、
前記標的が前記ユーザの第１の眼によって視認可能な状態になると、前記ユーザから第１の信号を受信することと、
前記第１の信号を受信することに応じて、前記第１のマーカおよび前記標的を接続する第１の基準エンティティを決定することと
をさらに含む行為のセットを実施させる、請求項１９に記載のコンピュータプログラム製品。

【請求項21】

前記非一過性機械可読記憶媒体は、前記命令のシーケンスをその上に記憶しており、前記命令のシーケンスは、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、前記行為のセットであって、
第２の場所における第２のマーカを前記ユーザの第１の眼に提示することであって、前記第２のマーカは、前記オブジェクトまたは第２のレンダリングされたオブジェクト内の第２の孔を含む、ことと、
前記標的または別個の標的を、前記焦点面または前記焦点距離における前記ユーザの第１の眼に提示することと、
前記標的または前記別個の標的を前記第２のマーカの周囲で移動させることと、
前記標的または前記別個の標的が前記ユーザの第１の眼によって視認可能な状態になると、前記ユーザから第２の信号を受信することと、
前記第２の信号を受信することに応じて、前記第２のマーカおよび前記標的または前記別個の標的を接続する第２の基準エンティティを決定することと、
少なくとも部分的に、前記第１の基準エンティティおよび前記第２の基準エンティティに基づいて、前記ユーザの第１の眼のための前記照準中心を決定することと
をさらに含む行為のセットを実施させる、請求項２０に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２１年１２月１日に出願された、「ＭＥＴＨＯＤＳＦＯＲＣＯＮＴＲＯＬＬＩＮＧＰＥＲＦＯＲＭＡＮＣＥＯＦＥＸＴＥＮＤＥＤＲＥＡＬＩＴＹＤＩＳＰＬＡＹＳＹＳＴＥＭＳ」と題された、米国仮特許出願第６３／２８５，０５１号の利益を主張する。本願はまた、以下の特許出願、すなわち、２０１４年３月１１日に出願された、米国特許出願第１４／２０５，１２６号、２０１４年３月１４日に出願された、米国特許出願第１４／２１２，９６１号、２０１４年７月１４日に出願された、米国特許出願第１４／３３１，２１８号、２０１４年１１月２７日に出願された、米国特許出願第１４／５５５，５８５号、２０１５年４月１８日に出願された、米国特許出願第１４／６９０，４０１号、２０１５年６月１３日に出願された、米国特許出願第１４／７３８，８７７号、２０１８年１２月１０日に出願された、米国特許出願第１６／２１５，４７７号と相互関連する。本明細書に述べられる特許出願の内容は、あらゆる目的のために、参照することによって完全に組み込まれる。

【0002】

本開示は、エクステンデッドリアリティ（すなわち、仮想現実、拡張現実、および／または複合現実）結像、視覚化、およびディスプレイシステムおよび方法に関する。

【背景技術】

【0003】

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式においてユーザに提示される、いわゆる、「仮想現実」（ＶＲ）、「拡張現実」（ＡＲ）、または「複合現実」（ＭＲ）体験のための「エクステンデッドリアリティ」（ＸＲ）システムの開発を促進している。ＶＲシナリオは、典型的には、実際の実世界の視覚的入力に対する透明性を伴わない、デジタルまたは仮想画像情報の提示を伴う。ＡＲシナリオは、典型的には、ユーザの周囲の実世界の視覚化（すなわち、実世界の視覚的入力に対する透明性）の拡張としてのデジタルまたは仮想画像情報の提示を伴う。ＭＲシナリオは、典型的には、実世界オブジェクトと相互作用するデジタルまたは仮想オブジェクトの提示を伴う。故に、ＡＲおよびＭＲシナリオは、実世界視覚的入力に対する透明性を伴う、デジタルまたは仮想画像情報の提示を伴う。

【0004】

ＸＲシステムは、典型的には、ＸＲシナリオの現実感を増加させる、カラーデータを発生させ、表示する。これらのＸＲシステムの多くが、迅速に連続してカラー画像に対応する、異なる（例えば、原）色または「場」（例えば、赤色、緑色、および青色）における部分画像を順次投影することによって、色データを表示する。十分に高いレート（例えば、６０Ｈｚ、１２０Ｈｚ等）においてカラー部分画像を投影することは、ユーザの頭の中に平滑なカラーＸＲシナリオを送達し得る。

【0005】

種々の光学システムは、ＸＲ（ＶＲ、ＡＲ、およびＭＲ）シナリオを表示するために、種々の深度におけるカラー画像を含む、画像を発生させる。いくつかのそのような光学システムが、２０１４年１１月２７日に出願された、米国実用特許出願第１４／５５５，５８５号（特許文献１）（その内容は、参照することによって本明細書の前述に組み込まれている）において説明されている。

【0006】

ＸＲシステムは、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると移動する、装着型ディスプレイデバイス（例えば、頭部装着式ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス）を採用する。ユーザの頭部運動が、ディスプレイデバイスによって検出される場合、表示されているデータが、頭部姿勢（すなわち、ユーザの頭部の配向および／または場所）の変化を考慮するように更新されることができる。

【0007】

ＡＲおよびＭＲを可能にする、頭部装着式ディスプレイデバイスは、現実オブジェクトおよび仮想オブジェクトの両方の並行して生じる視認を提供する。「光学シースルー」ディスプレイを用いると、ユーザには、ディスプレイシステム内の透明（または半透明）要素が透けて見え、環境内の現実オブジェクトから光を直接視認することができる。多くの場合、「コンバイナ」と称される、透明要素が、ディスプレイからの光を実世界のユーザのビューにわたって重畳し、ディスプレイからの光は、環境内の現実オブジェクトの透過ビューにわたって仮想コンテンツの画像を投影する。カメラが、頭部装着式ディスプレイデバイス上に搭載され、ユーザによって視認されている場面の画像またはビデオを捕捉してもよい。

【0008】

ＸＲシステム内のもの等の現在の光学システムは、仮想コンテンツを光学的にレンダリングする。コンテンツは、空間内の個別の位置に位置する、実際の物理オブジェクトに対応しないという点において、「仮想」である。代わりに、仮想コンテンツは、ユーザの眼に指向された光ビームによって刺激されたときに、頭部装着式ディスプレイデバイスのユーザの脳（光学中枢）内のみに存在する。ＸＲシステムは、カラーの、写真のような現実感のある没入型のＸＲシナリオを提示するように試みる。

【0009】

脳の視覚化中枢は、両眼およびその構成要素の相互に対する運動から有益な知覚情報を獲得する。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の通視線を収束させ、オブジェクト上に固定するための相互に向かう、またはそこから離れる瞳孔の移動）は、眼の水晶体の合焦（または「遠近調節」）と密接に関連付けられる。正常条件下では、眼の水晶体の焦点を変化させること、すなわち、眼を遠近調節させ、異なる距離におけるオブジェクト上に合焦させることは、「遠近調節－輻輳・開散運動反射作用」として公知である関係下において、自動的に、同一距離までの輻輳・開散運動における合致変化を引き起こすであろう。同様に、輻輳・開散運動の変化は、正常条件下では、遠近調節の合致変化を誘起するであろう。本反射作用に逆らう作用は、大半の従来の立体視ＸＲ構成が行うように、眼疲労、頭痛、または他の形態の不快感をユーザに生じさせることが公知である。

【0010】

ヒト視知覚システムの複雑性に起因して、他の仮想または実世界画像要素間における仮想画像要素の快適で自然に感じられる、豊かな提示を促進する、ＸＲ技術を生産することは、課題となる。例えば、３次元（３Ｄ）画像ディスプレイシステムは、ユーザに輻輳・開散運動－遠近調節競合問題を体験させ得る。本問題は、２つの光学深度に関連する生物学的プロセスが視認者／ユーザの脳に競合する深度信号を送信するときに生じる。輻輳・開散運動は、光学軸（複数の軸）とある距離における視認者の注意物体を整合させるために回転するような、視認者の眼の傾向に関連する。両眼システムでは、光学軸が交差する点は、「輻輳・開散運動の点」と呼ばれることができる。輻輳・開散運動の間の視認者の眼の回転量は、視認者の脳によって、推定される深度として解釈される。遠近調節は、視認者の注意物体がある距離におけるように合焦するような、視認者の眼の水晶体の傾向に関連する。輻輳・開散運動の間の視認者の眼の焦点は、視認者の脳によって、別の推定される深度として解釈される。輻輳・開散運動および遠近調節信号が、視認者の脳によって、同一または類似の推定される深度として解釈されるとき、３Ｄ視認体験は、視認者にとって自然であり、快適である。他方では、輻輳・開散運動および遠近調節信号が、視認者の脳によって、実質的に異なる推定される深度として解釈されるとき、３Ｄ視認体験は、視認者にとって準最適であり、不快性（眼精疲労、頭痛等）および疲労をもたらし得る。そのような問題は、輻輳・開散運動－遠近調節競合として公知である。

【0011】

立体視装着型グラスは、概して、３Ｄ遠近法がヒトの視覚系によって知覚されるように、わずかに異なる要素の提示を伴う画像を表示するように構成される、左眼および右眼のための２つのディスプレイを特徴とする。そのような構成は、画像を３次元で知覚するために克服されなければならない輻輳・開散運動－遠近調節競合を引き起こす、輻輳・開散運動と遠近調節との間の不合致に起因して、多くのユーザにとって不快であることが見出されている。実際、一部のユーザは、立体視構成に耐えることが可能ではない。これらの限界は、全ての典型的ＸＲシステムに当てはまる。故に、大半の従来のＸＲシステムは、部分的に、従来のシステムが、輻輳・開散運動－遠近調節競合を含む、ヒトの知覚系の基本側面のいくつかに対処し損なっているため、ユーザにとって快適かつ最大限に有用となるであろう様式で、豊かな両眼の３Ｄ体験を提示するために最適に好適ではない。

【0012】

ＸＲシステムはまた、３Ｄ体験のために、ユーザに対して種々の知覚された位置および距離において仮想デジタルコンテンツを表示することが可能でなければならない。ポータブルＸＲシステムの設計はまた、ＸＲシステム性能に悪影響を及ぼし得る、仮想デジタルコンテンツを送達する際のシステムのスピード、仮想デジタルコンテンツの品質、（輻輳・開散運動－遠近調節競合に対処する）ユーザのアイレリーフ、システムのサイズおよび可搬性、バッテリ寿命、システム過熱、処理能力、メモリ、帯域幅、および他のシステムおよび光学課題を含む、多数の他の課題も提示する。これらの限界は、自然な輻輳・開散運動および遠近調節のための３Ｄ画像レンダリングの重要性を増大させる。

【0013】

例えば、視認者／ユーザに３Ｄ画像をレンダリングおよび表示しながら、輻輳・開散運動－遠近調節競合を最小限化するためのシステムおよび技法と、それを行いながらポータブルＸＲシステムの限定されたグラフィカル処理能力に対する需要を最小限化するためのシステムおよび技法とを含む、画像データを処理し、画像を表示するための改良されたシステムおよび技法が、必要とされる。本明細書に説明されるシステムおよび方法は、これらの課題に対処するように構成される。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】米国特許第９，７９１，７００号明細書

【発明の概要】

【課題を解決するための手段】

【0015】

実施形態は、ＸＲシステムの性能を制御するための方法を対象とする。特に、実施形態は、ユーザによって体験される輻輳・開散運動－遠近調節競合を低減させるためにＸＲシステムによって表示されるコンテンツを修正するための方法を対象とする。

【0016】

一実施形態では、エクスパンデッドリアリティ（ＸＲ）システムを使用して仮想コンテンツを表示するための方法は、ＸＲシステムの眼追跡サブシステムがレンダリング位置誤差を取得することを含む。本方法はまた、ＸＲシステムが少なくともレンダリング位置誤差から動作範囲を決定することを含む。本方法はさらに、ＸＲシステムが仮想コンテンツを表示する前に少なくとも動作範囲に基づいて仮想コンテンツを修正することを含む。

【0017】

別の実施形態では、エクスパンデッドリアリティ（ＸＲ）システムを使用して仮想コンテンツを表示するための方法は、ＸＲシステムがレンダリング位置誤差を取得することを含む。本方法はまた、ＸＲシステムが少なくともレンダリング位置誤差から動作範囲を決定することを含む。本方法はさらに、ＸＲシステムが仮想コンテンツを表示する前に少なくとも動作範囲に基づいて仮想コンテンツを修正することを含む。

【0018】

１つまたはそれを上回る実施形態では、仮想コンテンツを修正することは、仮想コンテンツの一部を削除することを含み、その部分は、ＸＲシステムの焦点面からの動作範囲の外側の深度に対応する。仮想コンテンツを修正することは、単眼で表示されるべき仮想コンテンツの一部を構成することを含んでもよく、その部分は、ＸＲシステムの焦点面からの動作範囲の外側の深度に対応してもよい。

【0019】

１つまたはそれを上回る実施形態では、レンダリング位置誤差は、照準中心誤差に対応する。本方法は、ＸＲシステムがユーザの眼の位置を追跡することと、ＸＲシステムが少なくともユーザの眼の位置から照準中心誤差を推定することとを含んでもよい。本方法は、ＸＲシステムがＸＲシステムによる眼追跡に対応するシステム誤差を決定することと、ＸＲシステムがシステム誤差に基づいて動作範囲を修正することとを含んでもよい。本方法は、ＸＲシステムがユーザの眼の特性を取得することと、ＸＲシステムが少なくともユーザの眼の特性に基づいてシステム誤差を修正することとを含んでもよい。ＸＲシステムは、カメラを使用してユーザの眼の特性を検出してもよい。ＸＲシステムは、ユーザインターフェースを通してユーザからユーザの眼の特性を受信してもよい。

【0020】

１つまたはそれを上回る実施形態では、本方法は、ＸＲシステムがレンダリング位置誤差をリアルタイムで更新することを含む。本方法は、ＸＲシステムがレンダリング位置誤差を更新し得ないときに、ＸＲシステムが動作範囲を所定の最小動作範囲まで低減させることを含んでもよい。動作範囲は、両眼動作範囲であってもよい。レンダリング位置誤差は、母集団レベルレンダリング位置誤差であってもよい。

【0021】

１つまたはそれを上回る実施形態では、本方法は、ＸＲシステムがＸＲシステムの移動を検出することと、ＸＲシステムが少なくともＸＲシステムの移動から照準中心誤差を推定することとを含む。ＸＲシステムの移動は、ユーザに対するものであってもよい。ＸＲシステムは、加速度計を使用して移動を検出してもよい。本方法は、ＸＲシステムがＸＲシステムの移動を検出することと、ＸＲシステムが、ＸＲシステムの移動が所定の閾値量より多いときに動作範囲を所定の最小動作範囲まで低減させることとを含んでもよい。

【0022】

さらに別の実施形態では、エクスパンデッドリアリティ（ＸＲ）システムを使用して仮想コンテンツを表示するための方法は、ＸＲシステムが持続的動作の時間を取得することを含む。本方法はまた、ＸＲシステムが少なくとも持続的動作の時間から動作範囲を決定することを含む。本方法はさらに、ＸＲシステムが仮想コンテンツを表示する前に少なくとも動作範囲に基づいて仮想コンテンツを修正することを含む。

【0023】

いくつかの実施形態は、装着型電子デバイスを使用して仮想コンテンツを表示するためのシステムを対象とする。これらの実施形態では、装着型電子デバイスは、それ自体で、または別のコンピューティングデバイス（例えば、スマートフォン、タブレットコンピューティングデバイス、ラップトップコンピュータ、デスクトップコンピュータ、ゲーム用コンソール、または遠隔サーバ等の遠隔コンピュータデバイス等）と接続されると、仮想コンテンツをユーザに提示することが可能である、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、またはエクステンデッドリアリティ（ＸＲ）ゴーグル、スマートグラス、またはヘッドセット、３次元または立体視装着型デバイス、または立体視ディスプレイデバイスまたはその対を含む。

【0024】

本システムは、仮想コンテンツをユーザに提示する、ディスプレイデバイスと、ディスプレイデバイスに動作可能に結合される、マイクロプロセッサと、マイクロプロセッサによって実行されると、マイクロプロセッサに、行為のセットを実施させる、命令のシーケンスを記憶する、メモリとを備える。これらの実施形態では、行為のセットは、装着型電子デバイスによって、装着型電子デバイスを装着するユーザの第１の眼のための照準中心を決定することと、装着型電子デバイスまたはネットワークを介して装着型電子デバイスに接続される遠隔コンピューティングデバイスによって、照準中心に関する誤差または精度を推定することとを含む。

【0025】

行為のセットはさらに、少なくとも部分的に、装着型電子デバイスを用いた仮想コンテンツの両眼視の輻輳・開散運動および遠近調節に関する誤差または精度および基準に基づいて、焦点距離または焦点距離における焦点面のための動作範囲を決定することと、少なくとも部分的に動作範囲に基づいて、焦点面または焦点距離に対する提示のために、仮想コンテンツを調節された仮想コンテンツに調節することとを含む。

【0026】

これらの実施形態のうちのいくつかでは、行為のセットはさらに、ユーザの第１の眼の特性を識別することであって、特性は、ユーザの眼の疾患に関する、ことと、少なくとも部分的にユーザの第１の眼の特性に基づいて、照準中心を調節することとを含む。

【0027】

加えて、または代替として、調節された仮想コンテンツは、少なくとも、焦点面または焦点距離に対して調節された仮想コンテンツに関する光ビームを投影する、装着型電子デバイスを使用することによってユーザに提示されてもよい。さらに、前述の誤差または精度は、ユーザおよび装着型電子デバイスに特有である、レンダリングカメラ位置誤差または精度、装着型電子デバイスに特有のシステムレベル誤差または精度、または複数のユーザに関する母集団レベル残差誤差のうちの少なくとも１つを含む。

【0028】

いくつかの実施形態では、決定が、レンダリング位置誤差または精度が、少なくとも部分的に１つまたはそれを上回る基準に基づいて、更新されるべきであるかどうかを決定するために行われてもよく、第１の誤差または精度は、照準中心に関して推定されてもよい。

【0029】

直前に先行する実施形態のうちのいくつかでは、動作範囲は、より小さい動作範囲に調節されてもよく、より小さい動作範囲は、焦点面または焦点距離のための距離範囲を含み、焦点面または焦点距離に対する仮想コンテンツは、より小さい動作範囲に従ってレンダリングされる。

【0030】

加えて、または代替として、本システムは、装着型電子デバイスとユーザとの間の相対位置、移動、または運動の変化を示す、信号を受信し、信号の受信に応じて、少なくとも信号に基づいて、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度を決定するような方法で構成されてもよい。動作範囲は、少なくとも部分的に、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度に基づいて調節されてもよい。

【0031】

先行する実施形態のうちのいくつかでは、動作範囲を調節することは、少なくとも装着型電子デバイスの眼追跡モジュールを実行することによって、または視覚タスクを実施することによって、ユーザの第１の眼のためのレンダリングカメラ位置の決定を行うことを含んでもよい。さらに、推定された照準中心誤差または精度は、ユーザの第１の眼のためのレンダリングカメラ位置に関して決定されてもよく、複数のユーザのためのグランドトゥルースに対応する、焦点面または焦点距離が、識別されてもよい。

【0032】

直前に先行する実施形態のうちのいくつかでは、動作範囲を調節することはさらに、少なくとも部分的に、推定された照準中心誤差または精度に基づいて、焦点面または焦点距離のための動作範囲を調節された動作範囲に調節することを含んでもよい。

【0033】

いくつかの実施形態では、照準中心を決定することは、第１の場所における第１のマーカをユーザの第１の眼に提示し、第１のマーカは、オブジェクトまたは第１のレンダリングされたオブジェクト内の第１の孔を含み、標的を、焦点面または焦点距離におけるユーザの第１の眼に提示してもよい。

【0034】

これらの実施形態のうちのいくつかでは、標的は、第１のマーカの周囲で移動されてもよい。第１の信号が、標的がユーザの第１の眼によって視認可能な状態になると、ユーザから受信されてもよい。第１の信号を受信することに応じて、第１のマーカおよび標的を接続する、第１の基準エンティティが、決定されてもよい。

【0035】

直前に先行する実施形態のうちのいくつかでは、第２のマーカが、第２の場所において、ユーザの第１の眼に提示されてもよく、第２のマーカは、オブジェクトまたは第２のレンダリングされたオブジェクト内の第２の孔を含み、標的または別個の標的はまた、焦点面または焦点距離におけるユーザの第１の眼に提示されてもよい。

【0036】

直前に先行する実施形態のうちのいくつかでは、標的または別個の標的は、第２のマーカの周囲で移動されてもよい。第２の信号が、標的または別個の標的がユーザの第１の眼によって視認可能な状態になると、ユーザから受信されてもよい。第２の信号を受信することに応じて、第２のマーカおよび標的または別個の標的を接続する、第２の基準エンティティが、決定されてもよい。加えて、または代替として、照準中心は、少なくとも部分的に、第１の基準エンティティおよび第２の基準エンティティに基づいて、ユーザの第１の眼のために決定されてもよい。

【0037】

本システムが照準中心を決定するいくつかの実施形態では、１つまたはそれを上回る光源が、光線またはビームをユーザの眼に向かって放出してもよい。ユーザの眼と光線またはビームの反射の相互作用と関連付けられる第１の特性が、１つまたはそれを上回るセンサを使用して検出されてもよい。

【0038】

これらの実施形態のうちのいくつかでは、１つまたはそれを上回るセンサは、フォトダイオードを含んでもよく、１つまたはそれを上回る光源は、発光ダイオードを含んでもよい。いくつかの実施形態では、第１の特性は、ユーザの眼からの第１の光線またはビームの少なくとも一部に応答し、１つまたはそれを上回るセンサによって検出される、戻り量、反射、または具体的パターンを含んでもよい。加えて、例えば、第１の視線方向を含む、第１の基準エンティティが、少なくとも部分的に第１の特性に基づいて決定されてもよい。

【0039】

これらの実施形態のうちのいくつかでは、１つまたはそれを上回る光源は、第２の光線またはビームをユーザの同一の眼に向かって放出してもよい。ユーザの眼と第２の光線またはビームの相互作用と関連付けられる第２の特性が、ユーザの眼のために装備される、１つまたはそれを上回るカメラセンサを使用して検出されてもよい。

【0040】

これらの実施形態のうちのいくつかでは、１つまたはそれを上回るセンサは、フォトダイオードを含んでもよく、１つまたはそれを上回る光源は、発光ダイオードを含んでもよい。いくつかの実施形態では、第２の特性は、ユーザの眼からの第２の光線またはビームの少なくとも一部に応答し、１つまたはそれを上回るセンサによって検出される、戻り量、反射、または具体的パターンを含んでもよい。加えて、例えば、第２の視線方向を含む、第２の基準エンティティが、少なくとも部分的に第１の特性に基づいて決定されてもよい。

【0041】

ユーザの眼の照準中心は、少なくとも部分的に、第１の基準エンティティおよび第２の基準エンティティに基づいて決定されてもよい。例えば、ユーザの眼の照準中心は、第１の基準エンティティおよび第２の基準エンティティの交差部分であると決定されてもよい。

【0042】

これらの実施形態のうちのいくつかは、ユーザの両眼が、連動して動き、したがって、ユーザの両眼ではなく、一方のみの眼に前述の１つまたはそれを上回る光源と、１つまたはそれを上回るセンサとを装備することを想定する。いくつかの他の実施形態は、ユーザの両眼に、ユーザの２つの眼の各々に対し、前述の１つまたはそれを上回る光源と、１つまたはそれを上回るセンサとを装備する。これらの後者の実施形態では、ユーザの２つの眼のそれぞれの個別の照準中心は、独立して決定されてもよい。これらの実施形態のうちのいくつかでは、個別の照準中心は、個別の視線方向とともに、焦点面または焦点深度等に関して焦点深度、焦点面、輻輳・開散運動、遠近調節、動作範囲を特徴付けるために使用されてもよい。

【0043】

いくつかの実施形態は、装着型電子デバイスを使用して仮想コンテンツを表示するための方法を対象とする。これらの実施形態では、装着型電子デバイスは、それ自体で、または別のコンピューティングデバイス（例えば、スマートフォン、タブレットコンピューティングデバイス、ラップトップコンピュータ、デスクトップコンピュータ、ゲーム用コンソール、または遠隔サーバ等の遠隔コンピュータデバイス等）と接続されると、仮想コンテンツをユーザに提示することが可能である、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、またはエクステンデッドリアリティ（ＸＲ）ゴーグル、スマートグラス、またはヘッドセット、３次元または立体視装着型デバイス、または立体視ディスプレイデバイスまたはその対を含む。

【0044】

これらの実施形態では、装着型電子デバイスは、装着型電子デバイスを装着するユーザの第１の眼のための照準中心を決定してもよく、装着型電子デバイスまたはネットワークを介して装着型電子デバイスに接続される遠隔コンピューティングデバイスはさらに、照準中心に関する誤差または精度を推定してもよい。動作範囲は、少なくとも部分的に、装着型電子デバイスを用いた仮想コンテンツの両眼視の輻輳・開散運動および遠近調節に関する誤差または精度および基準に基づいて、焦点距離または焦点距離における焦点面のために決定されてもよい。仮想コンテンツが、少なくとも部分的に動作範囲に基づいて、焦点面または焦点距離に対する提示のために、調節された仮想コンテンツに調節されてもよい。

【0045】

これらの実施形態のうちのいくつかでは、ユーザの第１の眼の特性が、識別されてもよく、特性は、ユーザの眼の疾患に関し、照準中心は、少なくとも部分的にユーザの第１の眼の特性に基づいて調節される。

【0046】

加えて、または代替として、調節された仮想コンテンツは、少なくとも、焦点面または焦点距離に対して調節された仮想コンテンツに関する光ビームを投影する、装着型電子デバイスを使用することによって、ユーザに提示されてもよい。さらに、前述の誤差または精度は、ユーザおよび装着型電子デバイスに特有である、レンダリングカメラ位置誤差または精度、装着型電子デバイスに特有なシステムレベル誤差または精度、または複数のユーザに関する母集団レベル残余誤差のうちの少なくとも１つを含む。

【0047】

【0048】

【0049】

加えて、または代替として、本システムは、装着型電子デバイスとユーザとの間の相対位置、移動、または運動の変化を示す、信号を受信し、信号の受信に基づいて、少なくとも信号に基づいて、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度を決定するような方法で構成されてもよい。動作範囲は、少なくとも部分的に、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度に基づいて調節されてもよい。

【0050】

【0051】

【0052】

【0053】

【0054】

【0055】

【0056】

本システムが照準中心を決定するいくつかの実施形態では、１つまたはそれを上回る光源が、第１の光線またはビームをユーザの眼に向かって放出してもよい。ユーザの眼と第１の光線またはビームの相互作用と関連付けられる第１の特性が、１つまたはそれを上回るセンサを使用して検出されてもよい。

【0057】

【0058】

これらの実施形態のうちのいくつかでは、１つまたはそれを上回る光源は、第２の光線またはビームをユーザの同一の眼に向かって放出してもよい。ユーザの眼と第２の光線またはビームの相互作用と関連付けられる第２の特性が、ユーザの眼のために装備される、１つまたはそれを上回るセンサを使用して検出されてもよい。

【0059】

【0060】

【0061】

【0062】

いくつかの実施形態は、コンピュータプログラム製品であって、マイクロプロセッサによって実行されると、マイクロプロセッサに、装着型電子デバイスを使用して仮想コンテンツを表示するための行為のセットを実施させる、命令のシーケンスをその上に記憶している、非一過性機械可読記憶媒体を備える、コンピュータプログラム製品を対象とする。これらの実施形態では、装着型電子デバイスは、それ自体で、または別のコンピューティングデバイス（例えば、スマートフォン、タブレットコンピューティングデバイス、ラップトップコンピュータ、デスクトップコンピュータ、ゲーム用コンソール、または遠隔サーバ等の遠隔コンピュータデバイス等）と接続されると、仮想コンテンツをユーザに提示することが可能である、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、またはエクステンデッドリアリティ（ＸＲ）ゴーグル、スマートグラス、またはヘッドセット、３次元または立体視装着型デバイス、または立体視ディスプレイデバイスまたはその対を含む。

【0063】

これらの実施形態では、行為のセットは、装着型電子デバイスによって、装着型電子デバイスを装着するユーザの第１の眼のための照準中心を決定することと、装着型電子デバイスまたはネットワークを介して装着型電子デバイスに接続される遠隔コンピューティングデバイスによって、照準中心に関する誤差または精度を推定することとを含む。

【0064】

【0065】

【0066】

【0067】

【0068】

直前に先行する実施形態のうちのいくつかでは、動作範囲は、より小さい範囲に調節に調節されてもよく、より小さい動作範囲は、焦点面または焦点距離のための距離範囲を含み、焦点面または焦点距離に対する仮想コンテンツは、より小さい動作範囲に従ってレンダリングされる。

【0069】

加えて、または代替として、本システムは、装着型電子デバイスとユーザとの間の相対位置、移動、または運動の変化を示す、信号を受信し、信号の受信に応じて、少なくとも信号に基づいて、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度を決定するような方法において構成されてもよい。動作範囲は、少なくとも部分的に、照準中心誤差または精度またはレンダリングカメラ位置誤差または精度に基づいて調節されてもよい。

【0070】

先行する実施形態のうちのいくつかでは、動作範囲を調節することは、少なくとも装着型電子デバイスの眼追跡モジュールを実行することによって、または視覚タスクを実施することによって、ユーザの第１の眼のためのレンダリングカメラ位置の決定を行うことを含んでもよい。さらに、推定された照準中心誤差または精度が、ユーザの第１の眼のためのレンダリングカメラ位置に関して決定されてもよく、複数のユーザのためのグランドトゥルースに対応する、焦点面または焦点距離が、識別されてもよい。

【0071】

直前の実施形態のうちのいくつかでは、動作範囲を調節することはさらに、少なくとも部分的に、推定された照準中心誤差または精度に基づいて、焦点面または焦点距離のための動作範囲を調節された動作範囲に調節することを含んでもよい。

【0072】

いくつかの実施形態では、照準中心を決定することは、第１の場所における第１のマーカをユーザの第１の眼に提示してもよく、第１のマーカは、オブジェクトまたは第１のレンダリングされたオブジェクト内の第１の孔を含み、標的を、焦点面または焦点距離におけるユーザの第１の眼に提示してもよい。

【0073】

【0074】

直前の実施形態のうちのいくつかでは、第２のマーカが、第２の場所において、ユーザの第１の眼に提示されてもよく、第２のマーカは、オブジェクトまたは第２のレンダリングされたオブジェクト内の第２の孔を含み、標的または別個の標的はまた、焦点面または焦点距離におけるユーザの第１の眼に提示されてもよい。

【0075】

直前の実施形態のうちのいくつかでは、標的または別個の標的は、第２のマーカの周囲で移動されてもよい。第２の信号が、標的または別個の標的がユーザの第１の眼によって視認可能な状態になると、ユーザから受信されてもよい。第２の信号を受信することに応じて、第２のマーカおよび標的または別個の標的を接続する、第２の基準エンティティが、決定されてもよい。加えて、または代替として、照準中心は、少なくとも部分的に、第１の基準エンティティおよび第２の基準エンティティに基づいて、ユーザの第１の眼のために決定されてもよい。

【0076】

本システムが照準中心を決定するいくつかの実施形態では、１つまたはそれを上回る光源が、光線またはビームをユーザの眼に向かって放出してもよい。ユーザの眼と第１の光線またはビームの相互作用と関連付けられる第１の特性が、１つまたはそれを上回るセンサを使用して検出されてもよい。

【0077】

【0078】

【0079】

【0080】

【0081】

【0082】

本開示の付加的な他の目的、特徴、および利点が、詳細な説明、図、および請求項において説明される。

【図面の簡単な説明】

【0083】

実施形態の前述および他の側面が、異なる図内の同一の要素が共通の参照番号によって参照される、付随の図面を参照してさらに詳細に説明される。

【0084】

【図1】図１は、いくつかの実施形態による、装着式ＡＲ／ＭＲユーザデバイスを通したＡＲ／ＭＲのユーザのビューを描写する。

【0085】

【図2】図２は、いくつかの実施形態による、ＸＲシステムおよびそのサブシステムを図式的に描写する。

【0086】

【図3A】図３Ａおよび３Ｂは、いくつかの実施形態による、ディスプレイを視認する、ユーザの眼を図式的に描写する。

【図3B】図３Ａおよび３Ｂは、いくつかの実施形態による、ディスプレイを視認する、ユーザの眼を図式的に描写する。

【0087】

【図4】図４は、いくつかの実施形態による、ＸＲシステムのための動作範囲を決定するための入力を図式的に描写する。

【0088】

【図5】図５は、いくつかの実施形態による、ユーザ入力を使用して照準中心／レンダリングカメラ位置を決定／推定することを図式的に描写する。

【0089】

【図6A】図６Ａおよび６Ｂは、いくつかの実施形態による、ディスプレイを視認する、ユーザの眼を図式的に描写する。

【図6B】図６Ａおよび６Ｂは、いくつかの実施形態による、ディスプレイを視認する、ユーザの眼を図式的に描写する。

【0090】

【図7】図７は、いくつかの実施形態による、レンダリング位置誤差に基づいて表示前に仮想コンテンツを修正する方法を描写する、フローチャートである。

【0091】

【図8】図８は、いくつかの実施形態における、少なくとも、本明細書に説明される装着型電子デバイスの算出部分およびデータ処理部分を実装するために使用され得る、例示的コンピューティングデバイスおよびいくつかの例示的コンピューティングコンポーネントを図示する。

【0092】

【図9】図９は、１つまたはそれを上回る実施形態における、輻輳・開散運動－遠近調節競合を呈する、仮想コンテンツの両眼知覚のための動作範囲を決定するためのフロー図を図示する。

【0093】

【図10】図１０は、１つまたはそれを上回る実施形態における、装着型電子デバイスを装着する、ユーザの眼の照準中心を動的かつリアルタイムで更新するためのフロー図を図示する。

【0094】

【図11】図１１は、いくつかの実施形態における、図１０の動作範囲を調節することについてのさらなる詳細に関するブロック図を図示する。

【0095】

【図12】図１２は、いくつかの実施形態における、図９のユーザの眼の照準中心を決定することについてのさらなる詳細に関するブロック図を図示する。

【0096】

【図13】図１３は、いくつかの実施形態における、例証および説明目的のために簡略化される、眼追跡器具類の概略的実装を図示する。

【0097】

【図14】図１４は、いくつかの実施形態における、１つまたはそれを上回るセンサ（例えば、１つまたはそれを上回るフォトダイオード）によって捕捉される、ユーザの眼の構造からの光、パターン、またはオブジェクトの反射の例示的出力を図示する。

【0098】

【図15】図１５は、いくつかの実施形態における、眼の簡略化された概略図を図示する。

【0099】

【図16】図１６は、１つまたはそれを上回る実施形態による、眼と、視線追跡および照準中心の識別のための１つまたはそれを上回るカメラとの別の斜視図を示す。

【0100】

【図17】図１７は、１つまたはそれを上回る実施形態による、眼と、視線追跡および照準中心の識別のための１つまたはそれを上回るカメラとのさらに別の斜視図を図示する。

【0101】

【図18】図１８は、１つまたはそれを上回る実施形態による、眼と、視線追跡および照準中心の識別のための１つまたはそれを上回るカメラとのさらに別の斜視図を図示する。

【0102】

【図19】図１９は、１つまたはそれを上回る実施形態による、視線追跡および照準中心の識別のための変換行列図を図示する。

【0103】

【図20】図２０は、一実施形態による、視線追跡および照準中心の識別の例示的高レベルブロック図を図示する。

【0104】

【図21】図２１は、いくつかの実施形態における、眼追跡技法を使用して照準中心を決定するための方法またはシステムに関するブロック図を図示する。

【0105】

【図22】図２２は、いくつかの実施形態における、装着型電子デバイスの簡略化された概略図を図示する。

【0106】

【図23】図２３は、１つまたはそれを上回る図示される実施形態による、拡張現実デバイスのための電子機器のための例示的アーキテクチャを示す。

【0107】

種々の実施形態の上記に列挙される、他の利点および目的を取得するための方法をより明瞭に理解するために、実施形態のより詳細な説明が、付随の図面を参照して提供される。図面が、縮尺通りに描かれていないこと、および類似構造または機能の要素が、全体を通して同様の参照番号によって表されることに留意されたい。これらの図面が、ある例証される実施形態のみを描写し、したがって、実施形態の範囲の限定と見なされるべきではないことを理解されたい。

【発明を実施するための形態】

【0108】

例証される実施形態の詳細な説明
本開示の種々の実施形態は、単一の実施形態または複数の実施形態におけるＸＲシステムの性能を制御するためのシステム、方法、および製品を対象とする。本開示の他の目的、特徴、および利点も、詳細な説明、図、および請求項に説明される。

【0109】

種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、本開示の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。留意すべきこととして、下記の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、公知のコンポーネント（または方法またはプロセス）を使用して部分的または完全に実装され得る場合、本開示の理解のために必要である、そのような公知のコンポーネント（または方法またはプロセス）のそれらの部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明が、本開示を不明瞭にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在および将来の公知の均等物を包含する。

【0110】

性能制御システムは、ＸＲシステムから独立して実装され得るが、下記のいくつかの実施形態は、例証的目的のみのためにＡＲシステムに関連して説明される。例えば、本明細書に説明される性能制御システムはまた、同じ様式においてＶＲ（仮想現実）、ＭＲ（複合現実）、およびＸＲ（エクステンデッドリアリティ）システムとも併用され得る。本明細書に説明される種々の実施形態では、用語「拡張現実（ＡＲ）」、「仮想現実（ＶＲ）」、「複合現実（ＭＲ）」、および「エクステンデッドリアリティ（ＸＲ）」は、別様に明示的に区別または対照的に記載されない限り、同義的に使用され得る。

【0111】

例証的ＡＲシナリオおよびシステム
続く説明は、その性能が制御／修正され得る、例証的ＡＲシステムに関する。しかしながら、実施形態がまた、他のタイプのディスプレイシステム（ＶＲおよびＭＲシステム等の他のタイプのＸＲシステムを含む）における用途にも適しており、したがって、実施形態が、本明細書に開示される例証的システムのみに限定されるべきではないことを理解されたい。

【0112】

ＡＲシナリオは、多くの場合、実世界オブジェクトと関連する、仮想オブジェクトに対応する仮想コンテンツ（例えば、カラー画像および音）の提示を含む。例えば、図１を参照すると、ＡＲ技術のユーザに、背景内の人々、木々、建物を特徴とする、実世界物理公園様設定１０２と、実世界物理コンクリートプラットフォーム１０４とが見える、ＡＲ場面１００が、描写される。これらの物品に加えて、ＡＲ技術のユーザはまた、これらの仮想オブジェクト１０６、１０８が実世界内に存在しない場合でも、彼らに、物理コンクリートプラットフォーム１０４上に立っている仮想ロボット像１０６と、その側を飛んでいる、マルハナバチの擬人化物であるように見える、仮想漫画様アバタキャラクタ１０８とが「見える」ことを知覚する。

【0113】

図２を参照すると、いくつかの実施形態による、ＡＲシステム２００の一実施形態が、図示される。ＡＲシステム２００は、投影サブシステム２０８と連動して動作され、ユーザ２５０の視野内に、物理オブジェクトと混合された仮想オブジェクトの画像を提供してもよい。本アプローチは、それを通して物理オブジェクトを含む周囲の実世界環境が見られ得、それを通してＡＲシステム２００が仮想オブジェクトの画像を生産する、１つまたはそれを上回る少なくとも部分的に透明な表面を採用する。投影サブシステム２０８は、リンク２０７を通してディスプレイシステム／サブシステム２０４に動作可能に結合される、制御サブシステム２０１内に格納される。リンク２０７は、有線または無線通信リンクであってもよい。

【0114】

ＡＲアプリケーションに関して、種々の仮想オブジェクトをユーザ２５０の視野内の個別の物理オブジェクトに対して空間的に位置付けることが、望ましくあり得る。仮想オブジェクトは、画像として表されることが可能である、任意の様々なデータ、情報、概念、または論理構築物を有する、多種多様な形態のうちのいずれかをとり得る。仮想オブジェクトの非限定的実施例は、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想器具類オブジェクト、または物理オブジェクトの仮想視覚表現を含み得る。

【0115】

ＡＲシステム２００は、ユーザ２５０によって装着される、フレーム構造２０２と、ディスプレイシステム２０４がユーザ２５０の眼の正面に位置付けられるようにフレーム構造２０２によって担持される、ディスプレイシステム２０４と、ディスプレイシステム２０４に組み込まれる、または接続される、スピーカ２０６とを備える。図示される実施形態では、スピーカ２０６は、スピーカ２０６がユーザ２５０の外耳道、例えば、差込式イヤホンまたはヘッドホンに隣接して（その中または周囲に）位置付けられるように、フレーム構造２０２によって担持される。

【0116】

ディスプレイシステム２０４は、２次元コンテンツと、３Ｄコンテンツとの両方を含む、周囲環境に対する拡張として快適に知覚され得る、写真ベースの放射パターンを用いてユーザ２５０の眼に提示するように設計される。ディスプレイシステム２０４は、単一コヒーレント場面の知覚を提供する、高周波数においてフレームのシーケンスを提示する。本目標を達成するために、ディスプレイシステム２０４は、投影サブシステム２０８と、それを通して投影サブシステム２０８が画像を投影する、部分的に透明なディスプレイ画面とを含む。ディスプレイ画面は、ユーザ２５０の眼と周囲環境との間のユーザ２５０の視野内に位置付けられる。

【0117】

いくつかの実施形態では、投影サブシステム２０８は、走査ベースの投影デバイスの形態をとり、ディスプレイ画面は、その中で投影サブシステム２０８からの走査された光が、例えば、無限遠より近接する、単一の光学視認距離（例えば、腕の長さ）における画像、複数の離散光学視認距離または焦点面において画像、および／または体積３Ｄオブジェクトを表すための複数の視認距離または焦点面においてスタックされた画像層を生産するように投入される、導波管ベースディスプレイの形態をとる。ライトフィールド内のこれらの層は、ヒト視覚副系に対して持続的であるように出現するようにともに十分に近接してスタックされてもよい（例えば、１つの層が、隣接する層の錯乱円または乱信号円錐域内に存在する）。錯乱円は、光学系において、いくつかの実施形態では、点源を結像するときに完璧な焦点に到達していないレンズからの光線の光円錐によって引き起こされる、光学スポットであり、したがって、本願のいくつかの実施形態では、乱信号円錐域、錯乱円盤、不明瞭円、ぼかし円、またはぼかしスポットとも称され得る。これらの実施形態における乱信号円錐域は、したがって、ナビゲーションの文脈または生物の耳に関する文脈において乱信号円錐域と区別可能である。加えて、または代替として、画素は、それらの層が、より疎らにスタックされる（例えば、１つの層が、隣接する層の乱信号円錐域の外側に存在する）場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させるように、２つまたはそれを上回る層を横断して混成されてもよい。ディスプレイシステム２０４は、片眼または両眼用であってもよい。走査アセンブリは、光ビームを生産する（例えば、定義されたパターンにおいて異なる色の光を放出する）、１つまたはそれを上回る光源を含む。光源は、多種多様な形態、例えば、それぞれ、ピクセル情報またはデータの個別のフレーム内で規定される、定義されたピクセルパターンに従って赤色、緑色、および青色のコヒーレントなコリメートされた光を生産するように動作可能である、赤色、緑色、および青色（ＲＧＢ）源のセット（例えば、赤色、緑色、および青色光を出力することが可能である、レーザダイオード）のうちのいずれかをとってもよい。レーザ光は、高彩度を提供し、非常にエネルギー効率的である。光結合サブシステムは、例えば、光をディスプレイ画面の端部内に光学的に結合させるための、１つまたはそれを上回る反射面、回折格子、ミラー、ダイクロイックミラー、またはプリズム等の光導波路入力装置を含む。光結合サブシステムはさらに、光ファイバからの光をコリメートする、コリメーション要素を含む。随意に、光結合サブシステムは、コリメーション要素からの光を光導波路入力装置の中心内の焦点に向かって収束させ、それによって、光導波路入力装置のサイズが最小限化されることを可能にするために構成される、光学変調装置を含む。したがって、ディスプレイサブシステム２０４は、１つまたはそれを上回る仮想オブジェクトの歪曲されていない画像をユーザに提示する、ピクセル情報の一連の合成画像フレームを発生させる。ディスプレイサブシステム２０４はまた、１つまたはそれを上回る仮想オブジェクトの歪曲されていないカラー画像をユーザに提示する、ピクセル情報の一連のカラー合成部分画像フレームを発生させてもよい。ディスプレイサブシステムを説明するさらなる詳細が、米国特許出願第１４／２１２，９６１号および第１４／３３１，２１８号（その内容は、参照することによって本明細書において前述に組み込まれる）に提供される。

【0118】

ＡＲシステム２００はさらに、ユーザ２５０の頭部の位置（配向を含む）および移動および／またはユーザ２５０の眼の位置および眼間距離を検出するためにフレーム構造２０２に搭載される、１つまたはそれを上回るセンサを含む。そのようなセンサは、画像捕捉デバイス、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および同等物を含み得る。例えば、一実施形態では、ＡＲシステム２００は、ユーザ２５０の頭部の移動を示す、慣性測定値を捕捉するための１つまたはそれを上回る慣性トランスデューサを含む、頭部装着式トランスデューササブシステムを含む。そのようなデバイスは、ユーザ２５０の頭部移動を感知、測定、またはそれについての情報を収集するために使用されてもよい。例えば、これらのデバイスは、ユーザ２５０の頭部の移動、スピード、加速度、および／または位置を検出／測定するために使用されてもよい。ユーザ２５０の頭部の位置（配向を含む）はまた、ユーザ２５０の「頭部姿勢」として把握される。

【0119】

図２のＡＲシステム２００は、１つまたはそれを上回る前方に向いたカメラを含んでもよい。カメラは、システム２００の前方向から画像／ビデオの録画等の任意の数の目的のために採用され得る。加えて、カメラは、ユーザ２５０が位置する環境についての情報、すなわち、その環境およびその環境内の具体的オブジェクトに対するユーザ２５０の距離、配向、および／または角度位置を示す情報等を捕捉するために使用されてもよい。

【0120】

ＡＲシステム２００はさらに、ユーザ２５０の眼の角度位置（片眼または両眼が向いている方向）、瞬目、および（眼の収束を検出することによる）焦点深度を追跡するための後方に向いたカメラを含んでもよい。そのような眼追跡情報は、例えば、エンドユーザの眼に光を投影し、その投影された光の少なくとも一部の戻り量または反射を検出することによって判別されてもよい。

【0121】

拡張現実システム２００はさらに、多種多様な形態のうちのいずれかをとり得る、制御サブシステム２０１を含む。制御サブシステム２０１は、いくつかのコントローラ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。制御サブシステム２０１は、デジタル信号プロセッサ（ＤＳＰ）と、中央処理ユニット（ＣＰＵ）２５１と、グラフィック処理ユニット（ＧＰＵ）２５２と、１つまたはそれを上回るフレームバッファ２５４とを含んでもよい。ＣＰＵ２５１は、本システムの動作全体を制御する一方、ＧＰＵ２５２は、フレームをレンダリングし（すなわち、３Ｄ場面を２次元画像に変換し）、これらのフレームをフレームバッファ２５４内に記憶する。図示されないが、１つまたはそれを上回る付加的な集積回路が、フレームバッファ２５４の中へのフレームの読込および／またはそこからのフレームの読出およびディスプレイシステム２０４の動作を制御してもよい。フレームバッファ２５４の中への読込および／またはそこからの読出は、例えば、フレームが過大レンダリングされる場合に、動的アドレス指定を採用してもよい。制御サブシステム２０１はさらに、読取専用メモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）とを含む。制御サブシステム２０１はさらに、フレームおよび３Ｄ場面内に含有される仮想音源と関連付けられる、合成音データをレンダリングするために、そこからＧＰＵ２５２が１つまたはそれを上回る場面の３Ｄデータにアクセスし得る、３Ｄデータベース２６０を含む。

【0122】

拡張現実システム２００はさらに、ユーザ配向検出モジュール２４８を含む。ユーザ配向モジュール２４８は、ユーザ２５０の頭部の瞬間位置を検出し、センサから受信される位置データに基づいてユーザ２５０の頭部の位置を予測してもよい。拡張現実システム２００はさらに、眼追跡モジュール２４９を含む。眼追跡モジュール２４９は、ユーザ２５０の眼、特に、ユーザ２５０がセンサから受信される追跡データに基づいて合焦される、方向および／または距離を追跡する。

【0123】

ユーザ不快性を引き起こすレンダリング位置誤差
仮想コンテンツをレンダリングするためのレンダリングカメラの設置の誤差は、深刻な視覚不快性につながり得る。輻輳・開散運動および遠近調節競合と同様に、不快性は、仮想コンテンツが焦点面からより遠くに離れるようにレンダリングされるにつれて生じる可能性がさらに高い。

【0124】

立体視３Ｄディスプレイは、両眼視差を左眼および右眼に表示される画像に適用することによって、画像平面の正面または背後に出現する仮想コンテンツをレンダリングしてもよい。しかしながら、そのような立体視３Ｄディスプレイの長時間の視認の後には、多くのユーザが、眼精疲労、頭痛、および吐き気等の視覚不快性を体験する。コンテンツが、物理画像平面／焦点面から遠くに表示されるほど、これらの視覚不快性の症状が発生する可能性がより高い。

【0125】

立体視３Ｄディスプレイ内で生じる輻輳・開散運動および遠近調節競合は、それと関連付けられる視覚不快性に関連する。輻輳・開散運動の眼の動きは、ユーザの眼の両方の通視線が着目オブジェクトに指向されることを確実にする。これは、眼を、近傍のオブジェクトを見ているときには交差させ、オブジェクトが無限遠において視認されるときには平行にさせる。近傍および遠方のオブジェクトはまた、眼が鮮明な画像を維持するためにそれらの水晶体の出力を個々に調節すること（遠近調節として公知のプロセス）を要求する。実世界の視認では、輻輳・開散運動および遠近調節は、連携し、近い輻輳・開散運動は、強い遠近調節と相関し、遠い輻輳・開散運動は、無限遠における焦点と相関する。しかしながら、立体視３Ｄディスプレイでは、輻輳・開散運動およびコンテンツの見掛け上の深度にかかわらず、眼が物理ディスプレイの深度上に合焦されたままであるときには、画像は常時最も鮮明であるため、本結合は、途絶される。

【0126】

より大きい輻輳・開散運動／遠近調節競合を伴うと、幾何学的歪曲もまた、生じる可能性がさらに高くなる。これは、左眼および右眼の画像が、ユーザの眼の個別の照準中心（例えば、いくつかの実施形態では、眼の照準中心は、眼に関する２次元または３次元モデル内に表されるように、眼の中心または眼の角膜、虹彩、水晶体、網膜等のその一部を含み得る）と適切に整合しないレンダリングカメラ位置（すなわち、画像が構成／レンダリングされる視認位置）からレンダリングされるときに起こる。レンダリングされた場面の幾何学形状の歪曲は、各眼が、着目コンテンツに指向された状態に留まるようなそれらの試行において、不自然な眼の動きを行うことを余儀なくさせ得る。例えば、レンダリングカメラ位置が垂直にオフセットされると、眼は、反対方向における垂直運動を行う。そのような垂直の輻輳・開散運動は、実世界の視認においては決して生じないため、不自然である。８～１０分の円弧と同等に小さい、視覚の２つの線の垂直分離を誘発することは、視認することの数秒以内に不快性を引き起こし得る。もたらされる幾何学的歪曲に応じて、異なる症状が、体験され得、乗物酔いと同様に重症であり得る。

【0127】

図３Ａは、レンダリングカメラ３１０Ａが眼３１０の照準中心と同一の位置にあるときにディスプレイ３１２を視認するユーザの眼３１０を図式的に描写する。結果として、ディスプレイ３１２上の画像３１４は、眼３１０の視覚線３１６と整合される。コンテンツ３１８は、眼３１０に対して実世界オブジェクトに類似する方法において出現するように、両眼視差を用いて（すなわち、ディスプレイ３１２より近接して、または遠くに）レンダリングされることができる。

【0128】

図３Ｂは、レンダリングカメラ３１０Ｂが眼３１０の照準中心から不整合にされた位置にあるときにディスプレイ３１２を視認するユーザの眼３１０を図式的に描写する。結果として、ディスプレイ３１２上の画像３１４’は、眼３１０の自然な視覚線３１６と不整合にされる（図３Ａ参照）。レンダリングカメラ３１０Ｂが、眼３１０の照準中心に対して不整合にされると、眼は、回転し（３２２）、視覚線３１６’を、実世界を視認するときには決して生じない方法において再度位置付けることを余儀なくされ、それによって、不快性を引き起こし得る。

【0129】

ＸＲシステムのための動作範囲
３Ｄディスプレイシステム（例えば、ＸＲシステム）の重要な動作パラメータは、コンテンツが提示され、依然として快適に視認され得る、焦点面から遠く離れる程度である。ディスプレイシステムの「動作範囲」と呼ばれ得る、本動作パラメータは、ユーザに対して許容可能である両眼視差の量に関連する。動作範囲を正確に決定／推定することは、使用および消費することが快適である、ＸＲシステム、アプリケーション、およびコンテンツの設計を促進する。

【0130】

ＸＲシステムのための快適な動作範囲は、少なくとも部分的に、眼の照準中心／レンダリングカメラ位置の推定値の精度／誤差に基づいて決定されてもよい。いくつかの実施形態では、決定された動作範囲は、例えば、（ソフトウェア内に実装される）焦点面の正面および背後のクリップ平面を使用して立体視深度の範囲を限定するために使用される。他の実施形態では、決定された動作範囲は、コンテンツ作成者に３Ｄオブジェクトを仮想画像内に快適に位置付ける場所についてのガイドラインを提供するために使用される。

【0131】

図４は、ＸＲシステムのための動作範囲を決定するための入力を図式的に描写する。視覚快適性および知覚正確度は、所望のユーザ体験に関連する入力である。これらの入力は、最大容認可能空間レンダリング誤差を決定した。予期される照準中心／レンダリングカメラ位置誤差は、空間レンダリング正確度に対する限界である。予期される照準中心／レンダリングカメラ位置誤差および最大容認可能空間レンダリング誤差は、ともに、動作範囲（および焦点面場所）を決定する。システム／ユーザの最大許容可能空間レンダリング誤差が既知であると仮定して、照準中心／レンダリングカメラ位置における誤差を決定または推定することによって、動作範囲が、計算されることができる。

【0132】

ディスプレイ内のコンテンツの場所の誤差（すなわち、空間レンダリング誤差、図３Ａおよび３Ｂを比較されたい）は、ヒトの眼の照準中心または瞳孔中心に対するレンダリングカメラの位置に関連する。３Ｄ（３次元）装着式および他の立体視ディスプレイのユーザのためのレンダリングカメラ位置は、ユーザに視覚タスクを実施することを要求する、眼追跡技術および／または方法を使用して決定／推定されることができる。しかしながら、これらの方法が使用されるときであっても、レンダリングカメラ位置の残余誤差が、大半のユーザにとって残る。本残余誤差は、グランドトゥルース試験設定内に収集されたユーザの代表群の誤差分布を使用して、母集団レベルで把握されることができる。本既知の母集団レベルのレンダリングカメラ位置誤差を伴うと、焦点面場所を与えられた快適な動作範囲が、計算されることができる。種々の実施形態では、仮想コンテンツをユーザに提示する、ＶＲ／ＡＲ／ＭＲ／ＸＲスマートグラス、ゴーグル、またはヘッドセット、３Ｄ装着式または立体視デバイス、立体視ディスプレイ、または任意の電子デバイスは、集合的に、装着型電子デバイスまたは装着型電子立体視ディスプレイデバイスと称され得る。

【0133】

大半の商業的に利用可能な３Ｄディスプレイヘッドセットは、照準中心／レンダリングカメラ位置を決定するために眼追跡または視覚タスクを使用しない。ある場合には、ヘッドセットは、ユーザが、その瞳孔間距離（ＩＰＤ）を設定することも可能にせず、これは、照準中心／レンダリングカメラ位置の非常に大まかな推定値を提供し得る。これらの場合においても、位置誤差が、依然として、母集団ＩＰＤデータを使用して、非常に大まかな照準中心／レンダリングカメラ位置を決定することから結果として生じ得る。

【0134】

図５は、（例えば、ユーザインターフェースを介した）ユーザ入力を使用して照準中心／レンダリングカメラ位置を決定／推定することを図式的に描写する。眼の照準中心は、ディスプレイ上の標的ドット（例えば、５０２、５０４、および／または５０６）が、それらがディスプレイ５２２の正面の孔（例えば、５０８、５１０、および／または５１２）のアレイと視覚的に整合するまで移動される、タスクを使用して見出されることができる。観察者は、一方の眼を用いて、順次、孔（例えば、５０８、５１０、および／または５１２）のそれぞれを通して見ており、ドット（例えば、５０２、５０４、および／または５０６）が孔（例えば、５０８、５１０、および／または５１２）を通して視認可能になるまで、それらをディスプレイ５１２上で移動させる。照準中心５２０は、孔（例えば、５０８、５１０、および／または５１２）を接続する全ての線（例えば、５１４、５１６、および／または５１８）と、それらの対応するドット（例えば、５０２、５０４、および／または５０６）とが交差する場所である。

【0135】

ＸＲシステムのための垂直不整合および動作範囲
垂直両眼不整合は、分角単位で両眼垂直視差において表現される。図６Ａおよび６Ｂは、垂直両眼不整合を伴わずに（図６Ａ）および垂直両眼不整合を伴って（図６Ｂ）ディスプレイを視認する、ユーザの眼を図式的に描写する。垂直両眼不整合は、約８～１０分角において顕著な状態になる（図３Ａおよび３Ｂ参照）。快適な動作範囲は、本数値（すなわち、８～１０分角）および照準中心／レンダリングカメラ位置推定値の既知の精度を使用して計算されることができる。

【0136】

例えば、照準中心／レンダリングカメラ位置推定値の精度が、１ｍｍであり（すなわち、ユーザの９５％に関して、誤差が０．５ｍｍまたはより小さく）、さらに悪いシナリオが、照準中心が、一方のレンダリングカメラ位置が照準中心より１ｍｍ高く、他方の眼のためのレンダリングカメラが照準中心より１ｍｍ低いと誤推定される場合であるとき、７４ｃｍ（１．３５ｄｐｔ）における焦点面を伴うＸＲシステムのための最大動作範囲は、３７ｃｍ～無限遠までの動作範囲に対応する、＋１．３５ジオプタ～－１．３５ジオプタである。動作範囲と、焦点面と、照準中心推定値の精度との間の関係が、総称的に、以下のように説明されることができる。ｍｍの観点におけるより高い精度は、より低い誤差を意味し、ジオプタの観点におけるより大きい動作範囲をもたらす。焦点面の位置を変化させることは、ジオプタ単位で測定される焦点面が、眼からの距離に伴って非線形に変化するため、距離単位で非線形に測定される動作範囲を改変する。

【0137】

図６Ａは、ディスプレイ６１２上に標的物体（Ｍ）６１８の画像を描く、２つのレンダリングカメラ、すなわち、左眼のためのもの（Ｃａｍ＿Ｌ）６１０’および右眼のためのもの（Ｃａｍ＿Ｒ）６１１’を示す。単純にするために、幾何学形状が、右眼６１１’のみに関して説明される。立体視ディスプレイ６１２’は、レンダリングカメラ６１１’から特定の距離にある。ディスプレイ６１２上の標的物体Ｍ６１８の位置は、光線６１６’をカメラ６１６’から標的物体Ｍ６１８を通してディスプレイ６１２まで投影することによって決定される。ディスプレイ６１２および光線６１８が交差する場所に、標的画像Ｔ６１４’が、右眼レンダリングカメラ６１１’に基づいてディスプレイ６１２上に描かれる。

【0138】

図６Ｂは、図６Ａにおけるように、レンダリングカメラ６１０’、６１１’を使用して、ディスプレイ６１２上に描かれるものと同一の標的物体Ｍ６１８を見ている、ユーザの眼６１０、６１１を示す。眼６１０、６１１は、カメラ６１０’、６１１’から垂直にオフセットされる。右眼Ｅｙｅ＿Ｒ６１１は、標的物体Ｍ６１８を通して画面上の標的位置Ｔ’６１４に整合され、したがって、標的画像Ｔ６１４’を見るように上向きに向く。視線方向６１６は、赤色の実線として示される。Ｅｙｅ＿Ｒ６１１からＭ６１８を通したディスプレイ６１２までの破線６１６’’は、あるべき画面６１２上の標的の正しい位置（Ｔ’６１４）を示す。右眼のための垂直誤差は、角度アルファ（Ｔ、Ｅｙｅ＿Ｒ、Ｔ’＝６２２）である。両眼の幾何学形状が、ここでは対称的であることを前提として、総垂直両眼不整合は、２×角度アルファである。図内の両眼不整合は、焦点面の正面のオブジェクトに関してのみ示される。不整合は、焦点面の正面のｚジオプタにおけるオブジェクトが焦点面の背後のｚジオプタにおける同一の両眼不整合につながるように、ジオプタ単位で焦点面の周囲で対称的である。

【0139】

動作範囲に基づく仮想コンテンツの修正
開発者ガイドライン
いくつかの実施形態では、開発者ガイドラインが、決定された動作範囲に基づいて開発／修正されることができる。例えば、開発者は、決定された動作範囲に基づいて、３Ｄコンテンツを焦点面からある距離内に保つように助言されることができる。

【0140】

クリップ平面
いくつかの実施形態では、ＸＲシステムは、コンテンツが決定された動作範囲の外側にある（例えば、決定された動作範囲内の最遠値を超える）とき、それをクリッピングすることができる。図７は、レンダリング位置誤差に基づいて、表示の前に仮想コンテンツを修正する方法７００を描写する、フローチャートである。

【0141】

ステップ７１２において、ＸＲシステムは、レンダリング位置誤差を取得する。いくつかの実施形態では、ＸＲシステムは、母集団データ、ＩＰＤデータ、システム特有のデータ、ユーザ特有のデータ等を使用することによってレンダリング位置誤差を推定する。ユーザ特有のデータは、データベースから取得される、ユーザによってユーザインターフェースを使用して打ち込まれる、および／または眼追跡サブシステムから取得されてもよい。

【0142】

ステップ７１４において、ＸＲシステムは、本明細書に説明されるように、少なくともレンダリング位置誤差から動作範囲を決定する。

【0143】

ステップ７１６において、ＸＲシステムは、少なくとも決定された動作範囲に基づいて仮想コンテンツを修正する。例えば、ＸＲシステムは、ＸＲシステムの焦点面から動作範囲の外側にある（例えば、それを越えた）深度に対応する、仮想コンテンツの一部を削除してもよい。他の実施形態では、ＸＲシステムは、両眼での代わりに単眼で表示されるべきＸＲシステムの焦点面から動作範囲の外側にある（例えば、それを越えた）深度に対応する、仮想コンテンツの一部を構成してもよい。

【0144】

ステップ７１８において、ＸＲシステムは、ユーザに関する修正された仮想コンテンツを表示する。

【0145】

本明細書に説明される方法は、両眼深度キューが快適な動作範囲を越えて逸脱することを防止するように、レンダリング位置誤差に基づいて仮想コンテンツを修正する。

【0146】

推定された照準中心／レンダリングカメラ位置に基づく、動的クリップ平面
いくつかの実施形態では、仮想コンテンツは、レンダリングカメラ誤差のリアルタイムの動的推定値に基づく、レンダリングカメラ位置誤差に基づいて修正されることができる。レンダリングカメラ位置が眼追跡を使用して推定される、いくつかの実施形態では、照準中心／レンダリングカメラ位置信号は、ノイズの多いものであり得る。そのようなノイズの多いレンダリングカメラ位置信号は、照準中心推定において不十分な正確度を伴う可能性が高い。そのような実施形態において視覚快適性を維持するために、両眼動作範囲は、ノイズの推定値に基づいて、動的に増加または減少されることができる。同様に、眼追跡入力が、任意の理由のために遮断される場合、ＸＲシステムは、デフォルトの小さい両眼動作範囲に戻り得る。

【0147】

レンダリングカメラ位置が眼追跡を使用して推定される実施形態では、個人の照準中心誤差が、リアルタイムでＸＲシステムを使用する間に推定されることができ、仮想コンテンツは、故に、決定された動作範囲に基づいて修正されることができる。これは、それらの概念の母集団レベルの適用に加えた、またはその代わりの本明細書に開示される概念の個人レベルの適用であろう。

【0148】

他の実施形態では、眼追跡サブシステムを伴わないＸＲシステムは、ヘッドセットに対する照準中心の変化を示す、別の信号を使用して、動的な動作範囲を実装する。いくつかのＸＲシステムは、ユーザに、照準中心を計算するために使用されるユーザセッションの開始時に視覚較正を実施するように求める。しかしながら、使用の間に、本デバイスは、ユーザの頭部に対して滑動し、それによって、本デバイス、したがって、レンダリングカメラに対する照準中心の位置を変化させ得る。ＸＲシステムは、例えば、加速度計を使用して滑脱を検出し、次いで、両眼動作範囲をより小さくすることによって、変化を考慮し得る。ＸＲシステムは、ユーザ調査からの滑脱データに基づいて、動作範囲への推定された変更を行うことができる、またはＸＲシステムは、滑脱が検出されると、動作範囲に一般的低減を適用することができる。

【0149】

いくつかの実施形態では、ＸＲシステムは、動作時間（例えば、持続的動作）の関数として、両眼動作範囲を低減させる。

【0150】

ユーザの眼の性質に基づく動作範囲調節
いくつかの実施形態では、ＸＲシステムが、追跡サブシステムを使用し、照準中心／レンダリングカメラ位置を推定するとき、その位置推定値の正確度が、眼の角膜の形状によって影響を及ぼされ得る。ユーザの角膜の形状は、ユーザが円錐角膜を患うときに、「正常な眼」のものから逸脱し得る。結果として、眼追跡サブシステムは、照準中心／レンダリングカメラ位置の正確な推定値を生産することが可能ではない場合がある。ユーザの眼についての情報を使用することによって、ＸＲシステムは、角膜の異常から結果として生じる予期される誤差を遠近調節するために、両眼の動作範囲を調節してもよい。ユーザの眼についての情報は、カメラによって検出されてもよい、またはこれは、ユーザによってＸＲシステムに打ち込まれてもよい。

【0151】

システムアーキテクチャ概観
図８は、本開示のある実施形態を実装するために好適な、例証的コンピューティングシステム８００のブロック図である。コンピュータシステム８００は、プロセッサ８０７、システムメモリ８０８（例えば、ＲＡＭ）、静的記憶デバイス８０９（例えば、ＲＯＭ）、ディスクドライブ８１０（例えば、磁気または光学式）、通信インターフェース８１４（例えば、モデムまたはイーサネット（登録商標）カード）、ディスプレイ８１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス８１２（例えば、キーボード）、およびカーソル制御装置等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス８０６または他の通信機構を含む。

【0152】

本発明の一実施形態によると、コンピュータシステム８００は、システムメモリ８０８内に含有される１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行する、プロセッサ８０７による具体的動作を実施する。そのような命令は、静的記憶デバイス８０９またはディスクドライブ８１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ８０８内に読み取られ得る。代替実施形態では、有線回路網が、本開示を実装するために、ソフトウェア命令の代わりに、またはそれとの組み合わせにおいて使用されてもよい。したがって、本開示の実施形態は、ハードウェア回路網および／またはソフトウェアのいかなる具体的組み合わせにも限定されない。一実施形態では、用語「論理」は、本開示の全てまたは一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。

【0153】

本明細書で使用されるような、用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、実行のためにプロセッサ８０７に命令を提供することに関与する、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ８１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ８０８等の動的メモリを含む。

【0154】

コンピュータ可読媒体の一般的形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、孔のパターンを伴うパンチカード、紙テープ、任意の他の物理媒体、それからコンピュータが読み取り得る、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、または任意の他の媒体を含む。

【0155】

本開示のある実施形態では、本開示を実践するための命令のシーケンスの実行が、単一のコンピュータシステム８００によって実施される。本開示の他の実施形態によると、通信リンク８１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つまたはそれを上回るコンピューティングシステム８００が、相互と協調して本開示を実践するために要求される、命令のシーケンスを実施してもよい。

【0156】

コンピュータシステム８００は、通信リンク８１５および通信インターフェース８１４を通して、プログラム、すなわち、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ８０７によって実行される、および／または後の実行のために、ディスクドライブ８１０または他の不揮発性記憶装置内に記憶されてもよい。記憶媒体８３１内のデータベース８３２が、システム８００によってデータインターフェース８３３を介してアクセス可能なデータを記憶するために使用されてもよい。

【0157】

本開示のある側面、利点、および特徴が、本明細書に説明されている。必ずしも全てのそのような利点が、本開示の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本開示は、本明細書に教示または示唆され得るような他の利点を必然的に達成することなく、本明細書に教示されるような１つの利点または利点の群を達成または最適化する様式において具現化される、または行われ得る。

【0158】

実施形態が、付随の図面と関連して説明されている。しかしながら、図が、縮尺通りに描かれていないことを理解されたい。距離、角度等は、例証的にすぎず、必ずしも、図示されるデバイスの実際の寸法およびレイアウトに対する厳密な関係を保有するわけではない。加えて、前述の実施形態は、当業者が本明細書に説明されるデバイス、システム、方法、および同等物を作製し、使用することを可能にするために詳細レベルにおいて説明されている。多種多様な変形例が、可能性として考えられる。コンポーネント、要素、および／またはステップは、改変、追加、除去、または再配列され得る。

【0159】

本明細書に説明されるデバイスおよび方法は、有利には、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して、少なくとも部分的に実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を実施するために、コンピュータのメモリ内に記憶される、コンピュータ実行可能コードを含むことができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つまたはそれを上回る汎用目的コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用目的コンピュータ上で実行されるべきソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装され得ることを理解するであろう。例えば、そのようなモジュールは、集積回路の組み合わせを使用して、完全にハードウェア内に実装されることができる。代替として、または加えて、そのようなモジュールは、汎用目的コンピュータによってではなく、本明細書に説明される特定の機能を実施するために設計される、特殊コンピュータを完全または部分的に使用して実装されることができる。加えて、少なくとも部分的に、コンピュータソフトウェアによって行われる、または行われ得る、方法が、説明される場合、そのような方法が、コンピュータまたは他の処理デバイスによって読み取られると、それに本方法を行わせる、非一過性コンピュータ可読媒体上に提供され得ることを理解されたい。

【0160】

ある実施形態が、明示的に説明されているが、他の実施形態も、本開示に基づいて、当業者に明白な状態になるであろう。

【0161】

本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、光を投影するために任意の光学システムと併用するために好適である。本明細書に説明される種々のプロセッサおよび他の電子コンポーネントはまた、音声コマンドを受信するために任意のオーディオシステムと併用するために好適である。

【0162】

図９は、１つまたはそれを上回る実施形態において、輻輳・開散運動－遠近調節競合を呈する、仮想コンテンツの両眼知覚の動作範囲を決定するためのフロー図を図示する。これらの実施形態では、照準中心は、９０２において、装着型電子デバイスを装着するユーザの片眼または両眼に関して決定されてもよい。眼の照準中心が９０２において決定された状態で、誤差が、９０４において、照準中心に関して推定されてもよい。例えば、装着型電子デバイスまたは装着型電子デバイスに動作可能に接続される遠隔コンピューティングデバイス（例えば、サーバ）は、例えば、グランドトゥルースから決定された照準中心の正確度および／または逸脱を特徴付ける、レンダリング位置誤差および／またはシステム誤差、または任意の他の好適な誤差または精度に加えて、レンダリング位置誤差または精度、装着型電子デバイスのシステム誤差または精度、複数のユーザの母集団レベルにおける残余誤差または精度を推定してもよい。いくつかの実施形態では、９０４において推定される誤差は、ユーザおよび装着型電子デバイスに特有である、レンダリングカメラ位置誤差または精度、装着型電子デバイスに特有のシステムレベル誤差または精度、または複数のユーザに関する母集団レベル残差誤差のうちの少なくとも１つを含む。

【0163】

片眼（または、個別の照準中心が両眼に関して決定される実施形態では、両眼）の特性が、９０６において随意に識別されてもよい。例えば、円錐角膜等の健康特性は、角膜が、霧視をもたらす歪曲形状、角膜を大きすぎる状態にさせる近視（例えば、近眼）、角膜、故に、眼を短すぎる状態にさせる、遠視（例えば、遠眼）、眼をフットボールの形状に類似するものの状態にさせる、乱視、または眼の形状または幾何学形状が球形状の一般的仮定から逸脱するような、眼の形状または幾何学形状に影響を及ぼし得る、任意の他の特性を生じさせる条件を表す。いくつかの実施形態では、眼の特性は、ユーザによって提供されてもよい。いくつかの他の実施形態では、眼の特性は、その個別の視野内にユーザの片眼（または両眼）を有する１つまたはそれを上回る内向きに向いたデバイス（例えば、１つまたはそれを上回るカメラ）を使用することによって決定または検出されてもよく、したがって、これらの１つまたはそれを上回る内向きに向いたデバイスは、例えば、１つまたはそれを上回る視点から着目眼に関するデータ（例えば、眼の少なくとも一部の異なる角度から捕捉された複数の画像）を捕捉し、捕捉されたデータを使用し、眼が球形状から逸脱しているかどうか、その状態、および／またはその量を決定してもよい。

【0164】

眼の１つまたはそれを上回る特性が９０６において識別される、いくつかの実施形態では、９０２において決定される照準中心が、随意に、９０８において、少なくとも部分的にこれらの１つまたはそれを上回る特性に基づいて、調節された照準中心に調節されてもよい。１つまたはそれを上回る内向きに向いたデバイスがユーザの眼に関するデータを捕捉し、眼が球形状から逸脱しているかどうか、その状態、および／またはその量を決定した、先行する実施例では、９０４において推定された照準中心は、少なくとも部分的に、眼が球形状から逸脱しているかどうか、その状態、および／またはその量に関するデータに基づいて、調節されてもよい。

【0165】

ある焦点面の焦点距離または装着型電子デバイスの焦点面のための動作範囲が、９１０において、少なくとも部分的に、９０４において決定された誤差および仮想コンテンツ（例えば、本明細書に説明される装着型電子デバイスによってユーザに提示される仮想コンテンツ）の両眼視の輻輳・開散運動および遠近調節に関する１つまたはそれを上回る基準、要因、または特性に基づいて、決定されてもよい。動作範囲は、両眼動作範囲を含んでもよく、水平両眼不整合、垂直両眼不整合、および／または輻輳・開散運動－遠近調節競合等に対処するために決定されてもよく、これは、仮想コンテンツを知覚することにおいて快適なユーザ体験を提供するために、ある閾値（例えば、第１の閾値分角を上回る、または第２の閾値分角より小さい輻輳・開散運動－遠近調節等）を超過すると、ユーザの脳が眼の輻輳・開散運動と遠近調節との間の不合致キューを受信するときに仮想コンテンツを知覚することにおいて一般的であり得る。これらの実施形態のうちのいくつかでは、動作範囲は、９１０において、さらに部分的に、９０６において随意に識別された１つまたはそれを上回る特性に関する誤差または精度に基づいて決定されてもよい。

【0166】

前述の焦点面または焦点距離に従ってレンダリングされる仮想コンテンツは、９１２において、少なくとも部分的に、９１０において焦点面または焦点距離に関して決定された動作範囲に基づいて、調節された仮想コンテンツに調節されてもよい。例えば、決定された動作範囲を越えてレンダリングされることになる仮想コンテンツの一部は、例えば、混成またはクリッピング平面を使用することによって、抑制、クリッピング、ぼかし、または削除されてもよい。別の実施例として、決定された動作範囲を越えてレンダリングされることになる仮想コンテンツの一部は、輻輳・開散運動－遠近調節競合を低減させる、またはそれを緩和するように単眼ディスプレイ等のためにレンダリングされてもよい。調節された仮想コンテンツは、次いで、９１４において、例えば、ユーザの眼に装着型電子デバイスの１つまたはそれを上回るマイクロプロジェクタまたは光ファイバを用いて調節された仮想コンテンツに対応する光ビームを投影することによって提示されてもよい。

【0167】

図１０は、１つまたはそれを上回る実施形態における、装着型電子デバイスを装着するユーザの眼の照準中心を動的かつリアルタイムで更新するためのフロー図を図示する。これらの１つまたはそれを上回る実施形態では、レンダリング位置誤差が更新されることが要求または所望されるかどうかが、１００２において決定されてもよい。例えば、前述の決定は、少なくとも部分的に、レンダリング位置誤差に関する最後の更新以降の閾値時間周期に基づいて行われてもよい。別の実施例として、前述の決定は、位置、移動、または運動センサ（例えば、加速度計、移動センサ、運動センサ）が、装着するユーザに対する装着型電子デバイスの運動、移動、変位、または位置の変化等（例えば、加速度、移動、変位等）の閾値の大きさを検出するときに行われてもよい。

【0168】

誤差は、１００４において、ユーザの眼の照準中心に関して決定されてもよい。これらの実施形態のうちのいくつかでは、レンダリング位置誤差は、照準中心誤差に対応し、例えば、ユーザの眼の照準中心、すなわち、中心位置を推定する、眼追跡モジュールを使用することによって、個々のユーザベースで決定されてもよい。画像が、例えば、個別のプロジェクタによって、ユーザの左眼および右眼に提示されてもよい。

【0169】

左および右プロジェクタは、それらの個別のレンダリングカメラ位置に位置し、画像データまたは信号（例えば、光ビーム）をユーザの眼の想定される照準中心に投影する。それにもかかわらず、レンダリング位置誤差が、ユーザの眼の推定される照準中心に基づいてレンダリングデバイスによって想定される照準中心と、ユーザの眼の真の照準中心との間に個別の不整合（例えば、水平および／または垂直不整合）によって引き起こされ得、したがって、それに応じて決定される。

【0170】

いくつかの実施形態では、レンダリング位置誤差が、少なくとも部分的に、例えば、眼追跡モジュールを使用することによって、照準中心、ユーザの瞳孔間距離、またはユーザの眼に関する１つまたはそれを上回る特性、またはユーザの任意の他の好適な個々の要因または特性を決定する視覚タスクの実行によって決定される、推定される照準中心に基づいて、ユーザに関して個人ベースで決定されてもよい。これらの実施形態のうちのいくつかでは、レンダリング位置誤差はさらに、母集団レベルにおいて統計的に決定または調節されてもよい。例えば、レンダリング位置誤差またはその成分（例えば、残余誤差成分）は、例えば、グランドトゥルース試験設定において収集されたユーザの代表群の誤差分布を使用することによって、母集団レベルにおいて決定されてもよい。

【0171】

これらの実施形態のうちのいくつかでは、既存の動作範囲（例えば、図９に図示され、上記に説明される１つまたはそれを上回る実施形態に従って決定された動作範囲）は、随意に、１００６において、レンダリング位置誤差が１００２において更新されることが要求または所望されると決定されたときに、より小さい動作範囲に調節されてもよい。１００６における調節が、装着型電子デバイスが最初に、レンダリング位置誤差に対する更新の欠如から生じる不快性が低減され得るように、（例えば、動作範囲を減少させることによって、運動範囲を所定の最小運動範囲に設定することによって）現在有効である動作範囲をより小さい調節された動作範囲に調節する、随意の実装であり得ること、および本調節が、１０１０における照準中心誤差の決定および１０１２における動作範囲の調節（または調節が、いくつかの実施形態において１００６において実施される場合、より小さい動作範囲）に先立って実施されることに留意されたい。

【0172】

これらの実施形態のうちのいくつかでは、装着型電子デバイスと装着型電子デバイスを装着するユーザとの間の相対位置、移動、または運動の変化を示す、信号が、１００８において受信される。いくつかの実施形態では、そのような信号は、例えば、ユーザ（例えば、ユーザに対するその位置を位置合わせするために装着型電子デバイスによって使用される、１つまたはそれを上回る点等の１つまたはそれを上回るアンカ点）と装着型電子デバイスとの間の相対位置、移動、または運動の余地を判別し得る、加速度計、移動センサ、運動センサ、または任意の他のセンサ、デバイス、および／またはルーチンによって発生されてもよい。

【0173】

照準中心は、次いで、１０１０において、少なくとも部分的に、１００８において受信された信号に基づいて決定されてもよい。いくつかの実施形態では、照準中心は、１００８において信号を受信した後、１０１０において、（例えば、眼追跡モジュールを使用することによって、または本明細書に説明される視覚タスクによって）新たに決定されてもよい。いくつかの他の実施形態では、照準中心は、少なくとも部分的に信号に基づいて既存の照準中心を修正することによって決定されてもよい。例えば、信号がユーザと装着型電子デバイスとの間の相対位置の変化を示す、いくつかの実施形態では、照準中心は、検出された変化に基づいて決定されてもよい。

【0174】

別の実施例として、信号が持続時間にわたる加速度の存在を示す、いくつかの実施形態では、装着型電子デバイス上に付与される合力（例えば、眼の２つの照準中心を接続する平面に対して平行である平面上の２次元力ベクトルまたは３次元力ベクトル）が、決定されてもよく、ユーザに対する装着型電子デバイスの相対移動が、前述の合力および持続時間を使用することによって予測されてもよい。既存の照準中心が、次いで、予測された相対移動に基づいて決定されてもよい。照準中心が、決定されると、照準中心誤差が、１０１０において、本明細書に説明される技法を使用することによって、少なくとも部分的に信号に基づいて決定されてもよい。

【0175】

照準誤差が、１０１０において決定されると、動作範囲が、少なくとも部分的に照準中心誤差に基づいて、１０１２において調節されてもよい（例えば、既存の動作範囲を増大または減少させる）（または、いくつかの実施形態では、より小さい動作範囲の随意の調節が、１００６において実施される）。例えば、１００８において受信された信号は、装着するユーザに対する装着型電子デバイスの滑脱を示し得る。対応する照準中心誤差が、次いで、増加すると決定されてもよい。照準中心誤差の増加に起因して、焦点面に関するジオプタ（例えば、上記の実施例における７４ｃｍにある焦点面）が、（例えば、＋／－１．３５ジオプタ～＋／－１．４５ジオプタまで）増加し、故に、動作範囲を元の３７ｃｍから無限遠に、３５ｃｍまで低減させる（例えば、焦点距離は、現在１００／１．４５～７０ｃｍであり、故に、動作範囲は、ここで３５ｃｍに、無限遠まで低減される）。

【0176】

信号が、必ずしも常時、照準中心が、動作範囲を減少させる様式において偏移されることを示すわけではないことに留意されたい。いくつかの実施形態では、信号は、ユーザに対する装着型電子デバイスの位置、移動、または運動の変化が、実際には、照準中心を真の照準中心により近接するように移動させることを示し得る。これらの実施形態では、動作範囲は、したがって、少なくとも部分的に信号に基づいて増加され得る。図１０に図示される種々の実施形態が、これらの技法の性能に関する閾値時間周期を参照することの有無を問わず、周期的に（例えば、固定された持続時間毎に１度）、動的に、またはリアルタイムで実施され得ることにさらに留意されたい。

【0177】

図１１は、いくつかの実施形態における、図１０の１０１２における、動作範囲を調節することについてのさらなる詳細に関するブロック図を図示する。これらの実施形態では、レンダリングカメラ位置が、１１０２において、眼追跡モジュールを使用することによって、またはレンダリングカメラ位置を見出すために視覚タスクを実施することによって、ユーザのために決定されてもよい。推定された照準中心誤差または精度が、１１０４において、少なくとも部分的に、１１０２において決定されたレンダリングカメラ位置に基づいて、本明細書に説明される技法を使用することによって決定されてもよい。

【0178】

照準中心位置またはレンダリングカメラ位置に関する残余誤差が、１１０６において、母集団レベルにおいて決定されてもよい。例えば、レンダリング位置誤差またはその成分（例えば、残余誤差成分）は、例えば、グランドトゥルース試験設定において収集されたユーザの代表群の誤差分布を使用することによって、母集団レベルにおいて決定されてもよい。複数のユーザのためのグランドトゥルースに対応する、焦点距離または焦点距離に対応する焦点面が、１１０８において識別されてもよい。焦点面または焦点距離は、動作範囲が、具体的な焦点面または焦点深度、長さ、または距離に対応する、ジオプタに基づいて決定されることになるため、１１０８において識別される。

【0179】

調節された動作範囲が、１１１０において、いくつかの実施形態では、少なくとも部分的に推定された照準中心誤差または精度に基づいて、焦点面または焦点距離に関して決定されてもよい。これらの実施形態のうちのいくつかでは、調節された動作範囲は、１１１０において、さらに少なくとも部分的に残余誤差に基づいて、焦点面または焦点距離に関して決定されてもよい。調節された動作範囲が、１１１０において決定されると、焦点面（または焦点距離、距離、または深度）に対して提示されることになる仮想コンテンツが、１１１２において、少なくとも部分的に調節された動作範囲に基づいて、修正された仮想コンテンツに修正されてもよい。

【0180】

図１２は、いくつかの実施形態における、図９の９０２におけるユーザの眼の照準中心を決定することについてのさらなる詳細に関する、ブロック図を図示する。より具体的には、図１２は、視覚タスクを用いて眼の照準中心を決定するためのブロック図を図示する。これらの実施形態では、第１の場所における第１の孔と、第２の場所における第２の孔とを有するオブジェクトが、１２０２においてユーザの眼に提示される。これらの実施形態のうちのいくつかでは、オブジェクトは、ユーザに、オブジェクトの背後における実世界環境または別の仮想オブジェクトが見えるように、複数の孔を通して見え得るように、複数の貫通孔を含む、仮想オブジェクトを含む。

【0181】

いくつかの他の実施形態では、オブジェクトを貫通孔を用いてユーザに提示するのではなく、第１のマーカ（例えば、十字線、ドット、規則形状または不規則形状、パターン等）が、第１の場所においてユーザの眼に提示されてもよく、第２のマーカが、第２の場所においてユーザの眼に提示されてもよい。したがって、「孔」の言及は、図１２に図示され、本明細書に説明される種々の実施形態における「マーカ」の言及と同義的に使用され得る。

【0182】

任意の形状またはパターンの標的が、１２０４においてユーザの眼に提示されてもよく、あるサイズを有する（例えば、形状は、あるサイズを有していると見なされる）、またはいかなるサイズも有していない（例えば、ドットは、いかなるサイズも有していないものとして見なされる）場合がある。これらの実施形態のうちのいくつかでは、標的のレンダリング深度は、前述のオブジェクトまたはマーカにおける孔のものを上回る。いくつかの他の実施形態では、標的のレンダリング深度は、前述のオブジェクトまたはマーカにおける孔のものに等しくあり得る。さらに他の実施形態では、標的のレンダリング深度は、前述のオブジェクトまたはマーカにおける孔のものより小さくあり得る。標的および孔（またはマーカ）の目的のうちの１つは、それに沿って眼の照準中心が存在する、基準線を確立するために、孔（またはマーカ）と標的を整合させることである。したがって、標的が孔（またはマーカ）と同一の深度、より浅い深度、またはそれより深い深度に存在するかどうかが、少なくとも部分的に選択される孔および標的のタイプまたは複数のタイプに基づいて決定されてもよい。

【0183】

標的は、１２０６において、（例えば、物理または仮想ポイントデバイス、物理または仮想キーボード上の上、下、左、および／または右矢印キー、ジェスチャ、または標的を移動させることに関するディスプレイ上ウィジェットとの相互作用等を使用することによって、）入力を伴うユーザのいずれかによって第１の孔の周囲で移動されてもよい。標的がオブジェクト内の第１の孔より長い焦点距離または深度においてレンダリングされる、いくつかの実施形態では、オブジェクトは、標的が、標的の少なくとも一部が第１の孔を通してユーザの眼によって視認可能な状態になる場所まで移動されるまで、標的を遮蔽する。

【0184】

ユーザの眼が、孔を通して標的の少なくとも一部を知覚すると、標的の少なくとも一部が第１の孔を通して眼によって視認可能であることを示す、信号が、１２０８において受信されてもよい。例えば、ユーザが、標的の少なくとも一部が第１の孔を通してユーザの眼によって視認可能であることを示すための視覚、可聴、または他のタイプのコマンドまたは命令を発行してもよい。信号を受信することに応じて、装着型電子デバイスは、標的および第１の孔がある公差内で整合されることを認識させられる（例えば、整合精度は、第１の孔のサイズ、標的のサイズ、または両方に依存する）。

【0185】

より小さい標的および／またはより小さい孔は、標的と孔との間の整合のための高い精度を提供し得るが、眼視覚によってより知覚しにくくなり得る。他方では、より大きい規模の標的および／またはより大きい規模の孔が、より良好な可視性を提供し得るが、整合誤差が、より大きくなる。平衡のとれたアプローチは、より大きいサイズの標的および／またはより大きい孔を使用することであり得、標的が最初に視認可能な状態になると、標的は、標的がもはやユーザの眼によって視認可能ではない瞬間まで、孔を横断して同一の方向に沿って移動される。移動する標的に関する最終整合位置は、したがって、標的が最初に視認可能な状態になるときの第１の点と、標的が最後に視認可能な状態になるときの第２の点との間の中間点である。

【0186】

オブジェクト内の貫通孔の代わりにマーカが使用される、いくつかの実施形態では、標的およびマーカが、標的の任意の部分がマーカと整合されないときに視認可能な区別を提供するような方法において考案され得る。例えば、標的は、第１の色の十字線として実装されてもよく、マーカは、第１の色と異なる第２の色の別の十字線として実装されてもよい。整合プロセスの間に、標的とマーカとの間の任意の重複していない表現が、２つのコントラストの強い色に起因して強調されてもよい。いくつかの実施形態では、装着型電子デバイスはさらに、より高い精度を達成するために、標的および孔（またはマーカ）を示すディスプレイエリアを拡大し、標的および孔（またはマーカ）の接近ビュー、したがって、拡大ビューを提供してもよい。いくつかの実施形態では、標的は、ユーザが、標的の外側縁と孔の縁との間の間隙が均一に見えるときに１２０８において説明される、第１の信号をトリガするかどうかを決定し得るように、標的が孔より小さく見えるような方法においてレンダリングされてもよい。

【0187】

１２０８において第１の信号を受信することに応じて、第１の孔（またはマーカ）および標的を接続する、第１の基準エンティティ（例えば、線、平面等）が、１２１０において決定されてもよい。より具体的には、第１の信号は、標的および孔（またはマーカ）がユーザの眼によって知覚されると、相互と整合されることを示す。したがって、ユーザの眼の照準中心が、第１の基準エンティティに沿って存在し得るという仮定が、行われ得る。

【0188】

実質的に類似するプロセスが、標的（または異なる標的）を第２の孔（または第２のマーカ）の周囲で移動させることによってユーザの眼のために実施され得る。例えば、同一の標的（または第２の標的）が、１２１２において、第２の孔（または第２のマーカ）の周囲で移動されてもよい。信号が、次いで、標的（または第２の標的）が１２１４において第２の孔を通してユーザの眼に視認可能な状態になる（または第２のマーカと整合される）と、ユーザによってトリガされ、それから受信されてもよい。第２の信号を受信することに応じて、標的（または第２の標的）および第２の孔（または第２のマーカ）は、ユーザの眼によって知覚されると、相互と整合されているものとして見なされる。したがって、ユーザの眼の照準中心はまた、第２の基準エンティティに沿って存在し得るという別の仮定が、行われ得る。第１および第２の基準エンティティを用いると、眼の照準中心は、次いで、第１および第２の基準エンティティの交差部分であると決定され得る。実質的に類似するプロセスが、ユーザの他方の眼のために実施されてもよい。

【0189】

眼追跡
１つまたはそれを上回る実施形態では、ＡＲシステムは、物理空間または環境（例えば、物理的な部屋）内の１人またはそれを上回るユーザの眼姿勢（例えば、配向、方向）および／または眼の動きを追跡し得る。ＡＲシステムは、ユーザの眼の姿勢および／または動きを検出するように位置付けられ、配向される、１つまたはそれを上回るセンサまたはトランスデューサ（例えば、カメラ）によって収集される情報（例えば、捕捉された画像または画像データ）を採用してもよい。例えば、個々のＡＲシステムの頭部装着式コンポーネントは、１つまたはそれを上回る内向きに向いたカメラおよび／または光源を含み、ユーザの眼を追跡してもよい。

【0190】

上記に記載されるように、ＡＲシステムは、ユーザの眼姿勢（例えば、配向、方向）および眼の動きを追跡し、「ヒートマップ」を構築してもよい。ヒートマップは、１つまたはそれを上回る仮想または現実オブジェクトに指向された眼姿勢インスタンスの時間、頻度、および数を追跡および記録する、世界のマップであってもよい。例えば、ヒートマップは、視線または注視の最大数／時間／頻度を生産した仮想および／または現実オブジェクトに関する情報を提供し得る。これはさらに、本システムが、特定の仮想または現実オブジェクトにおけるユーザの関心を理解することを可能にし得る。

【0191】

有利なこととして、１つまたはそれを上回る実施形態では、ヒートマップは、いくつかの実施形態では、広告またはマーケティング目的において使用され、広告キャンペーンの有効性を決定してもよい。ＡＲシステムは、ユーザが注意を払っている空間内のエリアを表すヒートマップを発生させる、または決定してもよい。１つまたはそれを上回る実施形態では、ＡＲシステムは、例えば、眼追跡および／またはヒートマップに基づいて最適化された位置および／または光学特性（例えば、色、明度、輝度）とともに、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構築物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号）をレンダリングしてもよい。

【0192】

疑似ランダムパターン
１つまたはそれを上回る実施形態では、ＡＲシステムは、眼姿勢または眼の動きを追跡することにおいて、疑似ランダムノイズを採用してもよい。例えば、個々のＡＲシステムの頭部装着式コンポーネントは、頭部装着式コンポーネントがユーザによって装着されるとき、ユーザの眼を照射するように位置付けられ、配向される、１つまたはそれを上回る光源（例えば、ＬＥＤ）を含んでもよい。カメラは、眼から返される光源からの光を検出する。例えば、ＡＲシステムは、プルキニェ画像、例えば、眼の構造からのオブジェクトの反射を使用してもよい。

【0193】

ＡＲシステムは、光源によって放出される光のパラメータを変動させ、認識可能パターンを、放出され、故に、眼から反射される、検出された光上に与えてもよい。例えば、ＡＲシステムは、光源の動作パラメータを疑似ランダムに変動させ、放出される光のパラメータを疑似ランダムに変動させてもよい。例えば、ＡＲシステムは、光源の放出の長さ（オン／オフ）を変動させてもよい。これは、周囲光源から放出および反射された光からの放出および反射された光の自動検出を促進する。

【0194】

図１３は、いくつかの実施形態における、図示および説明目的のために簡略化されている、眼追跡器具類の概略的実装を図示する。図１４は、いくつかの実施形態における、１つまたはそれを上回るセンサ（例えば、１つまたはそれを上回るフォトダイオード）によって捕捉されるユーザの眼の構造からの光、パターン、またはオブジェクトの反射の例示的出力を図示する。

【0195】

図１３および図１４に図示されるように、１つの実装では、光源（例えば、ＬＥＤ）１０１０２が、眼の片側（例えば、上部）のフレーム上に位置付けられ、センサ（例えば、フォトダイオード）が、フレームの底部部分上に位置付けられる。眼は、反射体として見なされ得る。着目すべきこととして、対の眼が連動して動く傾向にあるため、一方のみの眼に、装備され、それが追跡される必要がある。光源１０１０２（例えば、ＬＥＤ）は、通常、パターン化されたコード（例えば、振幅変動または変調）を生産するために、一度（例えば、タイムスライス）に１つオンおよびオフにされる。ＡＲシステムは、センサ（例えば、フォトダイオード）によって生産される信号の自己相関を実施し、飛行時間信号を決定する。１つまたはそれを上回る実施形態では、ＡＲシステムは、既知の幾何学形状の光源（例えば、ＬＥＤ）、センサ（例えば、フォトダイオード）、および眼までの距離を採用する。

【0196】

眼の既知の幾何学形状に伴うベクトルの和は、眼追跡を可能にする。眼の位置を推定するとき、眼は、角膜および眼球を有するため、幾何学形状は、相互の上に層化された２つの円として表され得る。本システム１０１００を使用すると、眼の向きのベクトルが、カメラを用いずに、決定または計算され得る。また、眼の回転中心が、眼の断面が円形であって、角膜が特定の角度を通して揺動するため、推定され得る。これは、実際には、光線トレースだけではなく、既知の伝送される信号に対する受信された信号の自己相関のため、ベクトル距離をもたらす。出力は、図１４に示されるように、プルキニェ画像１４００として見られ得、これは、ひいては、眼の動きを追跡するために使用され得る。

【0197】

いくつかの実装では、光源は、電磁スペクトルの赤外線（ＩＲ）範囲内の光を放出してもよく、光センサは、ＩＲ範囲内の電磁エネルギーに選択的に応答し得る。

【0198】

１つまたはそれを上回る実施形態では、光線は、図示される実施形態に示されるように、ユーザの眼に向かって放出される。ＡＲシステムは、光とユーザの眼の相互作用と関連付けられる１つまたはそれを上回る特性（例えば、プルキニェ像、フォトダイオードによって検出された後方散乱された光の範囲、後方散乱された光の方向等）を検出するように構成される。これは、図示される実施形態に示されるように、フォトダイオードによって捕捉されてもよい。相互作用の１つまたはそれを上回るパラメータは、フォトダイオードによって測定されてもよい。これらのパラメータは、ひいては、眼の動きまたは眼姿勢の特性を外挿するために使用されてもよい。

【0199】

視線追跡
視線追跡に関して概説された概念は、下記にさらに説明されるユーザシナリオおよび実施形態のいずれにも適用され得ることを理解されたい。１つまたはそれを上回る実施形態では、下記に説明される種々のユーザインターフェースはまた、検出された視線に戻るようにアクティブ化され／創出され得る。本明細書に説明される原理は、本開示の任意の他の部分に適用されてもよく、限定として読み取られるべきではない。

【0200】

ＡＲシステムは、いくつかの実施形態では、視線を追跡してもよい。視線追跡に対して、３つの主要コンポーネント、すなわち、眼追跡モジュール（瞳孔検出および角膜中心検出）、頭部追跡モジュール、および眼追跡モジュールと頭部追跡モジュールを相関させる、相関モジュールが、存在する。相関モジュールは、世界座標（例えば、実世界内のオブジェクトの位置）と眼座標（例えば、眼追跡カメラに関連する眼の動き等）との間の情報を相関させる。

【0201】

眼追跡モジュールは、角膜の中心および瞳孔の中心を決定するように構成される。図１５を先に参照すると、眼１５０２の概略図が、図示される。図１５に示されるように、線１５０４が、角膜の中心、瞳孔の中心、および眼球の中心を通して通過するように示される。本線１５０４は、光学軸と称され得る。

【0202】

図１５はまた、角膜を通して通過する、別の視線１５０６を示す。本線は、視覚軸と称され得る。図１５に示されるように、視覚軸は、光学軸に関連する傾斜線である。それを通して視覚軸１５０６が交差する中心窩１５０８のエリアは、光受容体の非常に高密度エリアと見なされ、したがって、外側世界を視認するために、眼にとって極めて重要であることを理解されたい。視覚軸１５０６は、典型的には、光学軸から１～５°の逸脱にある（必ずしも、垂直逸脱ではない）。

【0203】

従来の視線追跡技術では、主要な仮定のうちの１つは、頭部が移動していないということである。これは、視線追跡目的のために、光学軸に関連して視覚軸を決定することをより容易にする。しかしながら、ＡＲシステムの文脈では、ユーザは、絶えずその頭部を移動させているであろうことが予期され、したがって、従来の視線追跡機構は、実行可能ではない場合がある。

【0204】

本目標を達成するために、ＡＲシステムは、本システムとの関連で角膜の位置を正規化するように構成される。角膜の位置は、光学軸および視覚軸の両方が、前述の図１５に示されるように、角膜を通して通過するため、視線追跡において非常に重要であることを理解されたい。

【0205】

ここで図１６を参照すると、ＡＲシステムは、装着式ＡＲシステム１６０６に取り付けられる世界カメラシステム（例えば、ユーザの頭部上に設置され、周囲のセットを捕捉するためのカメラ、ユーザの頭部の移動とともに移動するカメラ）１６０４を備える。また、図１６に示されるように、ＡＲシステム１６０６はさらに、眼１６０２の動きを追跡する、１つまたはそれを上回る眼追跡カメラ１６０８を備えてもよい。両方のカメラ（例えば、眼追跡カメラ１６０８および世界カメラ１６０４）は、移動しているため、本システムは、頭部の移動および眼の動きの両方を考慮し得る。頭部移動（例えば、視野（ＦＯＶ）カメラ１６０４に基づいて計算される）および眼の動き（例えば、眼追跡カメラ１６０８に基づいて計算される）は両方とも、角膜の位置を正規化するために追跡されてもよい。

【0206】

眼追跡カメラ１６０８は、カメラから角膜の中心までの距離を測定することを理解されたい。したがって、装着型ＡＲシステム１６０６が眼に対して移動する方法の任意の変更を補償するために、角膜の中心までの距離が、正規化される。例えば、眼鏡移動に伴って、角膜から離れるようなカメラのわずかな回転および／または平行移動が、存在し得る。しかしながら、本システムは、角膜の中心までの距離を正規化することによって、本移動を補償する。

【0207】

眼追跡カメラおよび頭部カメラ（世界カメラ）が両方とも、剛体（例えば、ＡＲシステムのフレーム）であるため、眼追跡カメラの任意の正規化または補正もまた、世界カメラ上でも同様に実施される必要があることを理解されたい。例えば、同一の回転および平行移動ベクトルが、世界カメラシステムにも同様に適用され得る。したがって、本ステップは、眼追跡システムと頭部追跡システムとの間の関係（例えば、回転ベクトル、平行移動ベクトル等）を識別する。

【0208】

いったん回転および／または平行移動ベクトルが、識別されると、較正ステップが、ユーザから離れるような種々の深度において実施される。例えば、ユーザから離れるような固定距離にある、既知の点が、存在し得る。世界カメラ１６０４は、ユーザからの空間内に固定される点間の距離を測定してもよい。上記に議論されるように、角膜の中心の位置もまた、眼追跡カメラ１６０８と関連付けられる計算に基づいて把握される。

【0209】

加えて、上記に議論されるように、眼追跡カメラ１６０８と世界カメラとの間の関係もまた、把握される（例えば、任意の平行移動または回転ベクトル）。したがって、いったん標的の位置（例えば、空間内の固定される既知の点）および角膜の位置が、識別されると、視線（角膜から標的まで）が、容易に識別され得ることを理解されたい。本情報は、物理世界の１つまたはそれを上回る現実オブジェクトに関連して空間内に仮想オブジェクトを正確に描くために、マッピングおよび／またはレンダリングにおいて使用されてもよい。

【0210】

より具体的には、世界カメラ１６０４と眼追跡カメラ１６０６との間の関係を決定するために、少なくとも２つの固定画像が、眼カメラおよび世界カメラの両方に提示されてもよく、画像内の差異が、両方のカメラを較正するために使用されてもよい。例えば、角膜の中心が、眼追跡システム１６０８に関連して把握される場合、角膜の中心は、眼カメラと世界カメラとの間の既知の関係を利用することによって、世界座標系１６０４に関連して決定され得る。

【0211】

１つまたはそれを上回る実施形態では、較正プロセスの間（例えば、ユーザが最初にＡＲデバイスを受け取るときの設定プロセス等の間）、第１の固定画像が、眼カメラ１６０６、次いで、世界カメラ１６０４によって捕捉される。例証目的のために、眼カメラによって実施される第１の画像捕捉は、「Ｅ」と見なされ得、世界カメラによって実施される第１の画像捕捉は、「Ｗ」と見なされ得る。次いで、第２の固定画像が、眼カメラ１６０６によって捕捉され、次いで、世界カメラ１６０４によって捕捉される。第２の固定画像は、第１の固定画像とわずかに異なる位置にあり得る。

【0212】

眼カメラの第２の画像捕捉は、Ｅ´と称され得、世界カメラの第２の画像捕捉は、Ｗ´と称され得る。Ｚ＝ＷＸＥおよびＺ＝Ｗ´ＸＥ´であるため、Ｘは、上記の２つの方程式を使用して容易に計算され得る。したがって、本情報は、世界に関連してカメラの位置を自然に較正するように、点を確実にマッピングするために使用されてもよい。本マッピング情報を確立することによって、視線１５０６は、容易に決定され得、これは、ひいては、仮想コンテンツをユーザに方略的に提供するために使用され得る。

【0213】

ここで図１７を参照すると、眼追跡モジュールを使用して角膜の中心を検出するために、ＡＲシステムは、２つの閃光（例えば、ＬＥＤ光）を伴う１つのカメラまたはそれぞれ１つの閃光を伴う２つのカメラのいずれかを利用する。図示される実施形態では、１つのみの閃光１７０２が、眼１６０２および眼追跡カメラ１６０６に関連して示される。角膜の表面は、非常に反射性であり、したがって、眼を追跡するカメラ（例えば、眼追跡カメラ）が存在する場合、カメラの画像平面上に形成される閃光が、存在し得ることを理解されたい。

【0214】

ＬＥＤ光１７０２の３Ｄ位置は、既知であって、カメラの画像平面から閃光１７１０までの線も、既知であるため、閃光と、画像平面とを備える３Ｄ平面が、生成される。角膜の中心は、本生成された３Ｄ平面１７０４（図１７に線として表される）上に位置する。同様に、（別のＬＥＤ光からの）別の閃光が、使用される場合、２つの３Ｄ平面は、他の３Ｄ平面もまた角膜の中心を有するように相互に交差する。したがって、両方の３Ｄ平面の交差部分は、角膜の中心を保持する線を生産することを理解されたい。ここで、その線内の角膜の厳密な点が、決定され得る。

【0215】

反射の法則を満たす、（閃光からプロジェクタまでの）その線上には、一意の位置が、存在することを理解されたい。物理学において周知であるように、反射の法則は、光線が表面から反射するとき、入射角が反射角に等しいことを述べる。本法則は、角膜の中心を見出すために使用されてもよい。

【0216】

図１８を参照すると、ここで、角膜の中心から原点（例えば、閃光１７１０）までの距離が、決定されてもよい（ｒ´、図示せず）。同様に、同一の分析が、（他の閃光１８０２から他のプロジェクタまでの）他の線１８０４に対して実施され、ｒ´´（例えば、交差線から他の線までの距離）（図示せず）を見出し得る。角膜の中心は、相互に値が最近接するｒ´およびｒ´´の値に基づいて推定され得る。上記の例示的実施形態は、２つの平面を説明するが、角膜の位置は、より多くの平面が使用される場合により容易に見出され得ることを理解されたい。これは、複数のＬＥＤ光（例えば、より多くの閃光）を使用することによって達成され得る。

【0217】

眼追跡システムは、眼上で少なくとも２つの閃光を生産することが重要である。正確度を増加させるために、より多くの閃光が、眼上に生産されてもよい。しかしながら、付加的閃光が眼の表面上に生産されることで、どの閃光がどのＬＥＤによって生産されたかを決定することが困難な状態になる。本目標を達成するために、閃光とＬＥＤとの間の対応を理解するために、同時に、各フレーム上で閃光を反射させるのではなく、１つのＬＥＤが、１つのフレームに対してオンにされてもよく、他のものが、第１のものがオフにされた後、オンにされてもよい。本アプローチは、ＡＲシステムをより信頼性があるものにし得る。

【0218】

いくつかの実施形態では、屈折によって引き起こされる相違のため、瞳孔の厳密な中心を決定することは、困難であり得る。瞳孔の中心を検出するために、眼の画像が、捕捉されてもよい。瞳孔を見出すために、中心点から半径方向外向きの「星形」パターンにおいて画像の中心の周囲を移動してもよい。いったん見出されると、同一のプロセスが、瞳孔の縁を見出すために、瞳孔内の点から開始するように実施されてもよい。本情報は、瞳孔中心を推測するために使用されてもよい。本プロセスが数回繰り返される場合、ある中心は、外れ値であり得ることを理解されたい。しかしながら、これらの外れ値は、フィルタ除去されてもよい。しかしながら、本アプローチを用いても、瞳孔の中心は、依然として、上記に議論される屈折原理のため、正しい位置にない場合がある。

【0219】

ここで図１９を参照すると、較正が、視覚軸と光学軸との間の逸脱を決定するために実施されてもよい。本システムを較正するとき、瞳孔の実中心は、問題となり得ないが、世界におけるマッピング（例えば、世界が、例えば、２Ｄにあるように考慮する）のために、世界と眼との間の距離を決定することが重要である。瞳孔中心および画像平面を前提として、図１９に示されるように、２Ｄ世界における相関座標を見出すためのマッピングを見出すことが、重要である。本目標を達成するために、放物線マッピングを使用し、画像平面内の対応する座標を見出し得る。以下のようなサンプル方程式が、使用されてもよい。

【0220】

【化1】

【0221】

【化2】

【0222】

【化3】

【0223】

図１９の１９００に示されるように、上記に類似する方程式が、決定された（Ｘｅ，Ｙｅ）から（Ｘｓ，Ｙｓ）を決定するために使用されてもよい。ここでは、合計パラメータは、１２個である。各点は、２つの方程式を提供し、したがって、少なくとも６つの点（例えば、ａ１－ａ６）が、本方程式を解くために必要とされ得る。

【0224】

ここで、角膜の中心が把握され、標的点の位置が把握されると、線が、角膜の中心から標的点まで引かれ得る。世界カメラ１６０４は、空間内の固定点において画像を撮影し得る、画像を撮影する固定平面を有する。次いで、別の標的点が、人物に表示され、次いで、世界カメラに仮想的に結び付けられる交差平面が、決定される。

【0225】

上記に説明されるマッピング技法は、上記で詳細に説明されるように、その交差平面内の対応する点を決定するために使用され得る。角膜の中心を把握することで、上記に説明されるマッピング技法は、世界カメラに仮想的に取り付けられる画像平面上の点を識別し得る。全てのこれらの点がここで把握されることを前提として、視線が、角膜の中心から画像平面上の点まで作成され得る。視線は、各眼に別個に作成されることを理解されたい。

【0226】

ここで図２０を参照すると、視線を決定する例示的方法２０００が、図示される。最初に、２００２において、角膜の中心が、（例えば、上記に説明されるＬＥＤ三角測量アプローチ等を通して）決定されてもよい。次いで、２００４において、眼カメラと世界カメラとの間の関係が、決定されてもよい。２００６において、標的位置が、決定されてもよい。最後に、２００８において、マッピング技法が、全ての決定された情報に基づいて、視線を作成するために利用されてもよい。

【0227】

図２１は、いくつかの実施形態における、眼追跡技法を使用して照準中心を決定するための方法またはシステムのためのブロック図を図示する。これらの実施形態では、複数の第１の光線またはビームが、２１０２において、１つまたはそれを上回る光源からユーザの眼に向かって放出されてもよい。これらの実施形態のうちのいくつかでは、１つまたはそれを上回る光源は、ＬＥＤ（発光ダイオード）光源を含み得る。

【0228】

眼と第１の光線またはビームの相互作用と関連付けられる第１の特性が、２１０４において、１つまたはそれを上回るセンサを使用して検出されてもよい。いくつかの実施形態では、１つまたはそれを上回るセンサは、フォトダイオードを含む。第１の特性は、ユーザの眼からの第１の光線またはビームの少なくとも一部に応答し、１つまたはそれを上回るセンサによって検出される、戻り量、反射、または具体的パターンを含んでもよい。眼のための第１の視線方向が、２１０６において、少なくとも部分的に、２１０４において検出される、第１の特性に基づいて決定されてもよい。

【0229】

複数の第２の光線またはビームが、２１０８において、１つまたはそれを上回る光源からユーザの眼に向かって放出されてもよい。眼と第２の光線またはビームの相互作用と関連付けられる第２の特性が、２１１０において、１つまたはそれを上回るセンサを使用して検出されてもよい。眼のための第２の視線方向が、２１１２において、少なくとも部分的に、２１１０において検出される第２の特性に基づいて決定されてもよい。眼のための照準中心が、２１１４において、少なくとも部分的に第１の視線方向および第２の視線方向に基づいて決定されてもよい。類似するプロセスが、これらの実施形態のうちのいくつかでは、ユーザの他方の眼に対して実施され、ユーザの他方の眼の対応する照準中心を決定し得ることに留意されたい。

【0230】

【0231】

これらの後者の実施形態では、ユーザの２つの眼のそれぞれの個別の照準中心は、独立して決定されてもよい。これらの実施形態のうちのいくつかでは、個別の照準中心は、個別の視線方向とともに、焦点面または焦点深度等に関して焦点深度、焦点面、輻輳・開散運動、遠近調節、動作範囲を特徴付けるために使用されてもよい。

【0232】

図２２は、いくつかの実施形態における、装着型電子デバイスの簡略化された概略図を図示する。図２２に図示されるように、オーディオトランスデューサは、視覚的コンポーネントと統合されてもよく、例えば、各オーディオトランスデューサは、視覚的コンポーネントを伴う共通フレームから支持される。代替として、オーディオトランスデューサは、視覚的コンポーネントを担持するフレームと明確に異なってもよい。例えば、オーディオトランスデューサは、図２２に示されるもの（２２０２）等のベルトパックの一部であってもよい。

【0233】

図２２に図示されるように、拡張現実システム１００は、頭部装着式コンポーネント（例えば、図２２に示されるような光学サブシステム１００）と別個である、明確に異なる算出コンポーネント（例えば、図２２に示されるような処理サブシステム１０２）を含んでもよい。処理サブシステムまたは算出コンポーネント１０２は、例えば、使用の間、ベルトまたはズボンの胴回りに便宜的に結合され得る、ベルトパックの形態をとってもよい。代替として、算出コンポーネント１０２は、例えば、携帯情報端末またはスマートフォンタイプデバイスの形態をとってもよい。

【0234】

算出コンポーネント１０２は、１つまたはそれを上回るプロセッサ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサ、グラフィカル処理ユニット、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ、プログラマブル論理回路、または論理を具現化するか、またはソフトウェアまたはファームウェア内にエンコードされた命令内に具現化された論理を実行することが可能であるかのいずれかである、他の回路を含んでもよい。算出コンポーネント１０２は、１つまたはそれを上回る非一過性コンピュータまたはプロセッサ可読媒体、例えば、揮発性および／または不揮発性メモリ、例えば、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、静的ＲＡＭ、動的ＲＡＭ、フラッシュメモリ、ＥＥＰＲＯＭ等を含んでもよい。

【0235】

算出コンポーネント１０２は、頭部装着式コンポーネントに通信可能に結合されてもよい。例えば、算出コンポーネント１０２は、適切なコネクタを伴うケーブルを介した１つまたはそれを上回るワイヤまたは光ファイバを介して、頭部装着式コンポーネントに通信可能にテザリングされてもよい。算出コンポーネント１０２および頭部装着式コンポーネント１００は、様々なテザリングされたプロトコル、例えば、ＵＢＳ、ＵＳＢ２、ＵＳＢ３、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ、Ｌｉｇｈｔｎｉｎｇプロトコルのうちのいずれかに従って通信してもよい。

【0236】

代替として、または加えて、算出コンポーネント１０２は、頭部装着式コンポーネントに無線で通信可能に結合されてもよい。例えば、算出コンポーネント１０２および頭部装着式コンポーネント１００はそれぞれ、伝送機と、受信機または送受信機（集合的に、無線）と、関連付けられるアンテナとを含み、無線通信をそれらの間に確立してもよい。無線およびアンテナは、様々な形態をとってもよい。例えば、無線は、短距離通信が可能であってもよく、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＷＩ－ＦＩ、またはあるＩＥＥＥ８０２．１１準拠プロトコル（例えば、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ａ／ｃ）等の通信プロトコルを採用してもよい。

【0237】

図２３は、１つまたはそれを上回る図示される実施形態による、拡張現実デバイスのための電子機器のための例示的アーキテクチャを示す。ＡＲデバイスは、１つまたはそれを上回るプリント回路基板コンポーネント、例えば、左（２３０２）および右（２３０４）プリント回路基板アセンブリ（ＰＣＢＡ）を含んでもよい。図示されるように、左ＰＣＢＡ２３０２は、能動電子機器の大半を含む一方、右ＰＣＢＡ２３０４は、主に、ディスプレイまたはプロジェクタ要素をサポートする。

【0238】

右ＰＣＢＡ２３０４は、画像情報および制御信号を画像発生コンポーネントに提供する、いくつかのプロジェクタドライバ構造を含んでもよい。例えば、右ＰＣＢＡ２３０４は、第１または左のプロジェクタドライバ構造２３０６および第２または右のプロジェクタドライバ構造２３０８を担持してもよい。第１または左のプロジェクタドライバ構造２３０６は、第１または左のプロジェクタファイバ２３１０および信号線のセット（例えば、圧電ドライバワイヤ）を継合する。第２または右のプロジェクタドライバ構造２３０８は、第２または右のプロジェクタファイバ２３１２および信号線のセット（例えば、圧電ドライバワイヤ）を継合する。第１または左のプロジェクタドライバ構造２３０６は、第１または左の画像プロジェクタに通信可能に結合される一方、第２または右のプロジェクタドライバ構造２３０８は、第２または右の画像プロジェクタに通信可能に結合される。

【0239】

動作時、画像プロジェクタは、仮想コンテンツを、個別の光学コンポーネント、例えば、導波管および／または補償レンズを介して、ユーザの左および右眼（例えば、網膜）にレンダリングする。

【0240】

画像プロジェクタは、例えば、左および右プロジェクタアセンブリを含んでもよい。プロジェクタアセンブリは、様々な異なる画像形成または作製技術、例えば、ファイバ走査プロジェクタ、液晶ディスプレイ（ＬＣＤ）、シリコン上液晶（ＬＣＯＳ）ディスプレイ、デジタル光処理（ＤＬＰ）ディスプレイを使用してもよい。ファイバ走査プロジェクタが採用される場合、画像は、光ファイバの先端を介して、光ファイバに沿って、そこから投影されるように送達され得る。先端は、導波管の中に送り込まれるように配向されてもよい。そこから画像が投影される先端を伴う光ファイバの端部が、撓曲または発振するように支持されてもよい。いくつかの圧電アクチュエータが、先端の発振（例えば、周波数、振幅）を制御してもよい。プロジェクタドライバ構造は、画像を個別の光ファイバに提供し、圧電アクチュエータを制御するための信号を制御し、画像をユーザの眼に投影する。

【0241】

右ＰＣＢＡ２３０４について継続すると、ボタン基板コネクタ２３１４が、種々のユーザアクセス可能ボタン、キー、スイッチ、または他の入力デバイスを担持する、ボタン基板２３１６に通信および物理結合を提供してもよい。右ＰＣＢＡ２３０４は、右イヤホンまたはスピーカコネクタ２３１８を含み、オーディオ信号を頭部装着式コンポーネントの右イヤホン２３２０またはスピーカに通信可能に結合してもよい。右ＰＣＢＡ２３０４はまた、右マイクロホンコネクタ２３２２を含み、オーディオ信号を頭部装着式コンポーネントのマイクロホンから通信可能に結合してもよい。右ＰＣＢＡ２３０４はさらに、右遮蔽ドライバコネクタ２３２４を含み、遮蔽情報を頭部装着式コンポーネントの右遮蔽ディスプレイ２３２６に通信可能に結合してもよい。右ＰＣＢＡ２３０４はまた、基板間コネクタを含み、その基板間コネクタ２３３４を介して、左ＰＣＢＡ２３０２との通信を提供してもよい。

【0242】

右ＰＣＢＡ２３０４は、身体または頭部装着式である、１つまたはそれを上回る右外向きに向いたまたは世界ビューカメラ２３２８に、随意に、画像が捕捉されているときを他者に示すために照射する、右カメラ視覚的インジケータ（例えば、ＬＥＤ）に通信可能に結合されてもよい。右ＰＣＢＡ２３０４は、頭部装着式コンポーネントによって担持され、右眼の画像を捕捉し、右眼の配向および／または動きの追跡、検出、または監視を可能にするように位置付けられ、配向される、１つまたはそれを上回る右眼カメラ２３３２に通信可能に結合されてもよい。右ＰＣＢＡ２３０４は、随意に、本明細書に解説されるように、右眼をあるパターン（例えば、時間的、空間的）の照射を用いて照射し、右眼の配向および／または動きの追跡、検出、または監視を促進する、１つまたはそれを上回る右眼照射源２３３０（例えば、ＬＥＤ）に通信可能に結合されてもよい。

【0243】

左ＰＣＢＡ２３０２は、１つまたはそれを上回るコントローラ（例えば、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、グラフィカル処理ユニット、中央処理ユニット、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）２３４０、および／またはプログラマブル論理ユニット（ＰＬＵ））を含み得る、制御サブシステムを含んでもよい。制御システムは、実行可能論理または命令および／またはデータまたは情報を記憶する、１つまたはそれを上回る非一過性コンピュータまたはプロセッサ可読媒体を含んでもよい。非一過性コンピュータまたはプロセッサ可読媒体は、様々な形態、例えば、揮発性および不揮発性形態、例えば、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ、ＤＲＡＭ、ＳＤ－ＲＡＭ）、フラッシュメモリ等をとってもよい。非一過性コンピュータまたはプロセッサ可読媒体は、例えば、マイクロプロセッサ、ＦＰＧＡ、またはＡＳＩＣの１つまたはそれを上回るレジスタとして形成されてもよい。

【0244】

左ＰＣＢＡ２３０２は、左イヤホンまたはスピーカコネクタ２３３６を含み、オーディオ信号を頭部装着式コンポーネントの左イヤホンまたはスピーカ２３３８に通信可能に結合してもよい。左ＰＣＢＡ２３０２は、ドライバイヤホンまたはスピーカに通信可能に結合される、オーディオ信号増幅器（例えば、ステレオ増幅器）２３４２を含んでもよい。左ＰＣＢＡ２３０２はまた、左マイクロホンコネクタ２３４４を含み、オーディオ信号を頭部装着式コンポーネントのマイクロホンから通信可能に結合してもよい。左ＰＣＢＡ２３０２はさらに、左遮蔽ドライバコネクタ２３４６を含み、遮蔽情報を頭部装着式コンポーネントの左遮蔽ディスプレイ２３４８に通信可能に結合してもよい。

【0245】

左ＰＣＢＡ２３０２はまた、周囲環境についておよび／またはユーザについての情報を検出、測定、捕捉、または別様に感知する、１つまたはそれを上回るセンサまたはトランスデューサを含んでもよい。例えば、加速トランスデューサ２３５０（例えば、３軸加速度計）が、３つの軸における加速を検出し、それによって、移動を検出してもよい。ジャイロスコープセンサ２３５２が、配向および／または磁石またはコンパスの向きまたは配向を検出してもよい。他のセンサまたはトランスデューサも、同様に、採用され得る。

【0246】

左ＰＣＢＡ２３０２は、身体または頭部装着式である、１つまたはそれを上回る左外向きに向いたまたは世界ビューカメラ２３５４、随意に、画像が捕捉されているときを他者に示すように照射する、左カメラ視覚的インジケータ（例えば、ＬＥＤ）２３５６に通信可能に結合されてもよい。左ＰＣＢＡは、頭部装着式コンポーネントによって担持され、左眼の画像を捕捉し、左眼の配向および／または動きの追跡、検出、または監視を可能にするように位置付けられ、配向される、１つまたはそれを上回る左眼カメラ２３５８に通信可能に結合されてもよい。左ＰＣＢＡ２３０２は、随意に、本明細書に解説されるように、左眼をあるパターン（例えば、時間的、空間的）の照射を用いて照射し、左眼の配向および／または動きの追跡、検出、または監視を促進する、１つまたはそれを上回る左眼照射源（例えば、ＬＥＤ）２３５６に通信可能に結合されてもよい。

【0247】

ＰＣＢＡ２３０２および２３０４は、１つまたはそれを上回るポート、コネクタ、および／または経路を介して、明確に異なる算出コンポーネント（例えば、ベルトパック）と通信可能に結合される。例えば、左ＰＣＢＡ２３０２は、１つまたはそれを上回る通信ポートまたはコネクタを含み、ベルトパックとの通信（例えば、双方向通信）を提供してもよい。１つまたはそれを上回る通信ポートまたはコネクタはまた、電力をベルトパックから左ＰＣＢＡ２３０２に提供してもよい。左ＰＣＢＡ２３０２は、通信ポートまたはコネクタに電気的に結合され、調整（例えば、昇圧、降圧、電流平滑化、過渡電圧の低減）するように動作可能な電力調整回路２３８０（例えば、ＤＣ／ＤＣ電力コンバータ、入力フィルタ）を含んでもよい。

【0248】

通信ポートまたはコネクタは、例えば、データおよび電力コネクタまたは送受信機２３８２（例えば、Ｔｈｕｎｄｅｒｂｏｌｔポート、ＵＳＢポート）の形態をとってもよい。右ＰＣＢＡ２３０４は、ポートまたはコネクタを含み、電力をベルトパックから受信してもよい。画像発生要素は、電力を、例えば、ベルトパック内に位置し得る、ポータブル電源（例えば、化学バッテリセル、一次または二次バッテリセル、ウルトラコンデンサセル、燃料セル）から受信してもよい。

【0249】

図示されるように、左ＰＣＢＡ２３０２は、能動電子機器の大半を含む一方、右ＰＣＢＡ２３０４は、主に、ディスプレイまたはプロジェクタおよび関連付けられる圧電駆動信号をサポートする。電気および／または光ファイバ接続が、ＡＲシステムの身体または頭部装着式コンポーネントの正面、後面、または上部を横断して採用される。

【0250】

ＰＣＢＡ２３０２および２３０４は両方とも、ベルトパックに通信可能に（例えば、電気的に、光学的に）結合される。左ＰＣＢＡ２３０２は、電力サブシステムと、高速通信サブシステムとを含む。右ＰＣＢＡ２３０４は、ファイバディスプレイ圧電駆動信号に対処する。図示される実施形態では、右ＰＣＢＡ２３０４のみが、ベルトパックに光学的に接続される必要がある。他の実施形態では、右ＰＣＢＡおよび左ＰＣＢＡは両方とも、ベルトパックに接続されてもよい。

【0251】

２つのＰＣＢＡ２３０２および２３０４を採用するように図示されるが、身体または頭部装着式コンポーネントの電子機器は、他のアーキテクチャを採用してもよい。例えば、いくつかの実装は、より少ないまたはより多い数のＰＣＢＡを使用してもよい。また、例えば、種々のコンポーネントまたはサブシステムは、図２３に図示されるものと異なるように配列されてもよい。例えば、いくつかの代替実施形態では、図２３では一方のＰＣＢＡ上に常駐するものとして図示されるコンポーネントのうちのいくつかは、一般性を失うことなく、他方のＰＣＢＡ上に位置してもよい。

【0252】

いくつかの実施形態では、各ユーザは、自身の個別のＡＲシステム（概して、下記の議論では、個々のＡＲシステムと称される）を使用してもよい。いくつかの実装では、個々の拡張現実システムは、相互と通信してもよい。例えば、２つまたはそれを上回る近接して位置するＡＲシステムは、相互と通信してもよい。本明細書にさらに説明されるように、通信は、１つまたはそれを上回る実施形態では、ハンドシェイキングプロトコルの実施後に生じてもよい。ＡＲシステムは、１つまたはそれを上回る無線を介して、無線で通信してもよい。上記に議論されるように、そのような無線は、短距離の直接通信が可能であってもよい、またはより長距離の直接通信が可能であってもよい（例えば、リピータ、エクステンダ等を伴わずに）。加えて、または代替として、間接的なより長距離の通信が、１つまたはそれを上回る中間デバイス（例えば、無線アクセスポイント、リピータ、エクステンダ）を介して、達成されてもよい。

【0253】

ＸＲシステムの頭部装着式コンポーネントは、１つまたはそれを上回る「外向き」に向いたカメラ（例えば、２３２８、２３５４）を有してもよい。１つまたはそれを上回る実施形態では、頭部装着式コンポーネントは、１つまたはそれを上回る「内向き」に向いたカメラを有してもよい。本明細書で使用されるように、「外向きに向いた」とは、頭部装着式コンポーネントを装着しているユーザではなく、カメラが周囲環境の画像を捕捉することを意味する。着目すべきこととして、「外向き」に向いたカメラは、ユーザの正面、左、右、またはさらに背後のエリアを包含する、視野を有し得る。これは、ユーザの顔に向き、ユーザの顔の表情または眼の動きを捕捉する、頭部装着式コンポーネント、例えば、カメラを装着している個人の画像を捕捉する、内向きに向いたカメラとは対照的である。

【0254】

本開示の種々の例示的実施形態が、本明細書で説明される。これらの実施例は、非限定的な意味で参照される。それらは、本開示のより広い適用可能な側面を例証するように提供される。種々の変更が、説明される開示に対して行われ得、均等物が、本開示の真の精神および範囲から逸脱することなく代用され得る。加えて、多くの修正が、特定の状況、材料、物質の組成、プロセス、プロセス行為、またはステップを、本開示の目的、精神、または範囲に適合させるように行われ得る。さらに、当業者によって理解されるであろうように、本明細書に説明および図示される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のいずれかの特徴から容易に分離される、またはそれと組み合わせられ得る、離散コンポーネントと、特徴とを有する。そのような修正は全て、本開示と関連付けられる請求項の範囲内であることが意図される。

【0255】

本開示は、主題デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含み得る。そのような提供は、エンドユーザによって実施されてもよい。言い換えると、「提供する」行為は、単に、エンドユーザに、主題方法において必要なデバイスを提供するために取得する、アクセスする、アプローチする、位置付ける、設定する、アクティブ化する、起動する、または別様に行動することを要求する。本明細書に列挙される方法は、論理的に可能性として考えられる、列挙された事象の任意の順序で、かつ事象の列挙された順序で行われ得る。

【0256】

本開示の例示的側面が、材料の選択および製造に関する詳細とともに、上記に述べられている。本開示の他の詳細に関して、これらは、上記に言及される特許および刊行物と関連して理解され、および、概して、当業者によって把握される、または理解され得る。同じことが、一般的または理論的に採用されるものとしての付加的な行為の観点から、本開示の方法ベースの側面に関して当てはまり得る。

【0257】

加えて、本開示は、随意に種々の特徴を組み込むいくつかの実施例を参照して説明されているが、本開示は、本開示の各変形例に対して考えられるものとして説明される、または示されるものに限定されるべきではない。本開示の真の精神および範囲から逸脱することなく、種々の変更が、説明される開示に対して行われ得、均等物（本明細書に列挙されている、またはある簡潔性のために含まれていないかどうかにかかわらず）が、代用され得る。加えて、ある範囲の値が、提供される場合、その範囲の上限と下限との間の全ての介在値、およびその記載される範囲内の任意の他の記載または介在値が、本開示内に包含されることを理解されたい。

【0258】

また、説明される変形例の任意の随意の特徴が、独立して、または本明細書に説明される特徴のうちのいずれか１つまたはそれを上回るものと組み合わせられて記載および請求され得ることを想定されたい。単数の物体の言及は、複数の同一の物品が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項において使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に記載されない限り、複数の支持物を含む。言い換えると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項において、主題物品の「少なくとも１つ」のものを可能にする。さらに、そのような請求項が、任意の随意の要素を除外するために起草され得ることに留意されたい。したがって、本叙述は、請求項要素の列挙と関連して、「単独で」、「のみ」、および同等物のような排他的用語の使用、または「否定的」制限の使用のための前項としての役割を果たすことを意図する。

【0259】

そのような排他的用語の使用を伴わず、本開示と関連付けられる、請求項における用語「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」は、所与の数の要素がそのような請求項内で枚挙されているかどうかに関係なく、任意の付加的要素の含有を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換するものとして見なされ得る。本明細書に具体的に定義されている場合を除いて、本明細書に使用される技術的および科学的用語は全て、請求項の正当性を維持しながら、可能な限り広義の、一般的に理解される意味を与えられるべきである。

【0260】

前述の規定では、本開示は、その具体的実施形態を参照して説明されている。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、それに対して行われ得ることが、明白となろう。例えば、上記に説明されるプロセスフローは、プロセスアクションの特定の順序付けを参照して説明される。しかしながら、説明されるプロセスアクションの多くのものの順序付けは、本開示の範囲または動作に影響を及ぼすことなく変更され得る。本明細書および図面は、故に、制限的な意味ではなく、例証的な意味で見なされるべきである。

【0261】

本発明の範囲および範疇は、提供される実施例および／または本明細書に限定されるべきではなく、むしろ、本開示と関連付けられる請求項文言の範囲のみによって限定されるべきである。

【図1】