特許7390297眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-22
(45)【発行日】2023-12-01
(54)【発明の名称】眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
(51)【国際特許分類】
H04N 13/383 20180101AFI20231124BHJP
H04N 13/268 20180101ALI20231124BHJP
H04N 13/344 20180101ALI20231124BHJP
A61B 3/113 20060101ALI20231124BHJP
G02B 27/02 20060101ALI20231124BHJP
G06T 7/00 20170101ALI20231124BHJP
G06F 3/01 20060101ALI20231124BHJP
G06F 3/0481 20220101ALI20231124BHJP
G06F 3/0346 20130101ALI20231124BHJP
【ＦＩ】
H04N13/383
H04N13/268
H04N13/344
A61B3/113
G02B27/02 Z
G06T7/00 660A
G06F3/01 510
G06F3/0481
G06F3/0346 423
【請求項の数】
15
(21)【出願番号】P 2020539042
(86)(22)【出願日】2019-01-17
(65)【公表番号】
(43)【公表日】2021-05-06
(86)【国際出願番号】 US2019014052
(87)【国際公開番号】W WO2019143844
(87)【国際公開日】2019-07-25
【審査請求日】2022-01-07
(31)【優先権主張番号】62/618,559
(32)【優先日】2018-01-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/702,849
(32)【優先日】2018-07-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ミラー， サミュエル エー．
(72)【発明者】
【氏名】アガルワル， ロメシュ
(72)【発明者】
【氏名】エドウィン， ライオネル アーネスト
(72)【発明者】
【氏名】ヨー， イヴァン リー チェン
(72)【発明者】
【氏名】ファーマー， ダニエル
(72)【発明者】
【氏名】プロクシュキン， セルゲイ フョードロヴィチ
(72)【発明者】
【氏名】ムンク， ヨナタン
(72)【発明者】
【氏名】セルカー， エドウィン ジョセフ
(72)【発明者】
【氏名】スチュアート， ブラッドリー ヴィンセント
(72)【発明者】
【氏名】ソマーズ， ジェフリー スコット
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０１８９２６６（ＵＳ，Ａ１）
【文献】国際公開第２０１６／１２９１５６（ＷＯ，Ａ１）
【文献】特開２０１６－２０７１４５（ＪＰ，Ａ）
【文献】特開２００３－３０７７７４（ＪＰ，Ａ）
【文献】国際公開第２０１６／２０３６５４（ＷＯ，Ａ１）
【文献】特開平１１－１５５１５２（ＪＰ，Ａ）
【文献】米国特許出願公開第２００２／０１８１１１５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００－１３／３９８
Ａ６１Ｂ ３／００－３／１８
Ｇ０２Ｂ ２７／００－３０／６０
Ｇ０６Ｔ ７／００
Ｇ０６Ｆ ３／０１－３／０４８９５
(57)【特許請求の範囲】
【請求項1】
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通って延在し、前記ディスプレイシステムは、前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の推定値を取得するように構成され、前記処理電子機器は、レンダリングカメラを使用するように構成され、前記レンダリングカメラは、前記仮想画像コンテンツが前記眼の前記網膜より前記回転中心に近い開口を有する前記レンダリングカメラによって捕捉されたかのように、前記仮想画像コンテンツを前記眼にレンダリングするように構成される、処理電子機器と
を備える、ディスプレイシステム。
【請求項2】
前記角膜は、それと関連付けられた角膜球体を有し、前記角膜球体は、曲率中心を有し、前記処理電子機器は、前記角膜球体の前記曲率中心の場所を決定するように構成される、請求項１に記載のディスプレイシステム。
【請求項3】
前記処理電子機器は、前記角膜の曲率中心に対する３次元空間内の前記瞳孔の中心の場所に基づいて、前記光学軸の場所および配向を決定するように構成される、請求項１～２のいずれか一項に記載のディスプレイシステム。
【請求項4】
前記処理電子機器は、前記角膜の曲率中心ならびに前記光学軸の場所および配向に基づいて、前記眼の前記回転中心の場所を決定するように構成される、請求項１～３のいずれか一項に記載のディスプレイシステム。
【請求項5】
前記処理電子機器は、前記角膜の前記曲率中心から前記光学軸に沿った特定の距離を平行移動させることによって、前記眼の回転中心の場所を決定するように構成され、前記特定の距離は、固定される、請求項４に記載のディスプレイシステム。
【請求項6】
前記処理電子機器は、前記光学軸の場所および配向に基づいて、前記光学軸からオフセットされた視軸の場所および配向を決定するように構成される、請求項１～５のいずれか一項に記載のディスプレイシステム。
【請求項7】
前記光学軸および視軸は、前記眼が回転している期間にわたって変化し、前記処理電子機器は、（ａ）前記変化前の前記光学軸または前記視軸と（ｂ）前記変化後の前記光学軸または前記視軸との間の交差の領域を識別することによって、前記眼の前記回転中心を決定するように構成される、請求項１～６のいずれか一項に記載のディスプレイシステム。
【請求項8】
前記処理電子機器は、前記ユーザの眼の回転中心の決定された位置に開口を有する前記レンダリングカメラによって捕捉されたかのようにレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、請求項１～７のいずれか一項に記載のディスプレイシステム。
【請求項9】
前記処理電子機器は、前記１つ以上の眼追跡カメラによって取得された前記眼の画像に基づいて、前記眼が回転している期間にわたって、前記ユーザの眼の複数の視線方向の決定に基づいて、前記眼の回転中心の推定値を取得するように構成される、請求項１～８のいずれか一項に記載のディスプレイシステム。
【請求項10】
前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記ユーザの眼の画像上の複数の空間場所に基づいて、位置のアレイを決定するように構成され、前記位置のアレイは、楕円の少なくとも一部に対応する、請求項１～９のいずれか一項に記載のディスプレイシステム。
【請求項11】
前記画像上の前記複数の空間場所は、前記１つ以上の眼追跡カメラを用いて取得された前記画像内の前記ユーザの眼の前記角膜と前記強膜との間の境界上の空間場所を備える、または、前記処理電子機器は、前記位置のアレイ内をカメラ点から前記回転中心まで延在する複数の線形経路を決定するように構成される、請求項１０に記載のディスプレイシステム。
【請求項12】
前記処理電子機器は、前記複数の線形経路に基づいて、円形領域を決定するように構成され、前記円形領域は、半径Ｒを有する、請求項１１に記載のディスプレイシステム。
【請求項13】
前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて以前に取得された前記眼の複数の画像に基づいて、個別の円形領域の中心部分を通る複数の法線の個別の場所および方向を決定するように構成される、請求項１２に記載のディスプレイシステム。
【請求項14】
前記処理電子機器は、前記眼が回転している期間にわたって取得された前記ユーザの眼の画像に基づいて決定される前記複数の法線の複数のものの場所および方向に基づいて、前記ユーザの眼の回転中心の推定値を取得するように構成される、請求項１３に記載のディスプレイシステム。
【請求項15】
光をユーザの左眼および右眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムによって実装される方法であって、前記左眼および右眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通って延在し、前記方法は、前記ディスプレイシステムを介して、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、仮想画像コンテンツを前記ユーザの視野に表示することであって、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ことと、
前記ユーザの前記左眼および右眼を結像し、前記左眼および右眼の移動を追跡するように構成される１つ以上の眼追跡カメラを用いて、前記左眼および右眼の画像に基づいて、前記左眼の回転中心の位置および前記右眼の回転中心の位置を決定することと、
前記仮想画像コンテンツが前記左眼および右眼のうちの少なくとも一方の眼の前記網膜より前記眼の前記回転中心に近い開口を有するレンダリングカメラによって捕捉されたかのように、前記仮想画像コンテンツを前記眼に提示することと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題され、２０１８年１月１７日に出願された、米国仮特許出願第６２／６１８５５９号の優先権を主張する。本願はさらに、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題され、２０１８年７月２４日に出願された、米国仮特許出願第６２／７０２８４９号の優先権を主張する。上記の出願はそれぞれ、参照することによってその全体として本明細書に組み込まれる。
本願は、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題され、２０１８年１月１７日に出願された、米国仮特許出願第６２／６１８５５９号の優先権を主張する。本願はさらに、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題され、２０１８年７月２４日に出願された、米国仮特許出願第６２／７０２８４９号の優先権を主張する。上記の出願はそれぞれ、参照することによってその全体として本明細書に組み込まれる。
【0002】
本願はさらに、「ＩＲＩＳ ＢＯＵＮＤＡＲＹ ＥＳＴＩＭＡＴＩＯＮ ＵＳＩＮＧ ＣＯＲＮＥＡ ＣＵＲＶＡＴＵＲＥ」と題され、２０１８年１月１８日に公開された、米国特許公開第２０１８／００１８５１５号を参照することによって組み込む。
【0003】
本開示は、ディスプレイシステム、仮想現実、および拡張現実結像および可視化システムに関し、より具体的には、部分的に、ユーザの瞳孔間距離に基づく、深度平面選択に関する。
【背景技術】
【0004】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0005】
複合現実システムにおける深度平面選択の種々の実施例が、開示される。
【0006】
ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成されることができる。ユーザの眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し得る。ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの１つにおいて、光をユーザの眼に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得するように構成される、処理電子機器とを含むことができる。
【0007】
光をユーザの片眼または両眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示する、下記に列挙される実施例等のディスプレイシステムの種々の実施例が、本明細書に説明される。
【0008】
実施例１：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
【0009】
実施例２：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を形成する、実施例１に記載のディスプレイシステム。
【0010】
実施例３：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、実施例１または２に記載のディスプレイシステム。
【0011】
実施例４：該１つ以上の光源は、赤外線光エミッタを備える、実施例１または３に記載のディスプレイシステム。
【0012】
実施例５：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の場所を決定するように構成される、実施例１－４のいずれかに記載のディスプレイシステム。
【0013】
実施例６：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該角膜球体の曲率中心の場所を決定するように構成される、実施例１－５のいずれかに記載のディスプレイシステム。
【0014】
実施例７：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜球体の曲率中心の場所を決定するように構成される、実施例５に記載のディスプレイシステム。
【0015】
実施例８：該１つ以上の眼追跡カメラは、該眼の瞳孔を結像するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0016】
実施例９：該処理電子機器は、該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0017】
実施例１０：該処理電子機器は、該虹彩と該瞳孔との間の境界の少なくとも一部を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0018】
実施例１１：該処理電子機器は、該虹彩と該瞳孔との間の境界の中心を決定するように構成される、実施例１０に記載のディスプレイシステム。
【0019】
実施例１２：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0020】
実施例１３：該処理電子機器は、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0021】
実施例１４：該処理電子機器は、３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、実施例１２に記載のディスプレイシステム。
【0022】
実施例１５：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0023】
実施例１６：該処理電子機器は、該角膜の曲率中心に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0024】
実施例１７：該処理電子機器は、該角膜の曲率中心および該光学軸の場所および配向に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0025】
実施例１８：該処理電子機器は、該角膜の曲率中心から該光学軸に沿った特定の距離を平行移動させることによって、該眼の回転中心の場所を決定するように構成される、実施例１７に記載のディスプレイシステム。
【0026】
実施例１９：該曲率中心から該回転中心までの特定の距離は、４．０ｍｍ～６．０ｍｍである、実施例１８に記載のディスプレイシステム。
【0027】
実施例２０：該曲率中心から該回転中心までの特定の距離は、約４．７ｍｍである、実施例１８または１９に記載のディスプレイシステム。
【0028】
実施例２１：該特定の距離は、固定される、実施例１８または１９に記載のディスプレイシステム。
【0029】
実施例２２：該処理電子機器は、少なくとも、該１つ以上の眼追跡カメラを用いて以前に取得された該眼の１つ以上の画像に基づいて、特定の距離を決定するように構成される、実施例１８または１９に記載のディスプレイシステム。
【0030】
実施例２３：該処理電子機器は、該光学軸の場所および配向に基づいて、該光学軸からオフセットされた該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0031】
実施例２４：該処理電子機器は、該光学軸に対する角回転に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0032】
実施例２５：該処理電子機器は、該光学軸に対する４．０°～６．５°の角回転に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0033】
実施例２６：該処理電子機器は、該光学軸に対する約５．２°の角回転に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0034】
実施例２７：該処理電子機器は、少なくとも、該１つ以上の眼追跡カメラを用いて以前に取得された該眼の１つ以上の画像に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0035】
実施例２８：該処理電子機器は、該眼が回転している期間にわたって、該光学軸または視軸の場所の複数の決定に基づいて、該眼の回転中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0036】
実施例２９：該処理電子機器は、該眼が回転している期間にわたって、該光学軸または視軸の場所の複数の決定の交差、収束、または近接近の領域を識別することによって、該回転中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0037】
実施例３０：該処理電子機器は、該ユーザの左および右眼に関する該光学軸の場所および配向の決定に基づいて、ユーザの左および右眼が注視している、該ユーザの輻輳・開散運動（ｖｅｒｇｅｎｃｅ）距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0038】
実施例３１：該処理電子機器は、該ユーザの左および右眼に関する該視軸の場所および配向の決定に基づいて、ユーザの左および右眼が注視している、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0039】
実施例３２：該処理電子機器は、該ユーザの左および右眼に関する該視軸の交差、収束、または近接近の領域を識別することに基づいて、ユーザの左および右眼が注視している、輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0040】
実施例３３：該処理電子機器は、該左および右眼に関する視軸を水平平面上に投影し、該水平平面上への該左および右眼に関する視軸の投影の交差、収束、または近接近の領域を識別することによって、ユーザの左および右眼が注視している、輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0041】
実施例３４：該処理電子機器は、該輻輳・開散運動距離の決定に基づいて、画像コンテンツを投影するための発散およびコリメーションのうちの少なくとも１つの相対的量を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0042】
実施例３５：該処理電子機器は、該フレーム上の電子機器を含む、上記実施例のいずれかに記載のディスプレイシステム。
【0043】
実施例３６：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0044】
実施例３７：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0045】
実施例３８：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0046】
実施例３９：該頭部搭載型ディスプレイは、第１の発散量において、ユーザの正面の環境の一部からの光を受け取り、第１の発散量に実質的に類似する、第２の発散量を伴って、ユーザの眼の正面の環境の一部からの光をユーザの眼に透過させる、上記実施例のいずれかに記載のディスプレイシステム。
【0047】
実施例４０：処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0048】
実施例４１：該処理電子機器は、該ユーザの眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0049】
実施例４２：該処理電子機器は、レンダリングカメラを該回転中心において使用し、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0050】
実施例４３：該処理電子機器は、該眼の網膜より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、レンダリングカメラを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0051】
実施例４４：該処理電子機器は、該眼の回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、レンダリングカメラを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0052】
実施例４５：該処理電子機器は、レンダリングカメラを該回転中心において使用し、仮想画像を該眼に提示されるようにレンダリングするように構成され、該レンダリングカメラは、該眼の回転中心に開口を伴ってモデル化される、上記実施例のいずれかに記載のディスプレイシステム。
【0053】
実施例４６：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、処理電子機器は、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の視点中心の位置推定値を取得するように構成され、該視点中心は、該眼の瞳孔の近位にあるかまたは該角膜と該眼の瞳孔との間にあると推定される、処理電子機器と、
を備え、該処理電子機器は、該視点中心に位置するレンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、処理電子機器は、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の視点中心の位置推定値を取得するように構成され、該視点中心は、該眼の瞳孔の近位にあるかまたは該角膜と該眼の瞳孔との間にあると推定される、処理電子機器と、
を備え、該処理電子機器は、該視点中心に位置するレンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
【0054】
実施例４７：該処理電子機器は、網膜より該視点中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0055】
実施例４８：該処理電子機器は、眼の回転中心より該視点中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0056】
実施例４９：該処理電子機器は、該視点中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0057】
実施例５０：該視点中心は、該眼の瞳孔に位置しない、上記実施例のいずれかに記載のディスプレイシステム。
【0058】
実施例５１：処理電子機器は、ユーザの眼姿勢の推定値を経時的に取得するように構成され、処理電子機器は、少なくとも部分的に、ユーザの眼姿勢に基づいて、レンダリングカメラの位置を調節する、上記実施例のいずれかに記載のディスプレイシステム。
【0059】
実施例５２：処理電子機器は、該ユーザの眼姿勢を経時的に追跡するように構成され、レンダリングカメラの位置は、該ユーザの眼姿勢の経時的変化に応答して、経時的に調節される、上記実施例のいずれかに記載のディスプレイシステム。
【0060】
実施例５３：処理電子機器は、複数の推定される視点中心位置をフィルタリングすることによって、視点中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0061】
実施例５４：処理電子機器は、複数の推定される視点中心位置を平均し、および／またはカルマンフィルタを適用することによって、視点中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0062】
実施例５５：視点中心は、該ユーザの眼の前房内の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0063】
実施例５６：視点中心は、該ユーザの眼の該瞳孔の正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0064】
実施例５７：視点中心は、該ユーザの眼の該瞳孔の１．０ｍｍ～２．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0065】
実施例５８：視点中心は、該ユーザの眼の該瞳孔の約１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0066】
実施例５９：視点中心は、該ユーザの眼の該瞳孔の０．２５ｍｍ～１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0067】
実施例６０：視点中心は、該ユーザの眼の該瞳孔の０．５ｍｍ～１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0068】
実施例６１：視点中心は、該ユーザの眼の該瞳孔の０．２５ｍｍ～０．５ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0069】
実施例６２：視点中心は、該眼の光学軸に沿ってあり、該処理電子機器はさらに、該眼の光学軸の位置推定値を取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0070】
実施例６３：視点中心は、該眼の光学軸に沿って、該眼の角膜の外側表面と瞳孔との間の位置にあって、該処理電子機器はさらに、該眼の光学軸の位置推定値を取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0071】
実施例６４：視点中心は、該眼の光学軸に沿って、該眼の角膜の外側表面と瞳孔との間の位置にあって、該処理電子機器はさらに、該眼の光学軸の位置推定値および該眼の回転中心の位置推定値、該眼の角膜、該眼の虹彩、該眼の網膜、および該眼の瞳孔、またはそれらの任意の組み合わせを取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0072】
実施例６５：該処理電子機器は、該フレーム上の電子機器を含む、上記実施例のいずれかに記載のディスプレイシステム。
【0073】
実施例６６：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0074】
実施例６７：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0075】
実施例６８：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0076】
実施例６９：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を捕捉する、上記実施例のいずれかに記載のディスプレイシステム。
【0077】
実施例７０：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0078】
実施例７１：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも３つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0079】
実施例７２：該１つ以上の光源は、赤外線光エミッタを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0080】
実施例７３：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の曲率中心の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0081】
実施例７４：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の曲率中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0082】
実施例７５：該１つ以上の眼－追跡カメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、少なくとも、１つ以上の眼追跡カメラからの該瞳孔の画像に基づいて、該眼の瞳孔の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0083】
実施例７６：該１つ以上の眼－追跡カメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、少なくとも、１つ以上の眼追跡カメラからの該瞳孔の画像に基づいて、該眼の瞳孔の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0084】
実施例７７：該１つ以上の眼－追跡カメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、該角膜の曲率中心の位置に基づいて、かつ１つ以上の眼追跡カメラからの該瞳孔の画像に基づいて、該眼の瞳孔の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0085】
実施例７８：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、かつ該瞳孔の３次元位置に基づいて、該眼の光学軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0086】
実施例７９：該処理電子機器は、光学軸に基づいて、該眼の視軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0087】
実施例８０：該処理電子機器は、該角膜の曲率中心、該瞳孔、または両方のうちの少なくとも１つの光学軸および３次元位置に基づいて、該眼の視軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0088】
実施例８１：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、該眼の回転中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0089】
実施例８２：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、かつ該光学軸に基づいて、該眼の回転中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0090】
実施例８３：該処理電子機器は、少なくとも、該眼の回転中心の３次元位置に基づいて、該ユーザの該眼と対眼との間の距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0091】
実施例８４：該処理電子機器は、少なくとも、該眼の回転中心の３次元位置に基づいて、該ユーザの該眼と対眼との間の瞳孔間距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0092】
実施例８５：該処理電子機器は、少なくとも、該眼の光学軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0093】
実施例８６：該処理電子機器は、少なくとも、該ユーザの該眼の光学軸および対眼の決定された光学軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0094】
実施例８７：該処理電子機器は、少なくとも、該ユーザの該眼の視軸および対眼の決定された視軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0095】
実施例８８：該ディスプレイは、コリメートされた光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0096】
実施例８９：該ディスプレイは、第１の期間において、画像ピクセルに対応するコリメートされた光を該ユーザの眼の中に投影し、第２の期間において、該画像ピクセルに対応する発散光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0097】
実施例９０：該ディスプレイは、第１の期間において、第１の発散量を有する、画像ピクセルに対応する光を該ユーザの眼の中に投影し、第２の期間において、第１の発散量を上回る第２の発散量を有する、該画像ピクセルに対応する光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0098】
実施例９１：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
該ユーザの眼を結像し、該眼の移動を追跡するように構成される、１つ以上の眼追跡カメラを用いて、該眼の回転中心の位置を決定するステップと、
レンダリングエンジンを用いて、該眼の回転中心におけるレンダリングカメラを用いて、仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、仮想画像を該眼に提示されるようにレンダリングするように構成される、ステップと、
頭部搭載型ディスプレイを用いて、仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップと、
を含む、方法。
該ユーザの眼を結像し、該眼の移動を追跡するように構成される、１つ以上の眼追跡カメラを用いて、該眼の回転中心の位置を決定するステップと、
レンダリングエンジンを用いて、該眼の回転中心におけるレンダリングカメラを用いて、仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、仮想画像を該眼に提示されるようにレンダリングするように構成される、ステップと、
頭部搭載型ディスプレイを用いて、仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップと、
を含む、方法。
【0099】
実施例９２：該レンダリングカメラは、該眼の網膜より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載の方法。
【0100】
実施例９３：該レンダリングカメラは、該回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載の方法。
【0101】
実施例９４：該レンダリングカメラは、該眼の回転中心における開口を用いてモデル化される、上記実施例のいずれかに記載の方法。
【0102】
実施例９５：該レンダリングカメラは、開口、レンズ、および検出器を用いてモデル化される、上記実施例のいずれかに記載の方法。
【0103】
実施例９６：該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
【0104】
実施例９７：
１つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップと、
をさらに含み、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
１つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップと、
をさらに含み、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
【0105】
実施例９８：
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
【0106】
実施例９９：
１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップであって、レンダリングカメラは、該眼の回転中心の決定された位置に開口を有する、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップであって、レンダリングカメラは、該眼の回転中心の決定された位置に開口を有する、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
【0107】
実施例１００：
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有し、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有し、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
【0108】
実施例１０１：
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
【0109】
実施例１０２：
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有する、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有する、上記実施例のいずれかに記載の方法。
【0110】
実施例１０３：
該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0111】
実施例１０４：
１つ以上の眼追跡カメラを用いて、該虹彩、瞳孔、または水晶体のうちの少なくとも１つの位置を決定するステップをさらに含む、上記実施例のいずれかに記載の方法。
１つ以上の眼追跡カメラを用いて、該虹彩、瞳孔、または水晶体のうちの少なくとも１つの位置を決定するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0112】
実施例１０５：
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
【0113】
実施例１０６：
１つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
１つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
【0114】
実施例１０７：
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
【0115】
実施例１０８：
１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、該眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、該眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
【0116】
実施例１０９：
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
【0117】
実施例１１０：
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0118】
実施例１１１：
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0119】
実施例１１２：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れ、該頭部搭載型ディスプレイは、第１の発散量を有する光を、第１の期間において、該ユーザの眼の中に投影するように構成され、第２の発散量を有する光を、第２の期間において、該ユーザの眼の中に投影するように構成され、第１の発散量は、第２の発散量と異なる、頭部搭載型ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得し、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該ユーザの輻輳・開散運動距離の推定値を取得し、該ユーザの推定される輻輳・開散運動距離に基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れ、該頭部搭載型ディスプレイは、第１の発散量を有する光を、第１の期間において、該ユーザの眼の中に投影するように構成され、第２の発散量を有する光を、第２の期間において、該ユーザの眼の中に投影するように構成され、第１の発散量は、第２の発散量と異なる、頭部搭載型ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得し、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該ユーザの輻輳・開散運動距離の推定値を取得し、該ユーザの推定される輻輳・開散運動距離に基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、処理電子機器と、
を備える、ディスプレイシステム。
【0120】
実施例１１３：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0121】
実施例１１４：該処理電子機器はさらに、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の瞬目を検出するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0122】
実施例１１５：該処理電子機器はさらに、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼のサッカードを検出するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0123】
実施例１１６：該処理電子機器は、該ユーザの決定された輻輳・開散運動距離に基づいて、かつ処理電子機器が該眼の瞬目を検出したかどうかに基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0124】
実施例１１７：該処理電子機器は、該ユーザの決定された輻輳・開散運動距離に基づいて、かつ処理電子機器が該眼のサッカードを検出したかどうかに基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0125】
実施例１１８：該処理電子機器は、該ユーザの決定された輻輳・開散運動距離に基づいて、かつ処理電子機器がサッカードまたは該眼の瞬目のうちの少なくとも１つを検出したかどうかに基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0126】
実施例１１９：該第１の発散量は、第１の範囲内の輻輳・開散運動距離と関連付けられ、該第２の発散量は、第２の範囲内の輻輳・開散運動距離と関連付けられる、上記実施例のいずれかに記載のディスプレイシステム。
【0127】
実施例１２０：該第１の発散量は、第１の範囲内の輻輳・開散運動距離と関連付けられ、該第２の発散量は、第２の範囲内の輻輳・開散運動距離と関連付けられ、第１および第２の範囲は、重複するが、等しくない、上記実施例のいずれかに記載のディスプレイシステム。
【0128】
実施例１２１：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第１の範囲外にあって、第２の範囲内にあることの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0129】
実施例１２２：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第２の範囲外にあって、第１の範囲内にあることの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0130】
実施例１２３：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第１の範囲外にあって、第２の範囲内にあることの決定、また、該眼の瞬目の検出に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0131】
実施例１２４：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第１の範囲外にあって、第２の範囲内にあることの決定、また、該眼のサッカードの検出に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0132】
実施例１２５：該処理電子機器は、該ユーザの輻輳・開散運動距離が、所定の期間より長い時間にわたって、第１の範囲外にあって、第２の範囲内にあったことの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0133】
実施例１２６：該処理電子機器は、該ユーザの輻輳・開散運動距離が、少なくとも１０秒の所定の期間より長い時間にわたって、第１の範囲外にあって、第２の範囲内にあったことの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0134】
実施例１２７：該頭部搭載型ディスプレイは、第１の発散量を有する光を投影するように構成される、第１のディスプレイ要素と、第２の発散量を有する光を投影するように構成される、第２のディスプレイ要素とを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0135】
実施例１２８：該ディスプレイは、ディスプレイが、第１のディスプレイ要素のうちの１つのみを使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、離散ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0136】
実施例１２９：該ディスプレイは、ディスプレイが、フレーム毎に、第１および第２のディスプレイ要素の両方を使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、混成ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0137】
実施例１３０：該ディスプレイは、ディスプレイが、フレーム毎に、第１および第２のディスプレイ要素の両方を使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、混成ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成され、混成ディスプレイモードでは、ディスプレイは、第１および第２のディスプレイ要素を使用して、第１の発散量と第２の発散量との間の所与の発散量を有するようにユーザによって知覚される、光を投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0138】
実施例１３１：該ディスプレイは、ディスプレイが、フレーム毎に、第１および第２のディスプレイ要素の両方を使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、多焦点ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成され、多焦点ディスプレイモードでは、ディスプレイは、第３の発散量において、第１の仮想画像コンテンツと関連付けられた光を投影し、第４の発散量において、第２の仮想画像コンテンツと関連付けられた光を投影するように構成され、第３の発散量は、第４の発散量と異なる、上記実施例のいずれかに記載のディスプレイシステム。
【0139】
実施例１３２：第３および第４の発散量はそれぞれ、第１の発散量と第２の発散量との間にある、上記実施例のいずれかに記載のディスプレイシステム。
【0140】
実施例１３３：第３および第４の発散量のうちの少なくとも１つは、第１の発散量と第２の発散量との間にある、上記実施例のいずれかに記載のディスプレイシステム。
【0141】
実施例１３４：第３および第４の発散量は、それぞれ、第１および第２の発散量と等しい、上記実施例のいずれかに記載のディスプレイシステム。
【0142】
実施例１３５：ディスプレイは、第１の仮想画像と関連付けられた光をユーザの視野の第１の領域内に投影し、第２の仮想画像と関連付けられた光をユーザの視野の第２の領域内に投影するように構成され、第１および第２の領域は、異なる、上記実施例のいずれかに記載のディスプレイシステム。
【0143】
実施例１３６：ディスプレイは、第１の仮想画像と関連付けられた光をユーザの視野の第１の領域内に投影し、第２の仮想画像と関連付けられた光をユーザの視野の第２の領域内に投影するように構成され、第１および第２の領域は、重複しない、上記実施例のいずれかに記載のディスプレイシステム。
【0144】
実施例１３７：光をユーザの左および右眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を該ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
ユーザの左眼を結像するように構成される、第１の眼追跡カメラと、
ユーザの右眼を結像するように構成される、第２の眼追跡カメラと、
ディスプレイおよび第１および第２の眼追跡カメラと通信する、処理電子機器であって、該第１および第２の眼追跡カメラを用いて取得された該左および右眼の画像に基づいて、ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を該ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
ユーザの左眼を結像するように構成される、第１の眼追跡カメラと、
ユーザの右眼を結像するように構成される、第２の眼追跡カメラと、
ディスプレイおよび第１および第２の眼追跡カメラと通信する、処理電子機器であって、該第１および第２の眼追跡カメラを用いて取得された該左および右眼の画像に基づいて、ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
【0145】
実施例１３８：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を形成する、上記実施例のいずれかに記載のディスプレイシステム。
【0146】
実施例１３９：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0147】
実施例１４０：該１つ以上の光源は、赤外線光エミッタを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0148】
実施例１４１：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0149】
実施例１４２：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該角膜球体の曲率中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0150】
実施例１４３：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜球体の曲率中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0151】
実施例１４４：該１つ以上の眼追跡カメラは、該眼の瞳孔を結像するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0152】
実施例１４５：該処理電子機器は、該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0153】
実施例１４６：該処理電子機器は、該虹彩と該瞳孔との間の境界の少なくとも一部を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0154】
実施例１４７：該処理電子機器は、該虹彩と該瞳孔との間の境界の中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0155】
実施例１４８：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0156】
実施例１４９：該処理電子機器は、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0157】
実施例１５０：該処理電子機器は、３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0158】
実施例１５１：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0159】
実施例１５２：該処理電子機器は、該角膜の曲率中心に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0160】
実施例１５３：該処理電子機器は、該角膜の曲率中心および該光学軸の場所および配向に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0161】
実施例１５４：該処理電子機器は、該角膜の曲率中心から該光学軸に沿った特定の距離を平行移動させることによって、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0162】
実施例１５５：光をユーザの左および右眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、該眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
該ユーザの眼を結像し、該眼の移動を追跡するように構成される、１つ以上の眼追跡カメラを用いて、該左眼の回転中心の位置および該右眼の回転中心の位置を決定するステップと、
１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該左および右眼の回転中心の決定された位置に基づいて、該ユーザの瞳孔間距離を推定するステップと、
１つ以上の眼追跡カメラを用いて、現在の左眼姿勢および現在の右眼姿勢を決定するステップと、
処理電子機器を用いて、該推定される瞳孔間距離と該決定された現在の左眼姿勢および該決定された現在の右眼姿勢を比較することによって、該ユーザの現在の輻輳・開散運動距離を推定するステップと、
を含む、方法。
該ユーザの眼を結像し、該眼の移動を追跡するように構成される、１つ以上の眼追跡カメラを用いて、該左眼の回転中心の位置および該右眼の回転中心の位置を決定するステップと、
１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該左および右眼の回転中心の決定された位置に基づいて、該ユーザの瞳孔間距離を推定するステップと、
１つ以上の眼追跡カメラを用いて、現在の左眼姿勢および現在の右眼姿勢を決定するステップと、
処理電子機器を用いて、該推定される瞳孔間距離と該決定された現在の左眼姿勢および該決定された現在の右眼姿勢を比較することによって、該ユーザの現在の輻輳・開散運動距離を推定するステップと、
を含む、方法。
【0163】
実施例１５６：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該瞳孔の位置および該ユーザの右眼の該瞳孔の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0164】
実施例１５７：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該角膜の位置および該ユーザの右眼の該角膜の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0165】
実施例１５８：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該虹彩の位置および該ユーザの右眼の該虹彩の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0166】
実施例１５９：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該水晶体の位置および該ユーザの右眼の該水晶体の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0167】
実施例１６０：該ユーザの現在の輻輳・開散運動距離を推定するステップは、
処理電子機器を用いて、該ユーザの左および右眼の該虹彩の位置間の距離を推定するステップと、
処理電子機器を用いて、該推定される瞳孔間距離と該ユーザの左および右眼の該虹彩の位置間の推定される距離の比較に基づいて、該ユーザの現在の輻輳・開散運動距離を推定するステップと、
を含む、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、該ユーザの左および右眼の該虹彩の位置間の距離を推定するステップと、
処理電子機器を用いて、該推定される瞳孔間距離と該ユーザの左および右眼の該虹彩の位置間の推定される距離の比較に基づいて、該ユーザの現在の輻輳・開散運動距離を推定するステップと、
を含む、上記実施例のいずれかに記載の方法。
【0168】
実施例１６１：頭部搭載型ディスプレイを用いて、仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0169】
実施例１６２：該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0170】
実施例１６３：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の位置推定値を取得するように構成され、該画像に基づいて、該眼の光学軸の方向推定値を取得するように構成される、処理電子機器と、
を備え、該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に６．０ｍｍ～１３．０ｍｍ離れるように、該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の位置推定値を取得するように構成され、該画像に基づいて、該眼の光学軸の方向推定値を取得するように構成される、処理電子機器と、
を備え、該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に６．０ｍｍ～１３．０ｍｍ離れるように、該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
【0171】
実施例１６４：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に７．０ｍｍ～１２．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0172】
実施例１６５：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に８．０ｍｍ～１１．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0173】
実施例１６６：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に９．０ｍｍ～１０．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0174】
実施例１６７：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に９．５ｍｍ～１０．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0175】
実施例１６８：該処理電子機器は、光学軸に沿って配置され、約９．７ｍｍ該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0176】
実施例１６９：該処理電子機器は、該フレーム上の電子機器を含む、上記実施例のいずれかに記載のディスプレイシステム。
【0177】
実施例１７０：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0178】
実施例１７１：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0179】
実施例１７２：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0180】
実施例１７３：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を捕捉する、上記実施例のいずれかに記載のディスプレイシステム。
【0181】
実施例１７４：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0182】
実施例１７５：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも３つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0183】
実施例１７６：該１つ以上の光源は、赤外線光エミッタを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0184】
実施例１７７：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器と、
を備え、該処理電子機器は、眼の瞳孔に位置するかまたは眼の瞳孔と角膜との間に位置する、レンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器と、
を備え、該処理電子機器は、眼の瞳孔に位置するかまたは眼の瞳孔と角膜との間に位置する、レンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
【0185】
実施例１７８：レンダリングカメラは、該ユーザの眼の該瞳孔の１．０ｍｍ～２．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0186】
実施例１７９：レンダリングカメラは、該ユーザの眼の該瞳孔の約１．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0187】
実施例１８０：レンダリングカメラは、該ユーザの眼の該瞳孔の０．２５ｍｍ～１．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0188】
実施例１８１：レンダリングカメラは、該ユーザの眼の該瞳孔の０．５ｍｍ～１．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0189】
実施例１８２：レンダリングカメラは、該ユーザの眼の該瞳孔の０．２５ｍｍ～０．５ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0190】
実施例１８３：レンダリングカメラは、眼の瞳孔に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0191】
実施例１８４：レンダリングカメラは、眼の瞳孔に位置しない、上記実施例のいずれかに記載のディスプレイシステム。
【0192】
実施例１８５：カメラは、ピンホールカメラを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0193】
実施例１８６：開口は、ピンホールカメラのピンホールを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0194】
実施例１８７：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
該ユーザの眼を結像するように構成される、１つ以上の眼カメラを用いて、該１つ以上のカメラを用いた該眼の結像に基づいて、位置を決定するステップと、
レンダリングエンジンを用いて、該決定された位置に基づく場所におけるレンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、仮想画像を該眼に提示されるようにレンダリングするように構成される、ステップと、
頭部搭載型ディスプレイを用いて、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップと、
を含む、方法。
該ユーザの眼を結像するように構成される、１つ以上の眼カメラを用いて、該１つ以上のカメラを用いた該眼の結像に基づいて、位置を決定するステップと、
レンダリングエンジンを用いて、該決定された位置に基づく場所におけるレンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、仮想画像を該眼に提示されるようにレンダリングするように構成される、ステップと、
頭部搭載型ディスプレイを用いて、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップと、
を含む、方法。
【0195】
実施例１８８：該位置は、該眼の回転中心である、上記実施例のいずれかに記載の方法。
【0196】
実施例１８９：該レンダリングカメラの場所は、該眼の回転中心にある、上記実施例のいずれかに記載の方法。
【0197】
実施例１９０：該位置は、該眼の視点中心である、上記実施例のいずれかに記載の方法。
【0198】
実施例１９１：該レンダリングカメラの場所は、該眼の視点中心にある、上記実施例のいずれかに記載の方法。
【0199】
実施例１９２：該レンダリングカメラは、該眼の網膜より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載の方法。
【0200】
実施例１９３：該レンダリングカメラは、該回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載の方法。
【0201】
実施例１９４：該レンダリングカメラは、該眼の回転中心における開口を用いてモデル化される、上記実施例のいずれかに記載の方法。
【0202】
実施例１９５：該レンダリングカメラは、開口、レンズ、および検出器を用いてモデル化される、上記実施例のいずれかに記載の方法。
【0203】
実施例１９６：該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
【0204】
実施例１９７：
１つ以上のカメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップと、
をさらに含み、レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
１つ以上のカメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップと、
をさらに含み、レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
【0205】
実施例１９８：
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
【0206】
実施例１９９：
１つ以上のカメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップであって、レンダリングカメラは、該眼の回転中心の決定された位置に開口を有する、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
１つ以上のカメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップであって、レンダリングカメラは、該眼の回転中心の決定された位置に開口を有する、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
【0207】
実施例２００：
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有し、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有し、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
【0208】
実施例２０１：
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
【0209】
実施例２０２：
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有する、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有する、上記実施例のいずれかに記載の方法。
【0210】
実施例２０３：
該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0211】
実施例２０４：
１つ以上のカメラを用いて、該虹彩、瞳孔、または水晶体のうちの少なくとも１つの位置を決定するステップをさらに含む、上記実施例のいずれかに記載の方法。
１つ以上のカメラを用いて、該虹彩、瞳孔、または水晶体のうちの少なくとも１つの位置を決定するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0212】
実施例２０５：
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
【0213】
実施例２０６：
１つ以上のカメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
１つ以上のカメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
【0214】
実施例２０７：
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
【0215】
実施例２０８：該頭部搭載型ディスプレイを用いて、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップは、仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップを含む、上記実施例のいずれかに記載の方法。
【0216】
実施例２０９：該異なる量の発散は、ゼロ発散を含む、上記実施例のいずれかに記載の方法。
【0217】
実施例２１０：該異なる量の発散は、コリメーションを含む、上記実施例のいずれかに記載の方法。
【0218】
実施例２１１：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上のカメラと、
ディスプレイおよび１つ以上のカメラと通信する、処理電子機器であって、該１つ以上のカメラを用いて取得された該眼の画像に基づいて、該眼の位置を取得するように構成される、処理電子機器と、
を備え、該処理電子機器は、該決定された位置に基づく場所に位置する、レンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上のカメラと、
ディスプレイおよび１つ以上のカメラと通信する、処理電子機器であって、該１つ以上のカメラを用いて取得された該眼の画像に基づいて、該眼の位置を取得するように構成される、処理電子機器と、
を備え、該処理電子機器は、該決定された位置に基づく場所に位置する、レンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
【0219】
実施例２１２：該位置は、該眼の回転中心の推定値である、上記実施例のいずれかに記載のディスプレイシステム。
【0220】
実施例２１３：該レンダリングカメラの場所は、該眼の推定される回転中心にある、上記実施例のいずれかに記載のディスプレイシステム。
【0221】
実施例２１４：該位置は、該眼の視点中心の推定値である、上記実施例のいずれかに記載のディスプレイシステム。
【0222】
実施例２１５：該レンダリングカメラの場所は、該眼の推定される視点中心にある、上記実施例のいずれかに記載のディスプレイシステム。
【0223】
実施例２１６：該処理電子機器は、該眼の網膜より該視点中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0224】
実施例２１７：該処理電子機器は、該網膜より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0225】
実施例２１８：該処理電子機器は、該回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0226】
実施例２１９：該処理電子機器は、該視点中心より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0227】
実施例２２０：該処理電子機器は、網膜より該視点中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0228】
実施例２２１：該処理電子機器は、眼の回転中心より該視点中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0229】
実施例２２２：該処理電子機器は、該視点中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0230】
実施例２２３：該視点中心は、該眼の瞳孔に位置しない、上記実施例のいずれかに記載のディスプレイシステム。
【0231】
実施例２２４：処理電子機器は、ユーザの眼姿勢の推定値を経時的に取得するように構成され、処理電子機器は、少なくとも部分的に、ユーザの眼姿勢に基づいて、レンダリングカメラの位置を調節する、上記実施例のいずれかに記載のディスプレイシステム。
【0232】
実施例２２５：処理電子機器は、該ユーザの眼姿勢を経時的に追跡するように構成され、レンダリングカメラの位置は、該ユーザの眼姿勢の経時的変化に応答して、経時的に調節される、上記実施例のいずれかに記載のディスプレイシステム。
【0233】
実施例２２６：処理電子機器は、複数の推定される視点中心位置をフィルタリングすることによって、視点中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0234】
実施例２２７：処理電子機器は、複数の推定される視点中心位置を平均し、および／またはカルマンフィルタを適用することによって、視点中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0235】
実施例２２８：視点中心は、該ユーザの眼の前房内の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0236】
実施例２２９：視点中心は、該ユーザの眼の該瞳孔の正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0237】
実施例２３０：視点中心は、該ユーザの眼の該瞳孔の１．０ｍｍ～２．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0238】
実施例２３１：視点中心は、該ユーザの眼の該瞳孔の約１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0239】
実施例２３２：視点中心は、該ユーザの眼の該瞳孔の０．２５ｍｍ～１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0240】
実施例２３３：視点中心は、該ユーザの眼の該瞳孔の０．５ｍｍ～１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0241】
実施例２３４：視点中心は、該ユーザの眼の該瞳孔の０．２５ｍｍ～０．５ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0242】
実施例２３５：視点中心は、該眼の光学軸に沿ってあり、該処理電子機器はさらに、該眼の光学軸の位置推定値を取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0243】
実施例２３６：視点中心は、該眼の光学軸に沿って、該眼の角膜の外側表面と瞳孔との間の位置にあって、該処理電子機器はさらに、該眼の光学軸の位置推定値を取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0244】
実施例２３７：視点中心は、該眼の光学軸に沿って、該眼の角膜の外側表面と瞳孔との間の位置にあって、該処理電子機器はさらに、該眼の光学軸の位置推定値および該眼の回転中心の位置推定値、該眼の角膜、該眼の虹彩、該眼の網膜、および該眼の瞳孔、またはそれらの任意の組み合わせを取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0245】
実施例２３８：該処理電子機器は、該フレーム上の電子機器を含む、上記実施例のいずれかに記載のディスプレイシステム。
【0246】
実施例２３９：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0247】
実施例２４０：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0248】
実施例２４１：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0249】
実施例２４２：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上のカメラは、該１つ以上の光源からの光を使用して、該眼の画像を捕捉する、上記実施例のいずれかに記載のディスプレイシステム。
【0250】
実施例２４３：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0251】
実施例２４４：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも３つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0252】
実施例２４５：該１つ以上の光源は、赤外線光エミッタを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0253】
実施例２４６：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の曲率中心の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0254】
実施例２４７：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の曲率中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0255】
実施例２４８：該１つ以上のカメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、少なくとも、１つ以上のカメラからの該瞳孔の画像に基づいて、該眼の瞳孔の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0256】
実施例２４９：該１つ以上のカメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、少なくとも、１つ以上のカメラからの該瞳孔の画像に基づいて、該眼の瞳孔の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0257】
実施例２５０：該１つ以上のカメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、該角膜の曲率中心の位置に基づいて、かつ１つ以上のカメラからの該瞳孔の画像に基づいて、該眼の瞳孔の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0258】
実施例２５１：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、かつ該瞳孔の３次元位置に基づいて、該眼の光学軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0259】
実施例２５２：該処理電子機器は、光学軸に基づいて、該眼の視軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0260】
実施例２５３：該処理電子機器は、該角膜の曲率中心、該瞳孔、または両方のうちの少なくとも１つの光学軸および３次元位置に基づいて、該眼の視軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0261】
実施例２５４：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、該眼の回転中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0262】
実施例２５５：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、かつ該光学軸に基づいて、該眼の回転中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0263】
実施例２５６：該処理電子機器は、少なくとも、該眼の回転中心の３次元位置に基づいて、該ユーザの該眼と対眼との間の距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0264】
実施例２５７：該処理電子機器は、少なくとも、該眼の回転中心の３次元位置に基づいて、該ユーザの該眼と対眼との間の瞳孔間距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0265】
実施例２５８：該処理電子機器は、少なくとも、該眼の光学軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0266】
実施例２５９：該処理電子機器は、少なくとも、該ユーザの該眼の光学軸および対眼の決定された光学軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0267】
実施例２６０：該処理電子機器は、少なくとも、該ユーザの該眼の視軸および対眼の決定された視軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0268】
実施例２６１：該ディスプレイは、コリメートされた光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0269】
実施例２６２：該ディスプレイは、第１の期間において、画像ピクセルに対応するコリメートされた光を該ユーザの眼の中に投影し、第２の期間において、該画像ピクセルに対応する発散光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0270】
実施例２６３：該ディスプレイは、第１の期間において、第１の発散量を有する、画像ピクセルに対応する光を該ユーザの眼の中に投影し、第２の期間において、第１の発散量を上回る第２の発散量を有する、該画像ピクセルに対応する光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0271】
実施例２６４：視点中心は、該眼の瞳孔の近位にあると推定される、上記実施例のいずれかに記載のディスプレイシステム。
【0272】
実施例２６５：視点中心は、該角膜と該眼の瞳孔との間にあると推定される、上記実施例のいずれかに記載のディスプレイシステム。
【0273】
実施例２６６：該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、上記実施例のいずれかに記載のディスプレイシステム。
【0274】
実施例２６７：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、
１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、ユーザの眼の水晶体、瞳孔、および角膜を通して延在する、光学軸の位置および配向推定値を取得し、
該眼の光学軸に位置合わせされる、レンダリング空間内のある軸に沿った特定の場所を識別し、
レンダリング空間内の特定の場所に位置する仮想レンダリングカメラによってレンダリングされるように、該仮想画像コンテンツを該ユーザの眼に提示する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、
ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、
１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、ユーザの眼の水晶体、瞳孔、および角膜を通して延在する、光学軸の位置および配向推定値を取得し、
該眼の光学軸に位置合わせされる、レンダリング空間内のある軸に沿った特定の場所を識別し、
レンダリング空間内の特定の場所に位置する仮想レンダリングカメラによってレンダリングされるように、該仮想画像コンテンツを該ユーザの眼に提示する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
【0275】
実施例２６８：該頭部搭載型ディスプレイは、第１の発散量を有する光を、第１の期間において、該ユーザの眼の中に投影するように構成され、第２の発散量を有する光を、第２の期間において、該ユーザの眼の中に投影するように構成され、第１の発散量は、第２の発散量と異なり、処理電子機器はさらに、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該ユーザの輻輳・開散運動距離の推定値を取得し、該ユーザの推定される輻輳・開散運動距離に基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、実施例２６７に記載のディスプレイシステム。
【0276】
実施例２６９：該頭部搭載型ディスプレイは、第１の発散量を有する光を、第１の期間において、該ユーザの眼の中に投影するように構成され、第２の発散量を有する光を、第２の期間において、該ユーザの眼の中に投影するように構成され、第１の発散量は、第２の発散量と異なり、処理電子機器はさらに、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該ユーザの輻輳・開散運動距離の推定値を取得し、該ユーザの推定される輻輳・開散運動距離に基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、実施例２６７に記載のディスプレイシステム。
【0277】
実施例２７０：処理電子機器はさらに、１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心が位置すると推定される、光学軸に沿った位置を決定するように構成され、
処理電子機器は、該眼の回転中心が位置すると推定される該光学軸に沿った位置に基づいて、該眼の光学軸に位置合わせされるレンダリング空間内の軸に沿った特定の場所を識別するように構成される、
実施例２６７に記載のディスプレイシステム。
処理電子機器は、該眼の回転中心が位置すると推定される該光学軸に沿った位置に基づいて、該眼の光学軸に位置合わせされるレンダリング空間内の軸に沿った特定の場所を識別するように構成される、
実施例２６７に記載のディスプレイシステム。
【0278】
実施例２７１：レンダリング空間内の軸に沿った特定の場所は、レンダリング空間内の視差偏移が低減されると決定される、レンダリング空間内の軸に沿った場所を備える、実施例２６７に記載のディスプレイシステム。
【0279】
実施例２７２：レンダリング空間内の軸に沿った特定の場所は、レンダリング空間内の視差偏移が最小限にされると決定される、レンダリング空間内の軸に沿った場所を備える、実施例２６７に記載のディスプレイシステム。
【0280】
実施例２７３：該処理電子機器は、該１つ以上の眼追跡カメラによって取得された該眼の画像に基づいて、該眼が回転している期間にわたって、ユーザの眼の複数の視線方向の決定に基づいて、該眼の回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0281】
実施例２７４：該処理電子機器は、該眼が回転している期間にわたって、該１つ以上の眼追跡カメラを用いて取得された画像内のユーザの眼の瞳孔、虹彩、または角膜輪部のうちの１つ以上のものの形状の変動量に基づいて、該視線方向を決定するように構成される、実施例２７３に記載のディスプレイシステム。
【0282】
実施例２７５：該処理電子機器は、該１つ以上の眼追跡カメラを用いて取得されたユーザの眼の画像上の複数の空間場所に基づいて、位置のアレイを決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0283】
実施例２７６：該位置のアレイは、楕円の少なくとも一部に対応する、実施例２７５に記載のディスプレイシステム。
【0284】
実施例２７７：該処理電子機器は、曲線をユーザの眼の画像上の複数の空間場所に適合させることによって、該位置のアレイを決定するように構成される、実施例２７５または２７６のいずれかに記載のディスプレイシステム。
【0285】
実施例２７８：該曲線は、楕円を備える、実施例２７７に記載のディスプレイシステム。
【0286】
実施例２７９：該画像上の複数の空間場所は、該画像内の該ユーザの眼の角膜輪部上の空間場所を備える、実施例２７５－２７８のいずれかに記載のディスプレイシステム。
【0287】
実施例２８０：該画像上の複数の空間場所は、該画像内の該ユーザの眼の虹彩と強膜との間の境界上の空間場所を備える、実施例２７５－２７９のいずれかに記載のディスプレイシステム。
【0288】
実施例２８１：該画像上の複数の空間場所は、該１つ以上の眼追跡カメラを用いて取得された該画像内の該ユーザの眼の角膜と強膜との間の境界上の空間場所を備える、実施例２７５－２７９のいずれかに記載のディスプレイシステム。
【0289】
実施例２８２：該処理電子機器は、該位置のアレイの第１の側上の場所から該位置のアレイを通して該位置のアレイの第２の反対側まで延在する、複数の線形経路を決定するように構成される、実施例２７５－２８１のいずれかに記載のディスプレイシステム。
【0290】
実施例２８３：該処理電子機器は、該複数の線形経路に基づいて、円形領域を決定するように構成され、該円形領域は、半径Ｒを有する、実施例２８２に記載のディスプレイシステム。
【0291】
実施例２８４：該半径Ｒは、角膜輪部の平均半径に対応する、実施例２８３に記載のディスプレイシステム。
【0292】
実施例２８５：該半径Ｒは、ユーザの眼の角膜輪部の測定された半径に対応する、実施例２８３に記載のディスプレイシステム。
【0293】
実施例２８６：該半径Ｒは、瞳孔の平均半径に対応する、実施例２８３に記載のディスプレイシステム。
【0294】
実施例２８７：該半径Ｒは、ユーザの眼の瞳孔の測定された半径に対応する、実施例２８３に記載のディスプレイシステム。
【0295】
実施例２８８：該処理電子機器は、該円形領域の中心部分を通る法線の場所および方向を決定するように構成される、実施例２８２－２８７のいずれかに記載のディスプレイシステム。
【0296】
実施例２８９：該処理電子機器は、該１つ以上の眼追跡カメラを用いて以前に取得された該眼の複数の画像に基づいて、個別の円形領域の中心部分を通る複数の法線の個別の場所および方向を決定するように構成される、実施例２８２－２８８のいずれかに記載のディスプレイシステム。
【0297】
実施例２９０：該処理電子機器は、該複数の法線が収束または交差する、位置を決定するように構成される、実施例２８９に記載のディスプレイシステム。
【0298】
実施例２９１：該処理電子機器は、該眼が回転している期間にわたって取得されたユーザの眼の画像に基づいて決定される、該法線の複数のものの交差、収束、または近接近の領域を識別することによって、該ユーザの眼の回転中心の推定値を取得するように構成される、実施例２８９に記載のディスプレイシステム。
【0299】
実施例２９２：該処理電子機器は、該眼が回転している期間にわたって取得されたユーザの眼の画像に基づいて決定される、該複数の法線の複数のものの場所および方向に基づいて、該ユーザの眼の回転中心の推定値を取得するように構成される、実施例２８９に記載のディスプレイシステム。
【0300】
実施例２９３：該アレイ位置の第１の側上の場所は、該１つ以上の眼追跡カメラのうちの１つの座標系の原点に対応する、実施例２８２－２９２のいずれかに記載のディスプレイシステム。
【0301】
実施例２９４：処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0302】
光を１つ以上のユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示する、下記に列挙される付加的実施例等のディスプレイシステムの種々の付加的実施例が、本明細書に説明される。
【0303】
付加的実施例１：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの眼を結像するように構成される、内向きに面した結像システムと、
内向きに面した結像システムと通信する、処理電子機器であって、処理電子機器は、該内向きに面した結像システムを用いて取得された該眼の複数の画像に基づいて、該眼の回転中心の推定値を取得するように構成され、回転中心の計算される値における変動量を決定し、該変動量に基づいて、回転中心の統計的に決定された推定値を選択するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの眼を結像するように構成される、内向きに面した結像システムと、
内向きに面した結像システムと通信する、処理電子機器であって、処理電子機器は、該内向きに面した結像システムを用いて取得された該眼の複数の画像に基づいて、該眼の回転中心の推定値を取得するように構成され、回転中心の計算される値における変動量を決定し、該変動量に基づいて、回転中心の統計的に決定された推定値を選択するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
【0304】
付加的実施例２：低減された変動量が、該統計的に決定された回転中心を識別するために使用される、付加的実施例１に記載のディスプレイシステム。
【0305】
付加的実施例３：回転中心の第１のセットの推定値が、回転中心を計算するために使用されるパラメータの第１の値に基づいて計算され、第１の変動量が、該第１のセットの推定値から決定される、付加的実施例１または２に記載のディスプレイシステム。
【0306】
付加的実施例４：回転中心の第２のセットの推定値が、該パラメータの第２の値に基づいて計算され、第２の変動量が、該第２のセットの推定値から決定される、付加的実施例３に記載のディスプレイシステム。
【0307】
付加的実施例５：該第１および第２の変動量は、比較され、低減された変動量を有するセットを決定し、該回転中心の統計的に決定された推定値の決定は、本比較に基づく、付加的実施例４に記載のディスプレイシステム。
【0308】
付加的実施例６：回転中心の複数のセットの値が、パラメータの複数の個別の値および異なる個別のセットに関して決定された個別の変動量に基づいて計算される、付加的実施例１または２に記載のディスプレイシステム。
【0309】
付加的実施例７：個別の変動量は、比較され、低減された変動量を有するセットを決定し、該回転中心の統計的に決定された推定値の決定は、該比較に基づく、付加的実施例６に記載のディスプレイシステム。
【0310】
付加的実施例８：最低変動量を有する該セットに関するパラメータの値が、該回転中心の統計的に決定された推定値を計算する際に使用される、付加的実施例６または７に記載のディスプレイシステム。
【0311】
付加的実施例９：最低変動量を有する該セットが、回転中心の統計的に決定された推定値を計算する際に使用される、付加的実施例６、７、または８に記載のディスプレイシステム。
【0312】
付加的実施例１０：該パラメータは、該角膜の曲率中心から該回転中心までの距離を備える、付加的実施例３－９のいずれかに記載のディスプレイシステム。
【0313】
付加的実施例１１：該パラメータは、該角膜の曲率中心から該回転中心までの光学軸に沿った距離を備える、付加的実施例３－９のいずれかに記載のディスプレイシステム。
【0314】
付加的実施例１２：該変動量は、分散量および／または標準偏差を備える、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0315】
付加的実施例１３：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該内向きに面した結像システムは、該１つ以上の光源からの光を使用して、該眼の画像を形成する、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0316】
付加的実施例１４：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、付加的実施例１３に記載のディスプレイシステム。
【0317】
付加的実施例１５：該１つ以上の光源は、赤外線光エミッタを備える、付加的実施例１３または１４に記載のディスプレイシステム。
【0318】
付加的実施例１６：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の場所を決定するように構成される、付加的実施例１３－１５のいずれかに記載のディスプレイシステム。
【0319】
付加的実施例１７：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該角膜球体の曲率中心の場所を決定するように構成される、付加的実施例１３－１６のいずれかに記載のディスプレイシステム。
【0320】
付加的実施例１８：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜球体の曲率中心の場所を決定するように構成される、付加的実施例１７に記載のディスプレイシステム。
【0321】
付加的実施例１９：該内向きに面した結像システムは、該眼の瞳孔を結像するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0322】
付加的実施例２０：該処理電子機器は、該瞳孔の中心の場所を決定するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0323】
付加的実施例２１：該処理電子機器は、該虹彩と該瞳孔との間の境界の少なくとも一部を決定するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0324】
付加的実施例２２：該処理電子機器は、該虹彩と該瞳孔との間の境界の中心を決定するように構成される、付加的実施例２１に記載のディスプレイシステム。
【0325】
付加的実施例２３：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所を決定するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0326】
付加的実施例２４：該処理電子機器は、該光学軸の場所および配向を決定するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0327】
付加的実施例２５：該処理電子機器は、３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、付加的実施例２４に記載のディスプレイシステム。
【0328】
付加的実施例２６：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0329】
付加的実施例２７：該処理電子機器は、該角膜の曲率中心に基づいて、該眼の回転中心の場所を決定するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0330】
付加的実施例２８：該処理電子機器は、該角膜の曲率中心および該光学軸の場所および配向に基づいて、該眼の回転中心の場所を決定するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0331】
付加的実施例２９：該処理電子機器は、該角膜の曲率中心から該光学軸に沿った特定の距離を平行移動させることによって、該眼の回転中心の場所を決定するように構成される、付加的実施例２８に記載のディスプレイシステム。
【0332】
付加的実施例３０：該曲率中心から該回転中心までの特定の距離は、４．０ｍｍ～６．０ｍｍである、付加的実施例２９に記載のディスプレイシステム。
【0333】
付加的実施例３１：該曲率中心から該回転中心までの特定の距離は、約４．７ｍｍである、付加的実施例２９または３０に記載のディスプレイシステム。
【0334】
付加的実施例３２：該処理電子機器は、少なくとも、該内向きに面した結像システムを用いて以前に取得された該眼の１つ以上の画像に基づいて、特定の距離を決定するように構成される、付加的実施例２０または３０に記載のディスプレイシステム。
【0335】
付加的実施例３３：該処理電子機器は、該フレーム上の電子機器を含む、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0336】
付加的実施例３４：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0337】
付加的実施例３５：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0338】
付加的実施例３６：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0339】
付加的実施例３７：該頭部搭載型ディスプレイは、第１の発散量において、ユーザの眼の正面の環境の一部からの光を受け取り、第１の発散量に実質的に類似する、第２の発散量を伴って、ユーザの眼の正面の環境の一部からの光をユーザの眼に透過させる、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0340】
付加的実施例３８：処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、回転中心の推定値を取得するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0341】
付加的実施例３９：該処理電子機器は、該ユーザの眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0342】
付加的実施例４０：該処理電子機器は、レンダリングカメラを該回転中心において使用し、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0343】
付加的実施例４１：該処理電子機器は、該眼の網膜より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、レンダリングカメラを使用するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0344】
付加的実施例４２：該処理電子機器は、該眼の回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、レンダリングカメラを使用するように構成される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0345】
付加的実施例４３：該処理電子機器は、レンダリングカメラを該回転中心において使用し、仮想画像を該眼に提示されるようにレンダリングするように構成され、該レンダリングカメラは、該眼の回転中心に開口を伴ってモデル化される、上記付加的実施例のいずれかに記載のディスプレイシステム。
【0346】
付加的実施例４４：該処理電子機器は、較正プロシージャの間、該変動量に基づいて、回転中心の統計的に決定された推定値を選択するように構成される、付加的実施例１－９のいずれかに記載のディスプレイシステム。
【0347】
付加的実施例４５：該処理電子機器は、該１つ以上の眼追跡カメラによって取得された該眼の画像に基づいて、該眼が回転している期間にわたって、ユーザの眼の複数の視線方向の決定に基づいて、該眼の回転中心の推定値を取得するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0348】
付加的実施例４６：該処理電子機器は、該眼が回転している期間にわたって、該１つ以上の眼追跡カメラを用いて取得された画像内のユーザの眼の瞳孔、虹彩、または角膜輪部のうちの１つ以上のものの形状の変動量に基づいて、該視線方向を決定するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0349】
付加的実施例４７：該処理電子機器は、該１つ以上の眼追跡カメラを用いて取得されたユーザの眼の画像上の複数の空間場所に基づいて、位置のアレイを決定するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0350】
付加的実施例４８：該位置のアレイは、楕円の少なくとも一部に対応する、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0351】
付加的実施例４９：該処理電子機器は、曲線をユーザの眼の画像上の複数の空間場所に適合させることによって、該位置のアレイを決定するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0352】
付加的実施例５０：該曲線は、楕円を備える、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0353】
付加的実施例５１：該画像上の複数の空間場所は、該画像内の該ユーザの眼の角膜輪部上の空間場所を備える、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0354】
付加的実施例５２：該画像上の複数の空間場所は、該画像内の該ユーザの眼の虹彩と強膜との間の境界上の空間場所を備える、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0355】
付加的実施例５３：該画像上の複数の空間場所は、該１つ以上の眼追跡カメラを用いて取得された該画像内の該ユーザの眼の角膜と強膜との間の境界上の空間場所を備える、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0356】
付加的実施例５４：該処理電子機器は、該位置のアレイの第１の側上の場所から該位置のアレイを通して該位置のアレイの第２の反対側まで延在する、複数の線形経路を決定するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0357】
付加的実施例５５：該処理電子機器は、該複数の線形経路に基づいて、円形領域を決定するように構成され、該円形領域は、半径Ｒを有する、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0358】
付加的実施例５６：該半径Ｒは、角膜輪部の平均半径に対応する、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0359】
付加的実施例５７：該半径Ｒは、ユーザの眼の角膜輪部の測定された半径に対応する、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0360】
付加的実施例５８：該半径Ｒは、瞳孔の平均半径に対応する、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0361】
付加的実施例５９：該半径Ｒは、ユーザの眼の瞳孔の測定された半径に対応する、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0362】
付加的実施例６０：該処理電子機器は、該円形領域の中心部分を通る法線の場所および方向を決定するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0363】
付加的実施例６１：該処理電子機器は、該１つ以上の眼追跡カメラを用いて以前に取得された該眼の複数の画像に基づいて、個別の円形領域の中心部分を通る複数の法線の個別の場所および方向を決定するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0364】
付加的実施例６２：該処理電子機器は、該複数の法線が収束または交差する、位置を決定するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0365】
付加的実施例６３：該処理電子機器は、該眼が回転している期間にわたって取得されたユーザの眼の画像に基づいて決定される、該法線の複数のものの交差、収束、または近接近の領域を識別することによって、該ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0366】
付加的実施例６４：該処理電子機器は、該眼が回転している期間にわたって取得されたユーザの眼の画像に基づいて決定される、該複数の法線の複数のものの場所および方向に基づいて、該ユーザの眼の回転中心の推定値を取得するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0367】
付加的実施例６５：該アレイ位置の第１の側上の場所は、該１つ以上の眼追跡カメラのうちの１つの座標系の原点に対応する、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
【0368】
付加的実施例６６：処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、回転中心の推定値を取得するように構成される、上記実施例または付加的実施例のいずれかに記載のディスプレイシステム。
上記の実施例または付加的実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例または付加的実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例または付加的実施例のいずれかは、単一深度平面および／または１つ以上の可変深度平面を用いて実装されることができる（例えば、経時的に変動する遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）キューを提供する、可変集束力を伴う、１つ以上の要素）。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜の曲率中心、瞳孔の中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定されない。本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜の曲率中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の（例えば、解剖学的、光学的、または幾何学的）値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい（例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい）。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「～を決定する」および「～を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
上記の実施例または付加的実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例または付加的実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例または付加的実施例のいずれかは、単一深度平面および／または１つ以上の可変深度平面を用いて実装されることができる（例えば、経時的に変動する遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）キューを提供する、可変集束力を伴う、１つ以上の要素）。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜の曲率中心、瞳孔の中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定されない。本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜の曲率中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の（例えば、解剖学的、光学的、または幾何学的）値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい（例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい）。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「～を決定する」および「～を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
【0369】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の推定値を取得するように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目２）
１つ以上の光源をさらに備え、前記１つ以上の光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明し、前記１つ以上の眼追跡カメラは、前記１つ以上の光源からの光を使用して、前記眼の画像を形成する、項目１に記載のディスプレイシステム。
（項目３）
前記１つ以上の光源は、少なくとも２つの光源を備え、前記少なくとも２つの光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する、項目２に記載のディスプレイシステム。
（項目４）
前記１つ以上の光源は、赤外線光エミッタを備える、項目３に記載のディスプレイシステム。
（項目５）
前記１つ以上の光源は、１つ以上の閃光を前記眼上に形成し、前記処理電子機器は、前記１つ以上の閃光に基づいて、前記角膜の場所を決定するように構成される、項目２に記載のディスプレイシステム。
（項目６）
前記角膜は、それと関連付けられた角膜球体を有し、前記角膜球体は、曲率中心を有し、前記処理電子機器は、前記１つ以上の閃光に基づいて、前記角膜球体の曲率中心の場所を決定するように構成される、項目５に記載のディスプレイシステム。
（項目７）
前記角膜は、それと関連付けられた角膜球体を有し、前記角膜球体は、曲率中心を有し、前記処理電子機器は、前記角膜球体の曲率中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目８）
前記１つ以上の眼追跡カメラは、前記眼の瞳孔を結像するように構成される、項目１に記載のディスプレイシステム。
（項目９）
前記処理電子機器は、前記瞳孔の中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１０）
前記処理電子機器は、前記虹彩と前記瞳孔との間の境界の少なくとも一部を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１１）
前記処理電子機器は、前記虹彩と前記瞳孔との間の境界の中心を決定するように構成される、項目１０に記載のディスプレイシステム。
（項目１２）
前記処理電子機器は、前記角膜の曲率中心に対する３次元空間内の前記瞳孔の中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１３）
前記処理電子機器は、３次元空間内の前記瞳孔の中心の場所に基づいて、前記光学軸の場所および配向を決定するように構成される、項目１２に記載のディスプレイシステム。
（項目１４）
前記処理電子機器は、前記光学軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１５）
前記処理電子機器は、前記角膜の曲率中心に対する３次元空間内の前記瞳孔の中心の場所に基づいて、前記光学軸の場所および配向を決定するように構成される、項目１４に記載のディスプレイシステム。
（項目１６）
前記処理電子機器は、前記角膜の曲率中心に基づいて、前記眼の回転中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１７）
前記処理電子機器は、前記角膜の曲率中心および前記光学軸の場所および配向に基づいて、前記眼の回転中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１８）
前記処理電子機器は、前記角膜の曲率中心から前記光学軸に沿った特定の距離を平行移動させることによって、前記眼の回転中心の場所を決定するように構成される、項目１７に記載のディスプレイシステム。
（項目１９）
前記曲率中心から前記回転中心までの特定の距離は、４．０ｍｍ～６．０ｍｍである、項目１８に記載のディスプレイシステム。
（項目２０）
前記曲率中心から前記回転中心までの特定の距離は、約４．７ｍｍである、項目１８に記載のディスプレイシステム。
（項目２１）
前記特定の距離は、固定される、項目１８に記載のディスプレイシステム。
（項目２２）
前記処理電子機器は、少なくとも、前記１つ以上の眼追跡カメラを用いて以前に取得された前記眼の１つ以上の画像に基づいて、前記特定の距離を決定するように構成される、項目１８に記載のディスプレイシステム。
（項目２３）
前記処理電子機器は、前記光学軸の場所および配向に基づいて、前記光学軸からオフセットされた視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２４）
前記処理電子機器は、前記光学軸に対する角回転に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２５）
前記処理電子機器は、前記光学軸に対する４．０°～６．５°の角回転に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２６）
前記処理電子機器は、前記光学軸に対する約５．２°の角回転に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２７）
前記処理電子機器は、少なくとも、前記１つ以上の眼追跡カメラを用いて以前に取得された前記眼の１つ以上の画像に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２８）
前記処理電子機器は、前記眼が回転している期間にわたって、前記光学軸または視軸の場所の複数の決定に基づいて、前記眼の回転中心を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２９）
前記処理電子機器は、前記眼が回転している期間にわたって、前記光学軸または視軸の場所の複数の決定の交差の領域を識別することによって、前記眼の回転中心を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３０）
前記処理電子機器は、前記ユーザの左および右眼に関する光学軸の場所および配向の決定に基づいて、前記ユーザの左および右眼が注視している前記ユーザの輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３１）
前記処理電子機器は、前記ユーザの左および右眼に関する視軸の場所および配向の決定に基づいて、前記ユーザの左および右眼が注視している前記ユーザの輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３２）
前記処理電子機器は、前記ユーザの左および右眼に関する視軸の交差の領域を識別することに基づいて、前記ユーザの左および右眼が注視している輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３３）
前記処理電子機器は、前記左および右眼に関する視軸を水平平面上に投影し、前記水平平面上における前記左および右眼に関する視軸の投影の交差の領域を識別することによって、前記ユーザの左および右眼が注視している輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３４）
前記処理電子機器は、前記ユーザの輻輳・開散運動距離の決定に基づいて、画像コンテンツを投影するための発散およびコリメーションのうちの少なくとも１つの相対的量を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３５）
前記処理電子機器は、前記フレーム上の電子機器を含む、項目１に記載のディスプレイシステム。
（項目３６）
前記処理電子機器は、前記フレーム上の電子機器と、前記フレームから遠隔の場所に配置される電子機器とを含む、項目１に記載のディスプレイシステム。
（項目３７）
前記処理電子機器は、前記フレーム上の電子機器と、ベルトパック上の電子機器とを含む、項目１に記載のディスプレイシステム。
（項目３８）
前記ディスプレイの少なくとも一部は、透明であり、前記ユーザが前記頭部搭載型ディスプレイを装着すると、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、前記ユーザの眼の正面の場所に配置される、項目１に記載のディスプレイシステム。
（項目３９）
前記頭部搭載型ディスプレイは、第１の発散量において、前記ユーザの正面の環境の一部からの光を受け取り、前記第１の発散量に実質的に類似する第２の発散量を伴って、前記ユーザの正面の環境の一部からの光をユーザの眼に透過させる、項目１に記載のディスプレイシステム。
（項目４０）
前記処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、前記回転中心の推定値を取得するように構成される、項目１に記載のディスプレイシステム。
（項目４１）
前記処理電子機器は、前記ユーザの眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、項目１に記載のディスプレイシステム。
（項目４２）
前記処理電子機器は、レンダリングカメラを前記回転中心において使用し、仮想画像を前記眼に提示されるようにレンダリングするように構成される、項目１に記載のディスプレイシステム。
（項目４３）
前記処理電子機器は、前記眼の網膜より前記回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる仮想画像を前記眼に提示されるようにレンダリングするように構成されるレンダリングカメラを使用するように構成される、項目１に記載のディスプレイシステム。
（項目４４）
前記処理電子機器は、前記眼の回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる仮想画像を前記眼に提示されるようにレンダリングするように構成されるレンダリングカメラを使用するように構成される、項目１に記載のディスプレイシステム。
（項目４５）
前記処理電子機器は、レンダリングカメラを前記回転中心において使用し、仮想画像を前記眼に提示されるようにレンダリングするように構成され、前記レンダリングカメラは、前記眼の回転中心に開口を伴ってモデル化される、項目１に記載のディスプレイシステム。
（項目４６）
前記処理電子機器は、前記１つ以上の眼追跡カメラによって取得された前記眼の画像に基づいて、前記眼が回転している期間にわたって、前記ユーザの眼の複数の視線方向の決定に基づいて、前記眼の回転中心の推定値を取得するように構成される、項目１に記載のディスプレイシステム。
（項目４７）
前記処理電子機器は、前記眼が回転している期間にわたって、前記１つ以上の眼追跡カメラを用いて取得された画像内の前記ユーザの眼の瞳孔、虹彩、または角膜輪部のうちの１つ以上のものの形状の変動量に基づいて、前記視線方向を決定するように構成される、項目４６に記載のディスプレイシステム。
（項目４８）
前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記ユーザの眼の画像上の複数の空間場所に基づいて、位置のアレイを決定するように構成される、項目１に記載のディスプレイシステム。
（項目４９）
前記位置のアレイは、楕円の少なくとも一部に対応する、項目４８に記載のディスプレイシステム。
（項目５０）
前記処理電子機器は、曲線を前記ユーザの眼の画像上の複数の空間場所に適合させることによって、前記位置のアレイを決定するように構成される、項目４８に記載のディスプレイシステム。
（項目５１）
前記曲線は、楕円を備える、項目５０に記載のディスプレイシステム。
（項目５２）
前記画像上の複数の空間場所は、前記画像内の前記ユーザの眼の前記角膜輪部上の空間場所を備える、項目４９に記載のディスプレイシステム。
（項目５３）
前記画像上の複数の空間場所は、前記画像内の前記ユーザの眼の前記虹彩と強膜との間の境界上の空間場所を備える、項目４９に記載のディスプレイシステム。
（項目５４）
前記画像上の複数の空間場所は、前記１つ以上の眼追跡カメラを用いて取得された前記画像内の前記ユーザの眼の前記角膜と前記強膜との間の境界上の空間場所を備える、項目４９に記載のディスプレイシステム。
（項目５５）
前記処理電子機器は、前記位置のアレイの第１の側上の場所から前記位置のアレイを通して前記位置のアレイの第２の反対側まで延在する複数の線形経路を決定するように構成される、項目４９に記載のディスプレイシステム。
（項目５６）
前記処理電子機器は、前記複数の線形経路に基づいて、円形領域を決定するように構成され、前記円形領域は、半径Ｒを有する、項目５５に記載のディスプレイシステム。
（項目５７）
前記半径Ｒは、角膜輪部の平均半径に対応する、項目５６に記載のディスプレイシステム。
（項目５８）
前記半径Ｒは、前記ユーザの眼の角膜輪部の測定された半径に対応する、項目５６に記載のディスプレイシステム。
（項目５９）
前記半径Ｒは、瞳孔の平均半径に対応する、項目５６に記載のディスプレイシステム。
（項目６０）
前記半径Ｒは、前記ユーザの眼の瞳孔の測定された半径に対応する、項目５６に記載のディスプレイシステム。
（項目６１）
前記処理電子機器は、前記円形領域の中心部分を通る法線の場所および方向を決定するように構成される、項目５６に記載のディスプレイシステム。
（項目６２）
前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて以前に取得された前記眼の複数の画像に基づいて、個別の円形領域の中心部分を通る複数の法線の個別の場所および方向を決定するように構成される、項目５６に記載のディスプレイシステム。
（項目６３）
前記処理電子機器は、前記複数の法線が収束または交差する位置を決定するように構成される、項目６２に記載のディスプレイシステム。
（項目６４）
前記処理電子機器は、前記眼が回転している期間にわたって取得された前記ユーザの眼の画像に基づいて決定される前記法線の複数のものの交差の領域を識別することによって、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目６２に記載のディスプレイシステム。
（項目６５）
前記処理電子機器は、前記眼が回転している期間にわたって取得された前記ユーザの眼の画像に基づいて決定される前記複数の法線の複数のものの場所および方向に基づいて、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目６２に記載のディスプレイシステム。
（項目６６）
前記アレイ位置の前記第１の側上の場所は、前記１つ以上の眼追跡カメラのうちの１つの座標系の原点に対応する、項目５５に記載のディスプレイシステム。
（項目６７）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の視点中心の位置推定値を取得するように構成され、前記視点中心は、前記眼の瞳孔の近位にあるかまたは前記角膜と前記眼の瞳孔との間にあると推定される、処理電子機器と
を備え、
前記処理電子機器は、前記視点中心に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目６８）
光をユーザの眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像し、前記眼の移動を追跡するように構成される１つ以上の眼追跡カメラを用いて、前記眼の回転中心の位置を決定することと、
レンダリングエンジンを用いて、前記眼の回転中心におけるレンダリングカメラを用いて、仮想画像コンテンツをレンダリングすることであって、前記レンダリングカメラは、仮想画像を前記眼に提示されるようにレンダリングするように構成される、ことと、
頭部搭載型ディスプレイを用いて、前記仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を前記ユーザの眼の中に投影し、前記レンダリングされた仮想画像コンテンツをユーザの視野に表示することと
を含む、方法。
（項目６９）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散において、光を前記ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れ、前記頭部搭載型ディスプレイは、第１の発散量を有する光を、第１の期間において、前記ユーザの眼の中に投影するように構成され、第２の発散量を有する光を、第２の期間において、前記ユーザの眼の中に投影するように構成され、前記第１の発散量は、前記第２の発散量と異なる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の推定値を取得し、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記ユーザの輻輳・開散運動距離の推定値を取得し、前記ユーザの推定される輻輳・開散運動距離に基づいて、前記第１の発散量における前記ユーザの眼の中への光の投影から前記第２の発散量における前記ユーザの眼の中への光の投影に偏移させるように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目７０）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの左および右眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、前記ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの左眼を結像するように構成される第１の眼追跡カメラと、
前記ユーザの右眼を結像するように構成される第２の眼追跡カメラと、
前記ディスプレイおよび前記第１および第２の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記第１および第２の眼追跡カメラを用いて取得された前記左および右眼の画像に基づいて、前記ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目７１）
光をユーザの左および右眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像し、前記眼の移動を追跡するように構成される１つ以上の眼追跡カメラを用いて、前記左眼の回転中心の位置および前記右眼の回転中心の位置を決定することと、
前記１つ以上の眼追跡カメラと通信する処理電子機器を用いて、前記左および右眼の回転中心の決定された位置に基づいて、前記ユーザの瞳孔間距離を推定することと、
前記１つ以上の眼追跡カメラを用いて、現在の左眼姿勢および現在の右眼姿勢を決定することと、
前記処理電子機器を用いて、前記推定される瞳孔間距離と前記決定された現在の左眼姿勢および前記決定された現在の右眼姿勢を比較することによって、前記ユーザの現在の輻輳・開散運動距離を推定することと
を含む、方法。
（項目７２）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の位置推定値を取得するように構成され、前記画像に基づいて、前記眼の光学軸の方向推定値を取得するように構成される、処理電子機器と
を備え、
前記処理電子機器は、前記光学軸に沿って配置され、前記網膜からある方向に６．０ｍｍ～１３．０ｍｍ離れるように、前記眼の回転中心の推定される位置から離間される開口を有するカメラによって捕捉されたかのようにレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目７３）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器と
を備え、
前記処理電子機器は、前記眼の瞳孔に位置するかまたは前記眼の前記瞳孔と前記角膜との間に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目７４）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、前記ディスプレイの少なくとも一部は、透明であり、前記ユーザが前記フレームを装着すると、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、前記ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される内向きに面した結像システムと、
前記内向きに面した結像システムと通信する処理電子機器であって、前記処理電子機器は、前記内向きに面した結像システムを用いて取得された前記眼の複数の画像に基づいて、前記眼の回転中心の推定値を取得するように構成され、前記処理電子機器は、回転中心の計算される値における変動量を決定し、前記変動量に基づいて、回転中心の統計的に決定された推定値を選択するように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目７５）
光をユーザの眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像するように構成される１つ以上の眼カメラを用いて、前記１つ以上のカメラを用いた前記眼の結像に基づいて、位置を決定することと、
レンダリングエンジンを用いて、前記決定された位置に基づく場所におけるレンダリングカメラを用いて仮想画像コンテンツをレンダリングすることであって、前記レンダリングカメラは、仮想画像を前記眼に提示されるようにレンダリングするように構成される、ことと、
頭部搭載型ディスプレイを用いて、光を前記ユーザの眼の中に投影し、前記レンダリングされた仮想画像コンテンツをユーザの視野に表示することと
を含む、方法。
（項目７６）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上のカメラと、
前記ディスプレイおよび前記１つ以上のカメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上のカメラを用いて取得された前記眼の画像に基づいて、前記眼の位置を取得するように構成される、処理電子機器と
を備え、
前記処理電子機器は、前記決定された位置に基づく場所に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目７７）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜とを有し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記ユーザの眼の水晶体、瞳孔、および角膜を通して延在する光学軸の位置および配向推定値を取得することと、
前記眼の光学軸に位置合わせされる、レンダリング空間内のある軸に沿った特定の場所を識別することと、
レンダリング空間内の前記特定の場所に位置する仮想レンダリングカメラによってレンダリングされるように、前記仮想画像コンテンツを前記ユーザの眼に提示することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
本発明は、例えば、以下を提供する。
（項目１）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の推定値を取得するように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目２）
１つ以上の光源をさらに備え、前記１つ以上の光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明し、前記１つ以上の眼追跡カメラは、前記１つ以上の光源からの光を使用して、前記眼の画像を形成する、項目１に記載のディスプレイシステム。
（項目３）
前記１つ以上の光源は、少なくとも２つの光源を備え、前記少なくとも２つの光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する、項目２に記載のディスプレイシステム。
（項目４）
前記１つ以上の光源は、赤外線光エミッタを備える、項目３に記載のディスプレイシステム。
（項目５）
前記１つ以上の光源は、１つ以上の閃光を前記眼上に形成し、前記処理電子機器は、前記１つ以上の閃光に基づいて、前記角膜の場所を決定するように構成される、項目２に記載のディスプレイシステム。
（項目６）
前記角膜は、それと関連付けられた角膜球体を有し、前記角膜球体は、曲率中心を有し、前記処理電子機器は、前記１つ以上の閃光に基づいて、前記角膜球体の曲率中心の場所を決定するように構成される、項目５に記載のディスプレイシステム。
（項目７）
前記角膜は、それと関連付けられた角膜球体を有し、前記角膜球体は、曲率中心を有し、前記処理電子機器は、前記角膜球体の曲率中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目８）
前記１つ以上の眼追跡カメラは、前記眼の瞳孔を結像するように構成される、項目１に記載のディスプレイシステム。
（項目９）
前記処理電子機器は、前記瞳孔の中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１０）
前記処理電子機器は、前記虹彩と前記瞳孔との間の境界の少なくとも一部を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１１）
前記処理電子機器は、前記虹彩と前記瞳孔との間の境界の中心を決定するように構成される、項目１０に記載のディスプレイシステム。
（項目１２）
前記処理電子機器は、前記角膜の曲率中心に対する３次元空間内の前記瞳孔の中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１３）
前記処理電子機器は、３次元空間内の前記瞳孔の中心の場所に基づいて、前記光学軸の場所および配向を決定するように構成される、項目１２に記載のディスプレイシステム。
（項目１４）
前記処理電子機器は、前記光学軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１５）
前記処理電子機器は、前記角膜の曲率中心に対する３次元空間内の前記瞳孔の中心の場所に基づいて、前記光学軸の場所および配向を決定するように構成される、項目１４に記載のディスプレイシステム。
（項目１６）
前記処理電子機器は、前記角膜の曲率中心に基づいて、前記眼の回転中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１７）
前記処理電子機器は、前記角膜の曲率中心および前記光学軸の場所および配向に基づいて、前記眼の回転中心の場所を決定するように構成される、項目１に記載のディスプレイシステム。
（項目１８）
前記処理電子機器は、前記角膜の曲率中心から前記光学軸に沿った特定の距離を平行移動させることによって、前記眼の回転中心の場所を決定するように構成される、項目１７に記載のディスプレイシステム。
（項目１９）
前記曲率中心から前記回転中心までの特定の距離は、４．０ｍｍ～６．０ｍｍである、項目１８に記載のディスプレイシステム。
（項目２０）
前記曲率中心から前記回転中心までの特定の距離は、約４．７ｍｍである、項目１８に記載のディスプレイシステム。
（項目２１）
前記特定の距離は、固定される、項目１８に記載のディスプレイシステム。
（項目２２）
前記処理電子機器は、少なくとも、前記１つ以上の眼追跡カメラを用いて以前に取得された前記眼の１つ以上の画像に基づいて、前記特定の距離を決定するように構成される、項目１８に記載のディスプレイシステム。
（項目２３）
前記処理電子機器は、前記光学軸の場所および配向に基づいて、前記光学軸からオフセットされた視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２４）
前記処理電子機器は、前記光学軸に対する角回転に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２５）
前記処理電子機器は、前記光学軸に対する４．０°～６．５°の角回転に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２６）
前記処理電子機器は、前記光学軸に対する約５．２°の角回転に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２７）
前記処理電子機器は、少なくとも、前記１つ以上の眼追跡カメラを用いて以前に取得された前記眼の１つ以上の画像に基づいて、視軸の場所および配向を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２８）
前記処理電子機器は、前記眼が回転している期間にわたって、前記光学軸または視軸の場所の複数の決定に基づいて、前記眼の回転中心を決定するように構成される、項目１に記載のディスプレイシステム。
（項目２９）
前記処理電子機器は、前記眼が回転している期間にわたって、前記光学軸または視軸の場所の複数の決定の交差の領域を識別することによって、前記眼の回転中心を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３０）
前記処理電子機器は、前記ユーザの左および右眼に関する光学軸の場所および配向の決定に基づいて、前記ユーザの左および右眼が注視している前記ユーザの輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３１）
前記処理電子機器は、前記ユーザの左および右眼に関する視軸の場所および配向の決定に基づいて、前記ユーザの左および右眼が注視している前記ユーザの輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３２）
前記処理電子機器は、前記ユーザの左および右眼に関する視軸の交差の領域を識別することに基づいて、前記ユーザの左および右眼が注視している輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３３）
前記処理電子機器は、前記左および右眼に関する視軸を水平平面上に投影し、前記水平平面上における前記左および右眼に関する視軸の投影の交差の領域を識別することによって、前記ユーザの左および右眼が注視している輻輳・開散運動距離を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３４）
前記処理電子機器は、前記ユーザの輻輳・開散運動距離の決定に基づいて、画像コンテンツを投影するための発散およびコリメーションのうちの少なくとも１つの相対的量を決定するように構成される、項目１に記載のディスプレイシステム。
（項目３５）
前記処理電子機器は、前記フレーム上の電子機器を含む、項目１に記載のディスプレイシステム。
（項目３６）
前記処理電子機器は、前記フレーム上の電子機器と、前記フレームから遠隔の場所に配置される電子機器とを含む、項目１に記載のディスプレイシステム。
（項目３７）
前記処理電子機器は、前記フレーム上の電子機器と、ベルトパック上の電子機器とを含む、項目１に記載のディスプレイシステム。
（項目３８）
前記ディスプレイの少なくとも一部は、透明であり、前記ユーザが前記頭部搭載型ディスプレイを装着すると、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、前記ユーザの眼の正面の場所に配置される、項目１に記載のディスプレイシステム。
（項目３９）
前記頭部搭載型ディスプレイは、第１の発散量において、前記ユーザの正面の環境の一部からの光を受け取り、前記第１の発散量に実質的に類似する第２の発散量を伴って、前記ユーザの正面の環境の一部からの光をユーザの眼に透過させる、項目１に記載のディスプレイシステム。
（項目４０）
前記処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、前記回転中心の推定値を取得するように構成される、項目１に記載のディスプレイシステム。
（項目４１）
前記処理電子機器は、前記ユーザの眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、項目１に記載のディスプレイシステム。
（項目４２）
前記処理電子機器は、レンダリングカメラを前記回転中心において使用し、仮想画像を前記眼に提示されるようにレンダリングするように構成される、項目１に記載のディスプレイシステム。
（項目４３）
前記処理電子機器は、前記眼の網膜より前記回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる仮想画像を前記眼に提示されるようにレンダリングするように構成されるレンダリングカメラを使用するように構成される、項目１に記載のディスプレイシステム。
（項目４４）
前記処理電子機器は、前記眼の回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる仮想画像を前記眼に提示されるようにレンダリングするように構成されるレンダリングカメラを使用するように構成される、項目１に記載のディスプレイシステム。
（項目４５）
前記処理電子機器は、レンダリングカメラを前記回転中心において使用し、仮想画像を前記眼に提示されるようにレンダリングするように構成され、前記レンダリングカメラは、前記眼の回転中心に開口を伴ってモデル化される、項目１に記載のディスプレイシステム。
（項目４６）
前記処理電子機器は、前記１つ以上の眼追跡カメラによって取得された前記眼の画像に基づいて、前記眼が回転している期間にわたって、前記ユーザの眼の複数の視線方向の決定に基づいて、前記眼の回転中心の推定値を取得するように構成される、項目１に記載のディスプレイシステム。
（項目４７）
前記処理電子機器は、前記眼が回転している期間にわたって、前記１つ以上の眼追跡カメラを用いて取得された画像内の前記ユーザの眼の瞳孔、虹彩、または角膜輪部のうちの１つ以上のものの形状の変動量に基づいて、前記視線方向を決定するように構成される、項目４６に記載のディスプレイシステム。
（項目４８）
前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記ユーザの眼の画像上の複数の空間場所に基づいて、位置のアレイを決定するように構成される、項目１に記載のディスプレイシステム。
（項目４９）
前記位置のアレイは、楕円の少なくとも一部に対応する、項目４８に記載のディスプレイシステム。
（項目５０）
前記処理電子機器は、曲線を前記ユーザの眼の画像上の複数の空間場所に適合させることによって、前記位置のアレイを決定するように構成される、項目４８に記載のディスプレイシステム。
（項目５１）
前記曲線は、楕円を備える、項目５０に記載のディスプレイシステム。
（項目５２）
前記画像上の複数の空間場所は、前記画像内の前記ユーザの眼の前記角膜輪部上の空間場所を備える、項目４９に記載のディスプレイシステム。
（項目５３）
前記画像上の複数の空間場所は、前記画像内の前記ユーザの眼の前記虹彩と強膜との間の境界上の空間場所を備える、項目４９に記載のディスプレイシステム。
（項目５４）
前記画像上の複数の空間場所は、前記１つ以上の眼追跡カメラを用いて取得された前記画像内の前記ユーザの眼の前記角膜と前記強膜との間の境界上の空間場所を備える、項目４９に記載のディスプレイシステム。
（項目５５）
前記処理電子機器は、前記位置のアレイの第１の側上の場所から前記位置のアレイを通して前記位置のアレイの第２の反対側まで延在する複数の線形経路を決定するように構成される、項目４９に記載のディスプレイシステム。
（項目５６）
前記処理電子機器は、前記複数の線形経路に基づいて、円形領域を決定するように構成され、前記円形領域は、半径Ｒを有する、項目５５に記載のディスプレイシステム。
（項目５７）
前記半径Ｒは、角膜輪部の平均半径に対応する、項目５６に記載のディスプレイシステム。
（項目５８）
前記半径Ｒは、前記ユーザの眼の角膜輪部の測定された半径に対応する、項目５６に記載のディスプレイシステム。
（項目５９）
前記半径Ｒは、瞳孔の平均半径に対応する、項目５６に記載のディスプレイシステム。
（項目６０）
前記半径Ｒは、前記ユーザの眼の瞳孔の測定された半径に対応する、項目５６に記載のディスプレイシステム。
（項目６１）
前記処理電子機器は、前記円形領域の中心部分を通る法線の場所および方向を決定するように構成される、項目５６に記載のディスプレイシステム。
（項目６２）
前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて以前に取得された前記眼の複数の画像に基づいて、個別の円形領域の中心部分を通る複数の法線の個別の場所および方向を決定するように構成される、項目５６に記載のディスプレイシステム。
（項目６３）
前記処理電子機器は、前記複数の法線が収束または交差する位置を決定するように構成される、項目６２に記載のディスプレイシステム。
（項目６４）
前記処理電子機器は、前記眼が回転している期間にわたって取得された前記ユーザの眼の画像に基づいて決定される前記法線の複数のものの交差の領域を識別することによって、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目６２に記載のディスプレイシステム。
（項目６５）
前記処理電子機器は、前記眼が回転している期間にわたって取得された前記ユーザの眼の画像に基づいて決定される前記複数の法線の複数のものの場所および方向に基づいて、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目６２に記載のディスプレイシステム。
（項目６６）
前記アレイ位置の前記第１の側上の場所は、前記１つ以上の眼追跡カメラのうちの１つの座標系の原点に対応する、項目５５に記載のディスプレイシステム。
（項目６７）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の視点中心の位置推定値を取得するように構成され、前記視点中心は、前記眼の瞳孔の近位にあるかまたは前記角膜と前記眼の瞳孔との間にあると推定される、処理電子機器と
を備え、
前記処理電子機器は、前記視点中心に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目６８）
光をユーザの眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像し、前記眼の移動を追跡するように構成される１つ以上の眼追跡カメラを用いて、前記眼の回転中心の位置を決定することと、
レンダリングエンジンを用いて、前記眼の回転中心におけるレンダリングカメラを用いて、仮想画像コンテンツをレンダリングすることであって、前記レンダリングカメラは、仮想画像を前記眼に提示されるようにレンダリングするように構成される、ことと、
頭部搭載型ディスプレイを用いて、前記仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を前記ユーザの眼の中に投影し、前記レンダリングされた仮想画像コンテンツをユーザの視野に表示することと
を含む、方法。
（項目６９）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散において、光を前記ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れ、前記頭部搭載型ディスプレイは、第１の発散量を有する光を、第１の期間において、前記ユーザの眼の中に投影するように構成され、第２の発散量を有する光を、第２の期間において、前記ユーザの眼の中に投影するように構成され、前記第１の発散量は、前記第２の発散量と異なる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の推定値を取得し、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記ユーザの輻輳・開散運動距離の推定値を取得し、前記ユーザの推定される輻輳・開散運動距離に基づいて、前記第１の発散量における前記ユーザの眼の中への光の投影から前記第２の発散量における前記ユーザの眼の中への光の投影に偏移させるように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目７０）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの左および右眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、前記ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの左眼を結像するように構成される第１の眼追跡カメラと、
前記ユーザの右眼を結像するように構成される第２の眼追跡カメラと、
前記ディスプレイおよび前記第１および第２の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記第１および第２の眼追跡カメラを用いて取得された前記左および右眼の画像に基づいて、前記ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目７１）
光をユーザの左および右眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像し、前記眼の移動を追跡するように構成される１つ以上の眼追跡カメラを用いて、前記左眼の回転中心の位置および前記右眼の回転中心の位置を決定することと、
前記１つ以上の眼追跡カメラと通信する処理電子機器を用いて、前記左および右眼の回転中心の決定された位置に基づいて、前記ユーザの瞳孔間距離を推定することと、
前記１つ以上の眼追跡カメラを用いて、現在の左眼姿勢および現在の右眼姿勢を決定することと、
前記処理電子機器を用いて、前記推定される瞳孔間距離と前記決定された現在の左眼姿勢および前記決定された現在の右眼姿勢を比較することによって、前記ユーザの現在の輻輳・開散運動距離を推定することと
を含む、方法。
（項目７２）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の位置推定値を取得するように構成され、前記画像に基づいて、前記眼の光学軸の方向推定値を取得するように構成される、処理電子機器と
を備え、
前記処理電子機器は、前記光学軸に沿って配置され、前記網膜からある方向に６．０ｍｍ～１３．０ｍｍ離れるように、前記眼の回転中心の推定される位置から離間される開口を有するカメラによって捕捉されたかのようにレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目７３）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器と
を備え、
前記処理電子機器は、前記眼の瞳孔に位置するかまたは前記眼の前記瞳孔と前記角膜との間に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目７４）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、前記ディスプレイの少なくとも一部は、透明であり、前記ユーザが前記フレームを装着すると、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、前記ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される内向きに面した結像システムと、
前記内向きに面した結像システムと通信する処理電子機器であって、前記処理電子機器は、前記内向きに面した結像システムを用いて取得された前記眼の複数の画像に基づいて、前記眼の回転中心の推定値を取得するように構成され、前記処理電子機器は、回転中心の計算される値における変動量を決定し、前記変動量に基づいて、回転中心の統計的に決定された推定値を選択するように構成される、処理電子機器と
を備える、ディスプレイシステム。
（項目７５）
光をユーザの眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像するように構成される１つ以上の眼カメラを用いて、前記１つ以上のカメラを用いた前記眼の結像に基づいて、位置を決定することと、
レンダリングエンジンを用いて、前記決定された位置に基づく場所におけるレンダリングカメラを用いて仮想画像コンテンツをレンダリングすることであって、前記レンダリングカメラは、仮想画像を前記眼に提示されるようにレンダリングするように構成される、ことと、
頭部搭載型ディスプレイを用いて、光を前記ユーザの眼の中に投影し、前記レンダリングされた仮想画像コンテンツをユーザの視野に表示することと
を含む、方法。
（項目７６）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上のカメラと、
前記ディスプレイおよび前記１つ以上のカメラと通信する処理電子機器であって、前記処理電子機器は、前記１つ以上のカメラを用いて取得された前記眼の画像に基づいて、前記眼の位置を取得するように構成される、処理電子機器と
を備え、
前記処理電子機器は、前記決定された位置に基づく場所に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
（項目７７）
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜とを有し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される１つ以上の眼追跡カメラと、
前記ディスプレイおよび前記１つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記１つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記ユーザの眼の水晶体、瞳孔、および角膜を通して延在する光学軸の位置および配向推定値を取得することと、
前記眼の光学軸に位置合わせされる、レンダリング空間内のある軸に沿った特定の場所を識別することと、
レンダリング空間内の前記特定の場所に位置する仮想レンダリングカメラによってレンダリングされるように、前記仮想画像コンテンツを前記ユーザの眼に提示することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
【図面の簡単な説明】
【0370】
【0371】
【0372】
【0373】
【0374】
【0375】
【0376】
【0377】
【0378】
【0379】
【0380】
【0381】
【0382】
【0383】
【0384】
【0385】
【0386】
【0387】
【0388】
【0389】
【0390】
【0391】
【0392】
【0393】
【0394】
【0395】
【0396】
【0397】
【0398】
【0399】
【0400】
【0401】
【0402】
【0403】
【0404】
【0405】
【0406】
【0407】
【0408】
【0409】
【0410】
【0411】
【0412】
【0413】
【0414】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【発明を実施するための形態】
【0415】
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
【0416】
ウェアラブルシステムの３Ｄディスプレイの実施例
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
【0417】
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
【0418】
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0419】
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
【0420】
図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。
【0421】
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
【0422】
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに面した結像システム４６２は、１つ以上のカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
【0423】
実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
【0424】
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
【0425】
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面した結像システムまたは外向きに面した結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）場合によっては処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
【0426】
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【0427】
ウェアラブルシステムの例示的コンポーネント
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ウェアラブルシステム２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つ以上のものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられた種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ウェアラブルシステム２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つ以上のものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられた種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
【0428】
図３は、例示的ウェアラブルシステム２００を示し、これは、ディスプレイ２２０を含むことができる。ディスプレイ２２０は、ユーザの頭部、またはフレーム２３０に対応する、筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を備えることができる。ディスプレイレンズ２２６は、筐体２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つ以上の透明ミラーを備えてもよく、投影された光３３８を眼３０２、３０４の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３３８の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、２つの広視野マシンビジョンカメラ３１６（世界カメラとも称される）が、筐体２３０に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ３１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであることができる。カメラ３１６は、図４に示される外向きに面した結像システム４６４の一部であってもよい。世界カメラ３１６によって入手された画像は、姿勢プロセッサ３３６によって処理されることができる。例えば、姿勢プロセッサ３３６は、１つ以上のオブジェクト認識装置７０８（例えば、図７に示される）を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。
【0429】
図３を継続して参照すると、光３３８を眼３０２、３０４の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面（例えば、深度のために）光投影モジュールが、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光源３２６（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ３２４を示す。カメラ３２４は、図４に示される、内向きに面した結像システム４６２の一部であってもよい。ウェアラブルシステム２００はさらに、センサアセンブリ３３９を特徴とすることができ、これは、Ｘ、Ｙ、およびＺ軸加速度計能力および磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る。センサアセンブリ３３９は、図２Ａを参照して説明される、ＩＭＵの一部であってもよい。描写されるシステム２００はまた、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）等の頭部姿勢プロセッサ３３６を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス３１６から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ３３６は、ハードウェアプロセッサであることができ、図２Ａに示されるローカル処理およびデータモジュール２６０の一部として実装されることができる。
【0430】
ウェアラブルシステムはまた、１つ以上の深度センサ２３４を含むことができる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ＬＩＤＡＲ）、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ３１６はまた、深度センサ２３４と見なされ得る。
【0431】
また、示されるのは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ３３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ３３２である。プロセッサ３３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。ウェアラブルシステム２００はまた、図３に示されるように、例えば、ＧＰＳ３３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
【0432】
ウェアラブルシステムは、ＧＰＳ３３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲＤ等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられた仮想オブジェクトを含む、世界マップを読み出すことができる（例えば、遠隔処理モジュール２７０と通信することによって）。別の実施例として、ウェアラブルシステム２００は、世界カメラ３１６（図４に示される外向きに面した結像システム４６４の一部であってもよい）を使用して、環境を監視することができる。世界カメラ３１６によって入手された画像に基づいて、ウェアラブルシステム２００は、環境内のオブジェクトを検出することができる（例えば、図７に示される１つ以上のオブジェクト認識装置７０８を使用することによって）。ウェアラブルシステムはさらに、ＧＰＳ３３７によって入手されたデータを使用して、キャラクタを解釈することができる。
【0433】
ウェアラブルシステム２００はまた、レンダリングエンジン３３４を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３３４は、ウェアラブルシステム２００の他のコンポーネントに通信可能に結合されることができる（例えば、有線または無線リンクを介して）。例えば、レンダリングエンジン３３４は、通信リンク２７４を介して、眼カメラ３２４に結合され、通信リンク２７２を介して、投影サブシステム３１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影することができる）に結合されることができる。レンダリングエンジン３３４はまた、それぞれ、リンク２７６および２９４を介して、例えば、センサ姿勢プロセッサ３３２および画像姿勢プロセッサ３３６等の他の処理ユニットと通信することができる。
【0434】
カメラ３２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（眼の輻輳・開散運動を用いて推定されてもよい）を含んでもよい。ＧＰＳ３３７、ジャイロスコープ、コンパス、および加速度計３３９は、大まかなまたは高速の姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つ以上のものは、画像および姿勢を入手することができ、これは、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
【0435】
図３に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ３３６、センサ姿勢プロセッサ３３２、およびレンダリングエンジン３３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム２００のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
【0436】
ユーザの眼３０２、３０４の中への光３３８の投影に関して、いくつかの実施形態では、カメラ３２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳・開散される場所を測定するために利用されてもよい。眼が輻輳・開散する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルデバイスおよび他のディスプレイシステムの実施例はまた、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0437】
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動移動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動移動（例えば、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0438】
さらに、約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ３２４を用いて追跡されてもよく、レンダリングエンジン３３４および投影サブシステム３１８は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい（例えば、意図的に作成されたぼけを使用して）。好ましくは、システム２２０は、ユーザに、約６０フレーム／秒以上のフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ３２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
【0439】
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１弧分（ａｒｃ ｍｉｎｕｔｅ）の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、位置特定システムと統合されてもよく、これは、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう）。
【0440】
いくつかの実施形態では、ウェアラブルシステム２００は、ユーザの眼の遠近調節に基づいて、１つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、１ｍの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３ｍに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム２００は、ユーザの眼がより自然な様式において機能することを可能にする。
【0441】
そのようなウェアラブルシステム２００は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム２００の種々の実施形態は、１つ以上の可変焦点要素（ＶＦＥ）を通して、仮想画像を可変焦点距離に投影するように構成される。１つ以上の実施形態では、３Ｄ知覚は、画像をユーザから離れた固定された焦点面に投影する、多平面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動される。
【0442】
多平面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を１つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
【0443】
導波管スタックアセンブリ
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
【0444】
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
【0445】
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
【0446】
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
【0447】
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスであってもよいかまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
【0448】
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上および／または内部に形成されてもよい。
【0449】
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【0450】
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。（補償レンズ層４３０およびスタックされた導波管アセンブリ４８０は、全体として、世界４７０から生じる光が、最初にスタックされた導波管アセンブリ４８０によって受け取られたときに光が有していたものと実質的に同一レベルの発散（またはコリメーション）で眼４１０に伝達されるように構成され得る。）そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的ではないまたは電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
【0451】
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体特徴または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0452】
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となり得る。
【0453】
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。
【0454】
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
【0455】
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
【0456】
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
【0457】
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
【0458】
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブスピーカを決定するために等、外向きに面した結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、またはスピーカの反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用して、スピーカの識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内のスピーカの位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、スピーカの位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、スピーカの識別（例えば、名前または他の人口統計情報）を決定することができる。
【0459】
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定された。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
【0460】
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
【0461】
ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
【0462】
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、いかなる物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）も有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いかなる物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
【0463】
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0464】
眼画像の実施例
図５は、眼瞼５０４と、強膜５０８（「白眼」）と、虹彩５１２と、瞳孔５１６とを伴う、眼５００の画像を図示する。曲線５１６ａは、瞳孔５１６と虹彩５１２との間の瞳孔境界を示し、曲線５１２ａは、虹彩５１２と強膜５０８との間の辺縁境界を示す。眼瞼５０４は、上側眼瞼５０４ａと、下側眼瞼５０４ｂとを含む。眼５００は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される）に図示される。眼５００の自然静置姿勢は、自然静置姿勢（例えば、図５に示される眼５００に関しては、すぐ面外）にあって、本実施例では、瞳孔５１６内に中心合わせされるときの眼５００の表面に直交する方向である、自然静置方向５２０によって示され得る。
図５は、眼瞼５０４と、強膜５０８（「白眼」）と、虹彩５１２と、瞳孔５１６とを伴う、眼５００の画像を図示する。曲線５１６ａは、瞳孔５１６と虹彩５１２との間の瞳孔境界を示し、曲線５１２ａは、虹彩５１２と強膜５０８との間の辺縁境界を示す。眼瞼５０４は、上側眼瞼５０４ａと、下側眼瞼５０４ｂとを含む。眼５００は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される）に図示される。眼５００の自然静置姿勢は、自然静置姿勢（例えば、図５に示される眼５００に関しては、すぐ面外）にあって、本実施例では、瞳孔５１６内に中心合わせされるときの眼５００の表面に直交する方向である、自然静置方向５２０によって示され得る。
【0465】
眼５００が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向５２０に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する（かつ瞳孔５１６内に中心合わせされる）方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向５２４を参照して決定されることができる。図５Ａに示される例示的座標系を参照すると、眼５００の姿勢は、両方とも眼の自然静置方向５２０に対する、眼の眼姿勢方向５２４の方位角偏向および天頂偏向を示す、２つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ（基点方位角から決定される、方位角偏向）およびφ（時として、極性偏向とも称される、天頂偏向）として表され得る。いくつかの実装では、眼姿勢方向５２４の周囲の眼の角度ロールが、眼姿勢の決定に含まれることができ、角度ロールは、以下の分析に含まれることができる。他の実装では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。
【0466】
眼画像は、任意の適切なプロセスを使用して、例えば、画像を１つ以上のシーケンシャルフレームから抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されることができる。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼姿勢を決定するために使用されることができる。
【0467】
眼追跡システムの実施例
図６は、眼追跡システムを含む、ウェアラブルシステム６００の概略図を図示する。ウェアラブルシステム６００は、少なくともいくつかの実施形態では、頭部搭載型ユニット６０２内に位置するコンポーネントと、非頭部搭載型ユニット６０４内に位置するコンポーネントとを含む。非頭部搭載型ユニット６０４は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム６００のコンポーネントのうちのいくつかを非頭部搭載型ユニット６０４内に組み込むことは、頭部搭載型ユニット６０２のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット６０２および／または非頭部搭載型６０４の１つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム６００内のいずれかの場所に含まれる１つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット６０２のＣＰＵ６１２と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット６０４のＣＰＵ６１６を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム６００の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図２を参照して上記に説明されたものに類似する様式において、１つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
図６は、眼追跡システムを含む、ウェアラブルシステム６００の概略図を図示する。ウェアラブルシステム６００は、少なくともいくつかの実施形態では、頭部搭載型ユニット６０２内に位置するコンポーネントと、非頭部搭載型ユニット６０４内に位置するコンポーネントとを含む。非頭部搭載型ユニット６０４は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム６００のコンポーネントのうちのいくつかを非頭部搭載型ユニット６０４内に組み込むことは、頭部搭載型ユニット６０２のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット６０２および／または非頭部搭載型６０４の１つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム６００内のいずれかの場所に含まれる１つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット６０２のＣＰＵ６１２と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット６０４のＣＰＵ６１６を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム６００の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図２を参照して上記に説明されたものに類似する様式において、１つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
【0468】
図６に示されるように、ウェアラブルシステム６００は、ユーザの眼６１０の画像を捕捉する、カメラ３２４を含む、眼追跡システムを含むことができる。所望に応じて、眼追跡システムはまた、光源３２６ａおよび３２６ｂ（発光ダイオード「ＬＥＤ」等）を含んでもよい。光源３２６ａおよび３２６ｂは、閃光（例えば、カメラ３２４によって捕捉された眼の画像内に現れる、ユーザの眼からの反射）を生成し得る。カメラ３２４に対する光源３２６ａおよび３２６ｂの位置は、既知であり得、その結果、カメラ３２４によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されてもよい（図７－１１に関連して下記により詳細に議論されるであろうように）。少なくとも一実施形態では、１つの光源３２６と、ユーザの眼６１０の片方と関連付けられた１つのカメラ３２４とが存在してもよい。別の実施形態では、１つの光源３２６と、ユーザの眼６１０のそれぞれと関連付けられた１つのカメラ３２４とが存在してもよい。さらに他の実施形態では、１つ以上のカメラ３２４と、ユーザの眼６１０の一方またはそれぞれと関連付けられた１つ以上の光源３２６とが存在してもよい。具体的実施例として、２つの光源３２６ａおよび３２６ｂと、ユーザの眼６１０のそれぞれと関連付けられた１つ以上のカメラ３２４とが存在してもよい。別の実施例として、光源３２６ａおよび３２６ｂ等の３つ以上の光源と、ユーザの眼６１０のそれぞれと関連付けられた１つ以上のカメラ３２４とが存在してもよい。
眼追跡モジュール６１４は、画像を眼追跡カメラ３２４から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール６１４は、ユーザの眼姿勢、眼追跡カメラ３２４（および頭部搭載型ユニット６０２）に対するユーザの眼の３次元位置、合焦されているユーザの眼６１０の一方または両方の方向、ユーザの輻輳・開散運動深度（例えば、ユーザが合焦しているユーザからの深度）、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、およびユーザの眼のそれぞれの視点の中心を検出してもよい。眼追跡モジュール６１４は、図７－１１に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図６に示されるように、眼追跡モジュール６１４は、頭部搭載型ユニット６０２内のＣＰＵ６１２を使用して実装される、ソフトウェアモジュールであってもよい。
眼追跡モジュール６１４は、画像を眼追跡カメラ３２４から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール６１４は、ユーザの眼姿勢、眼追跡カメラ３２４（および頭部搭載型ユニット６０２）に対するユーザの眼の３次元位置、合焦されているユーザの眼６１０の一方または両方の方向、ユーザの輻輳・開散運動深度（例えば、ユーザが合焦しているユーザからの深度）、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、およびユーザの眼のそれぞれの視点の中心を検出してもよい。眼追跡モジュール６１４は、図７－１１に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図６に示されるように、眼追跡モジュール６１４は、頭部搭載型ユニット６０２内のＣＰＵ６１２を使用して実装される、ソフトウェアモジュールであってもよい。
【0469】
眼追跡モジュール６１４からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、ライトフィールドレンダリングコントローラ６１８および位置合わせオブザーバ６２０のためのソフトウェアモジュールを含む、ＣＰＵ６１６等の非頭部搭載型ユニット６０４内のコンポーネントに伝送されてもよい。
【0470】
レンダリングコントローラ６１８は、レンダリングエンジン６２２（例えば、ＧＰＵ６２０内のソフトウェアモジュールであり得、画像をディスプレイ２２０に提供し得る、レンダリングエンジン）によって、眼追跡モジュール６１４からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ６１８は、ユーザの回転中心または視点の中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ６１８は、ユーザの視点の中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく（例えば、ユーザの視点からの画像の収集をシミュレートする）、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。
【0471】
時として、「ピンホール透視投影カメラ」（または単に、「透視投影カメラ」）または「仮想ピンホールカメラ」（または単に、「仮想カメラ」）とも称される、「レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、および可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。言い換えると、レンダリングカメラは、そこからユーザまたは装着者がレンダリング空間の３Ｄ仮想コンテンツ（例えば、仮想オブジェクト）を視認すべきである、レンダリング空間内の視点を表し得る。レンダリングカメラは、レンダリングエンジンによって管理され、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされ得る。例えば、仮想画像は、固有のパラメータの具体的セット（例えば、焦点距離、カメラピクセルサイズ、主点座標、歪／歪曲パラメータ等）と、付帯パラメータの具体的セット（例えば、仮想世界に対する平行移動成分および回転成分）とを有する、ピンホールカメラ（「レンダリングカメラ」に対応する）によって捕捉されたかのようにレンダリングされ得る。仮想画像は、レンダリングカメラの位置および配向（例えば、レンダリングカメラの付帯パラメータ）を有する、そのようなカメラの視点から撮影される。システムは、固有のおよび付帯レンダリングカメラパラメータを定義および／または調節し得るということになる。例えば、システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされるように、特定のセットの付帯レンダリングカメラパラメータを定義してもよい。システムは、後に、該具体的場所との位置合わせを維持するように、付帯レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、固有のレンダリングカメラパラメータも、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、開口（例えば、ピンホール）をユーザまたは装着者の眼に対する具体的場所（視点の中心または回転中心または他の場所等）に有するカメラの視点から捕捉されたかのようにレンダリングされる。
【0472】
いくつかの実施形態では、システムは、ユーザの眼が、相互から物理的に分離され、したがって、一貫して異なる場所に位置付けられるにつれて、ユーザの左眼のための１つのレンダリングカメラおよびユーザの右眼のために別のレンダリングカメラを作成または動的に再位置付および／または再配向してもよい。少なくともいくつかの実装では、視認者の左眼と関連付けられたレンダリングカメラの視点からレンダリングされた仮想コンテンツは、頭部搭載型ディスプレイ（例えば、頭部搭載型ユニット６０２）の左側の接眼レンズを通してユーザに提示され得、ユーザの右眼と関連付けられたレンダリングカメラの視点からレンダリングされた仮想コンテンツは、そのような頭部搭載型ディスプレイの右側の接眼レンズを通してユーザに提示され得るということになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＲＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題された米国特許出願第１５／２７４，８２３号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。
【0473】
いくつかの実施例では、システム６００の１つ以上のモジュール（またはコンポーネント）（例えば、ライトフィールドレンダリングコントローラ６１８、レンダリングエンジン６２０等）は、ユーザの頭部および眼の位置および配向（例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように）に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。すなわち、システム６００は、事実上、ユーザの頭部および眼の位置および配向を３Ｄ仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを３Ｄ仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉され得るにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界／仮想世界マッピングプロセスについて議論するさらなる詳細は、「ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ Ａ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された米国特許出願第１５／２９６，８６９号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。実施例として、レンダリングコントローラ６１８は、画像が、画像を表示するために任意の所与の時間に利用される深度平面（または複数の深度平面）を選択することによって表示される、深度を調節してもよい。いくつかの実装では、そのような深度平面切替は、１つ以上の固有のレンダリングカメラパラメータの調節を通して、行われてもよい。例えば、ライトフィールドレンダリングコントローラ６１８は、深度平面切替または調節を実行するとき、レンダリングカメラの焦点距離を調節してもよい。下記にさらに詳細に説明されるように、深度平面は、ユーザの決定された輻輳・開散運動または固視深度に基づいて、切り替えられてもよい。
【0474】
位置合わせオブザーバ６２０は、眼追跡モジュール６１４からの情報を使用して、頭部搭載型ユニット６０２がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール６１４は、カメラ３２４に対するユーザの眼の３次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット６０２および眼追跡モジュール６１４は、場所情報を使用して、ディスプレイ２２０がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット６０２（またはヘッドセット）が滑脱している、または別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ２２０をユーザの眼から離れさせ、そこから下方に移動させている（望ましくあり得ない）かどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ２２０をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット６０２が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ６２０は、一般に、頭部搭載型ユニット６０２、特に、ディスプレイ２２０が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。言い換えると、位置合わせオブザーバ６２０は、ディスプレイシステム２２０内の左ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム２２０内の右ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの眼に対する位置および／または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット６０２が適切に位置付けられているかどうかを決定してもよい。
【0475】
少なくともいくつかの実施形態では、位置合わせオブザーバ６２０は、アラート、メッセージ、または他のコンテンツの形態におけるユーザフィードバックを生成してもよい。そのようなフィードバックは、ユーザに提供され、ユーザに、頭部搭載型ユニット６０２の任意の不整合を、不整合を補正する方法に関する随意のフィードバック（頭部搭載型ユニット６０２を特定の様式において調節するための提案等）とともに知らせてもよい。
【0476】
位置合わせオブザーバ６２０によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、２０１７年９月２７日に出願された、米国特許出願第１５／７１７，７４７号（弁理士整理番号ＭＬＥＡＰ．０５２Ａ２）および２０１８年３月１６日に出願された、米国仮特許出願第６２／６４４，３２１号（弁理士整理番号ＭＬＥＡＰ．１９５ＰＲ）（両方とも、参照することによってその全体として本明細書に組み込まれる）に説明される。
【0477】
眼追跡モジュールの実施例
例示的眼追跡モジュール６１４の詳細なブロック図が、図７Ａに示される。図７Ａに示されるように、眼追跡モジュール６１４は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール６１４は、光源３２６および頭部搭載型ユニット６０２に対する眼追跡カメラ３２４の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約４．７ｍｍの典型的距離またはユーザの回転中心と視点の中心との間の典型的距離等の仮定された眼寸法７０４、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ７０６等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール６１４によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、２０１７年４月２６日に出願された、米国特許出願第１５／４９７，７２６号（弁理士整理番号ＭＬＥＡＰ．０２３Ａ７）号（参照することによってその全体として本明細書に組み込まれる）に説明される。
例示的眼追跡モジュール６１４の詳細なブロック図が、図７Ａに示される。図７Ａに示されるように、眼追跡モジュール６１４は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール６１４は、光源３２６および頭部搭載型ユニット６０２に対する眼追跡カメラ３２４の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約４．７ｍｍの典型的距離またはユーザの回転中心と視点の中心との間の典型的距離等の仮定された眼寸法７０４、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ７０６等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール６１４によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、２０１７年４月２６日に出願された、米国特許出願第１５／４９７，７２６号（弁理士整理番号ＭＬＥＡＰ．０２３Ａ７）号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0478】
画像前処理モジュール７１０は、画像を眼カメラ３２４等の眼カメラから受信してもよく、１つ以上の前処理（例えば、調整）動作を受信された画像上に実施してもよい。実施例として、画像前処理モジュール７１０は、ガウスぼけを画像に適用してもよい、画像をより低い分解能にダウンサンプリングしてもよい、アンシャープマスクを適用してもよい、縁シャープニングアルゴリズムを適用してもよい、または後の検出、位置特定、および眼カメラ３２４からの画像内の閃光、瞳孔、または他の特徴の標識化を補助する、他の好適なフィルタを適用してもよい。画像前処理モジュール７１０は、高周波数雑音を瞳孔境界５１６ａ（図５参照）等から除去し、それによって瞳孔および閃光決定を妨害し得る雑音を除去し得る、オープンフィルタ等の低域通過フィルタまたは形態学的フィルタを適用してもよい。画像前処理モジュール７１０は、前処理された画像を瞳孔識別モジュール７１２および閃光検出および標識化モジュール７１４に出力してもよい。
【0479】
瞳孔識別モジュール７１２は、前処理された画像を画像前処理モジュール７１０から受信してもよく、ユーザの瞳孔を含む、それらの画像の領域を識別してもよい。瞳孔識別モジュール７１２は、いくつかの実施形態では、カメラ３２４からの眼追跡画像内のユーザの瞳孔の位置の座標、すなわち、中心または重心の座標を決定してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール７１２は、眼追跡画像内の輪郭（例えば、瞳孔虹彩境界の輪郭）を識別し、輪郭モーメント（例えば、質量中心）を識別し、スターバースト瞳孔検出および／またはＣａｎｎｙ縁検出アルゴリズムを適用し、強度値に基づいて外れ値を除外し、サブピクセル境界点を識別し、眼カメラ歪曲（例えば、眼カメラ３２４によって捕捉された画像内の歪曲）を補正し、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）反復アルゴリズムを適用し、楕円形を眼追跡画像内の境界に適合させ、追跡フィルタを画像に適用し、ユーザの瞳孔重心のサブピクセル画像座標を識別してもよい。瞳孔識別モジュール７１２は、ユーザの瞳孔を示すと識別された前処理画像モジュール７１２の領域を示し得る、瞳孔識別データを、閃光検出および標識化モジュール７１４に出力してもよい。瞳孔識別モジュール７１２は、各眼追跡画像内のユーザの瞳孔の２Ｄ座標（例えば、ユーザの瞳孔の重心の２Ｄ座標）を閃光検出モジュール７１４に提供してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール７１２はまた、同一種類の瞳孔識別データを座標系正規化モジュール７１８に提供してもよい。
【0480】
瞳孔識別モジュール７１２によって利用され得る、瞳孔検出技法は、２０１７年２月２３日に公開された米国特許公開第２０１７／００５３１６５号および２０１７年２月２３日に公開された米国特許公開第２０１７／００５３１６６号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に説明される。
【0481】
閃光検出および標識化モジュール７１４は、前処理された画像をモジュール７１０から、瞳孔識別データをモジュール７１２から受信してもよい。閃光検出モジュール７１４は、本データを使用して、閃光（すなわち、光源３２６からの光のユーザの眼からの反射）をユーザの瞳孔を示す前処理された画像の領域内で検出および／または識別してもよい。実施例として、閃光検出モジュール７１４は、ユーザの瞳孔の近傍にある、時として、本明細書では、「ブロブ」または局所強度最大値とも称される、眼追跡画像内の明るい領域を検索してもよい。少なくともいくつかの実施形態では、閃光検出モジュール７１４は、瞳孔楕円形を再スケーリング（例えば、拡大）し、付加的閃光を包含してもよい。閃光検出モジュール７１４は、サイズおよび／または強度によって、閃光をフィルタリングしてもよい。閃光検出モジュール７１４はまた、眼追跡画像内の閃光のそれぞれの２Ｄ位置を決定してもよい。少なくともいくつかの実施例では、閃光検出モジュール７１４は、瞳孔－閃光ベクトルとも称され得る、ユーザの瞳孔に対する閃光の２Ｄ位置を決定してもよい。閃光検出および標識化モジュール７１４は、閃光を標識化し、標識された閃光を伴う前処理画像を３Ｄ角膜中心推定モジュール７１６に出力してもよい。閃光検出および標識化モジュール７１４はまた、モジュール７１０からの前処理された画像およびモジュール７１２からの瞳孔識別データ等のデータを伝えてもよい。いくつかの実装では、閃光検出および標識化モジュール７１４は、各識別された閃光を生産した（例えば、赤外線光源３２６ａおよび３２６ｂを含む、システムの複数の光源の中の）光源を決定してもよい。これらの実施例では、閃光検出および標識化モジュール７１４は、閃光を関連付けられた光源を識別する情報で標識化し、標識された閃光を伴う前処理画像を３Ｄ角膜中心推定モジュール７１６に出力してもよい。
【0482】
モジュール７１２および７１４等のモジュールによって実施されるような瞳孔および閃光検出は、任意の好適な技法を使用することができる。実施例として、縁検出が、眼画像に適用され、閃光および瞳孔を識別することができる。縁検出は、種々の縁検出器、縁検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Ｃａｎｎｙ縁検出器が、画像に適用され、画像の線等の縁を検出することができる。縁は、局所最大導関数に対応する、線に沿って位置する点を含んでもよい。例えば、瞳孔境界５１６ａ（図５参照）が、Ｃａｎｎｙ縁検出器を使用して、位置特定されることができる。瞳孔の場所が決定されると、種々の画像処理技法が、瞳孔１１６の「姿勢」を検出するために使用されることができる。眼画像の眼姿勢の決定は、眼画像の眼姿勢の検出とも称され得る。姿勢は、視線、向いている方向、または眼の配向とも称され得る。例えば、瞳孔は、オブジェクトに向かって左を見ている場合があり、瞳孔の姿勢は、左向き姿勢として分類され得る。他の方法も、瞳孔または閃光の場所を検出するために使用されることができる。例えば、同心リングが、Ｃａｎｎｙ縁検出器を使用した眼画像内に位置し得る。別の実施例として、積分微分演算子が、瞳孔または虹彩の角膜または輪部の境界を見出すために使用されてもよい。例えば、Ｄａｕｇｍａｎ積分微分演算子、Ｈｏｕｇｈ変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する、曲線を返すために使用されることができる。
【0483】
３Ｄ角膜中心推定モジュール７１６は、検出された閃光データおよび瞳孔識別データを含む、前処理された画像を、モジュール７１０、７１２、７１４から受信してもよい。３Ｄ角膜中心推定モジュール７１６は、これらのデータを使用して、ユーザの角膜の３Ｄ位置を推定してもよい。いくつかの実施形態では、３Ｄ角膜中心推定モジュール７１６は、眼の角膜曲率またはユーザの角膜球面の中心、例えば、概して、ユーザの角膜と同延の表面部分を有する、想像上の球面の中心の３Ｄ位置を推定してもよい。３Ｄ角膜中心推定モジュール７１６は、角膜球面および／またはユーザの角膜の推定された３Ｄ座標を示すデータを、座標系正規化モジュール７１８、光学軸決定モジュール７２２、および／またはライトフィールドレンダリングコントローラ６１８に提供してもよい。３Ｄ角膜中心推定モジュール７１６の動作のさらなる詳細は、図８Ａ－８Ｅに関連して本明細書に提供される。３Ｄ角膜中心推定モジュール７１６および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、角膜または角膜球面等の眼特徴の位置を推定するための技法は、２０１７年４月２６日に出願された、米国特許出願第１５／４９７，７２６号（弁理士整理番号ＭＬＥＡＰ．０２３Ａ７）（参照することによってその全体として本明細書に組み込まれる）に議論される。
【0484】
座標系正規化モジュール７１８は、随意に、（その破線輪郭によって示されるように）眼追跡モジュール６１４内に含まれてもよい。座標系正規化モジュール７１８は、ユーザの角膜の中心（および／またはユーザの角膜球面の中心）の推定された３Ｄ座標を示すデータを、３Ｄ角膜中心推定モジュール７１６から受信してもよく、また、データを他のモジュールから受信してもよい。座標系正規化モジュール７１８は、眼カメラ座標系を正規化してもよく、これは、ウェアラブルデバイスの滑脱（例えば、位置合わせオブザーバ６２０によって識別され得る、ユーザの頭部上のその正常静置位置からの頭部搭載型コンポーネントの滑脱）を補償することに役立ち得る。座標系正規化モジュール７１８は、座標系を回転させ、座標系のｚ－軸（例えば、輻輳・開散運動深度軸）と角膜中心（例えば、３Ｄ角膜中心推定モジュール７１６によって示されるように）を整合させてもよく、カメラ中心（例えば、座標系の原点）を３０ｍｍ等の角膜中心から離れた所定の距離に平行移動させてもよい（例えば、モジュール７１８は、眼カメラ３２４が所定の距離より近くまたは遠くにあるように決定されるかどうかに応じて、眼追跡画像を拡大または収縮し得る）。本正規化プロセスを用いることで、眼追跡モジュール６１４は、比較的に、ユーザの頭部上に位置付けられるヘッドセットの変動から独立して、眼追跡データ内の一貫した配向および距離を確立することが可能であり得る。座標系正規化モジュール７１８は、角膜（および／または角膜球面）の中心の３Ｄ座標、瞳孔識別データ、および前処理された眼追跡画像を３Ｄ瞳孔中心ロケータモジュール７２０に提供してもよい。座標系正規化モジュール７１８の動作のさらなる詳細は、図９Ａ－９Ｃに関連して本明細書に提供される。
【0485】
３Ｄ瞳孔中心ロケータモジュール７２０は、正規化または非正規化座標系内において、ユーザの角膜（および／または角膜球面）の中心の３Ｄ座標、瞳孔場所データ、および前処理された眼追跡画像を含む、データを受信してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、そのようなデータを分析して、正規化または非正規化眼カメラ座標系内のユーザの瞳孔の中心の３Ｄ座標を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔重心の２Ｄ位置（モジュール７１２によって決定されるように）、角膜中心の３Ｄ位置（モジュール７１６によって決定されるように）、典型的ユーザの角膜球面のサイズおよび角膜中心から瞳孔中心までの典型的距離等の仮定された眼寸法７０４、および角膜の屈折率（空気の屈折率に対する）等の眼の光学性質、または任意のこれらの組み合わせに基づいて、３次元におけるユーザの瞳孔の場所を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０の動作のさらなる詳細は、図９Ｄ－９Ｇに関連して本明細書に提供される。３Ｄ瞳孔中心ロケータモジュール７２０および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、瞳孔等の眼特徴の位置を推定するための技法は、２０１７年４月２６日に出願された、米国特許出願第１５／４９７，７２６（弁理士整理番号ＭＬＥＡＰ．０２３Ａ７）号（参照することによってその全体として本明細書に組み込まれる）に議論される。
【0486】
光学軸決定モジュール７２２は、ユーザの角膜およびユーザの瞳孔の中心の３Ｄ座標を示すデータを、モジュール７１６および７２０から受信してもよい。そのようなデータに基づいて、光学軸決定モジュール７２２は、角膜中心の位置から（例えば、角膜球面の中心から）、ユーザの眼の光学軸を定義し得る、ユーザの瞳孔の中心までのベクトルを識別してもよい。光学軸決定モジュール７２２は、実施例として、ユーザの光学軸を規定する出力をモジュール７２４、７２８、７３０、および７３２に提供してもよい。
【0487】
回転中心（ＣｏＲ）推定モジュール７２４は、ユーザの眼の光学軸のパラメータを含むデータ（例えば、頭部搭載型ユニット６０２に対して既知の関係を伴う座標系内の光学軸の方向を示すデータ）を、モジュール７２２から受信してもよい。例えば、ＣｏＲ推定モジュール７２４は、ユーザの眼の回転中心を推定し得る。回転中心は、ユーザの眼が左、右、上、および／または下に回転するとき、その周囲でユーザの眼が回転する点を示し得る。眼が、単点の周囲で完璧に回転し得ない場合でも、単点が十分であり得ると仮定する。少なくともいくつかの実施形態では、ＣｏＲ推定モジュール７２４は、瞳孔の中心（モジュール７２０によって識別される）または角膜の曲率中心（モジュール７１６によって識別されるように）から網膜に向かって光学軸（モジュール７２２によって識別される）に沿って特定の距離だけ移動させることによって、眼の回転中心を推定し得る。本特定の距離は、仮定された眼寸法７０４であってもよい。一実施例として、角膜の曲率中心とＣｏＲとの間の特定の距離は、約４．７ｍｍであってもよい。本距離は、ユーザの年齢、性別、視覚処方箋、他の関連特性等を含む、任意の関連データに基づいて、特定のユーザのために変動され得る。角膜の曲率中心とＣｏＲとの間の距離に関する推定値としての４．７ｍｍの値の付加的議論は、本願の一部を形成する、付属（第ＩＩＩ章）に提供される。
【0488】
少なくともいくつかの実施形態では、ＣｏＲ推定モジュール７２４は、ユーザの眼のそれぞれの回転中心のその推定値を経時的に精緻化してもよい。実施例として、時間が経過するにつれて、ユーザは、最終的に、その眼を回転させ（他の場所、より近く、より遠くの何らかのもの、またはある時に左、右、上、または下を見るため）、その眼のそれぞれの光学軸において偏移させるであろう。ＣｏＲ推定モジュール７２４は、次いで、モジュール７２２によって識別される２つ（以上の）光学軸を分析し、それらの光学軸の交点の３Ｄ点を位置特定してもよい。ＣｏＲ推定モジュール７２４は、次いで、その交点の３Ｄ点にある回転中心を決定してもよい。そのような技法は、経時的に改良する正確度を伴う、回転中心の推定値を提供し得る。
【0489】
種々の技法が、ＣｏＲ推定モジュール７２４および左および右眼の決定されたＣｏＲ位置の正確度を増加させるために採用されてもよい。実施例として、ＣｏＲ推定モジュール７２４は、種々の異なる眼姿勢に関して経時的に決定された光学軸の交点の平均点を見出すことによって、ＣｏＲを推定してもよい。付加的実施例として、モジュール７２４は、推定されたＣｏＲ位置を経時的にフィルタリングまたは平均化してもよく、推定されたＣｏＲ位置の移動平均を経時的に計算してもよく、および／またはカルマンフィルタおよび眼および眼追跡システムの既知の動態を適用し、ＣｏＲ位置を経時的に推定してもよい。いくつかの実装では、最小二乗アプローチが、光学軸の交点の１つ以上の点を決定するためにとられ得る。そのような実装では、システムは、所与の時点において、所与のセットの光学軸までの二乗距離の和が光学軸の交差の点として低減または最小限にされる、場所を識別し得る。具体的実施例として、モジュール７２４は、決定されたＣｏＲが、ユーザに関する眼追跡データが取得されるにつれて、仮定されたＣｏＲ位置（例えば、眼の角膜曲率の中心の４．７ｍｍ背後）からユーザの眼内の若干異なる場所に経時的にゆっくりと移り、それによって、ＣｏＲ位置のユーザ毎精緻化を可能にし得るように、光学軸交点の決定された点および仮定されたＣｏＲ位置（眼の角膜曲率の中心から４．７ｍｍ等）の加重平均を計算してもよい。
【0490】
理想的条件下では、ＨＭＤに対するユーザの眼の真のＣｏＲの３Ｄ位置は、ユーザがその眼を移動させるにつれて（例えば、ユーザの眼がその回転中心の周囲で回転するにつれて）、無視可能であるまたは最小限の量だけ経時的に変化するはずである。言い換えると、眼移動の所与のセットに関して、（ＨＭＤに対する）ユーザの眼の真のＣｏＲの３Ｄ位置は、仮説上、ユーザの眼の光学軸に沿った任意の他の点ほど経時的に変動しないはずである。したがって、光学軸に沿った点がユーザの眼の真のＣｏＲから離れるほど、その３Ｄ位置は、ユーザがその眼を移動させるにつれて、より多くの変動量または分散量を経時的に呈するであろうということになる。いくつかの実施形態では、ＣｏＲ推定モジュール７２４および／または眼追跡モジュール６１４の他のサブモジュールは、本統計的関係を利用して、ＣｏＲ推定正確度を改良してもよい。そのような実施形態では、ＣｏＲ推定モジュール７２４および／または眼追跡モジュール６１４の他のサブモジュールは、低変動量（例えば、低分散量または標準偏差）を有する、そのＣｏＲ推定値の変動量を識別することによって、ＣｏＲ ３Ｄ位置のその推定値を経時的に精緻化してもよい。
【0491】
第１の実施例として、ＣｏＲ推定モジュール７２４が、複数の異なる光学軸の交点（それぞれ、異なる方向を見ているユーザと関連付けられる）に基づいて、ＣｏＲを推定する実施形態では、ＣｏＲ推定モジュール７２４は、共通オフセットを光学軸のそれぞれの方向に導入し（例えば、各軸をある均一量だけ偏移させる）、オフセットされた光学軸が、低変動量、例えば、低分散量または標準偏差を有する交点において相互に交差するかどうかを決定することによって、本統計的関係（真のＣｏＲは、低分散量を有するはずである）を利用してもよい。これは、光学軸の方向の計算におけるわずかな体系的誤差を補正し、ＣｏＲの推定される位置が真のＣｏＲにより近くなるように精緻化することに役立ち得る。
【0492】
第２の実施例として、ＣｏＲ推定モジュール７２４が、光学軸（または他の軸）に沿って特定の距離（例えば、角膜の曲率中心とＣｏＲとの間の距離等）だけ移動させることによって、ＣｏＲを推定する、実施形態では、システムは、推定されるＣｏＲ位置の変動量、例えば、分散量および／または標準偏差を低減または最小限にするような様式において、角膜の曲率中心とＣｏＲとの間の特定の距離を経時的に変動させる、最適化する、調整する、または別様に調節してもよい（例えば、異なる時間において捕捉された眼の大規模な画像のグループに関して）。例えば、ＣｏＲ推定モジュール７２４が、最初に、４．７ｍｍの特定の距離値（角膜の曲率中心から、光学軸に沿って）を使用し、ＣｏＲ位置推定値を取得するが、所与のユーザの眼の真のＣｏＲが、眼の角膜曲率の中心の４．９ｍｍ背後に位置付けられ得る（光学軸に沿って）場合、ＣｏＲ推定モジュール７２４によって取得されるＣｏＲ位置推定値の初期セットは、比較的に高量の変動量、例えば、分散量または標準偏差を呈し得る。そのような比較的に高量の変動量（例えば、分散量または標準偏差）の検出に応答して、ＣｏＲ推定モジュール７２４は、より低量の変動量（例えば、分散量または標準偏差）を有する、光学軸に沿った１つ以上の点を探索および識別してもよく、最低変動量（例えば、分散量または標準偏差）を有する、４．９ｍｍ距離を識別してもよく、したがって、利用される特定の距離値を４．９ｍｍに調節してもよい。
【0493】
ＣｏＲ推定モジュール７２４は、現在のＣｏＲ推定値が比較的に高量の変動量（例えば、分散量または標準偏差）を有することを検出するに応答して、より低い変動量（例えば、分散量および／または標準偏差）を有する、代替ＣｏＲ推定値を探索してもよい、または初期ＣｏＲ推定値を取得後、当然のように、より低い変動量（例えば、分散量または標準偏差）を有する、代替ＣｏＲ推定値を探索してもよい。いくつかの実施例では、そのような最適化／調節は、経時的に徐々に発生してもよい一方、他の実施例では、そのような最適化／調節は、初期ユーザ較正セッションの間に行われることができる。そのようなプロシージャが較正プロシージャの間に行われる、実施例では、ＣｏＲ推定モジュール７２４は、最初に、任意の仮定される特定の距離に賛同／遵守しなくてもよく、むしろ、眼追跡データのセットを経時的に収集し、統計的分析を眼追跡データのセット上で実施し、統計的分析に基づいて、最も少ない可能性として考えられる量（例えば、大域的最小値）の変動量（例えば、分散量または標準偏差）を伴うＣｏＲ位置推定値をもたらす、特定の距離値を決定してもよい。
【0494】
上記に説明される統計的関係（例えば、真のＣｏＲは、低分散量または標準偏差を有するはずである）および瞳孔位置を決定する際に角膜屈折を考慮することの有意性の付加的議論は、本願の一部を形成する、付属（第ＩＩＩ章）に提供される。
【0495】
瞳孔間距離（ＩＰＤ）推定モジュール７２６は、ユーザの左および右眼の回転中心の推定された３Ｄ位置を示すデータを、ＣｏＲ推定モジュール７２４から受信してもよい。ＩＰＤ推定モジュール７２６は、次いで、ユーザの左および右眼の回転中心間の３Ｄ距離を測定することによって、ユーザのＩＰＤを推定してもよい。一般に、ユーザの左眼の推定されたＣｏＲとユーザの右眼の推定されたＣｏＲとの間の距離は、ユーザが光学無限遠を見ている（例えば、ユーザの眼の光学軸が相互に略平行である）とき、ユーザの瞳孔の中心間の距離と概ね等しくあり得、これは、瞳孔間距離（ＩＰＤ）の典型的定義である。ユーザのＩＰＤは、ウェアラブルシステム内の種々のコンポーネントおよびモジュールによって使用されてもよい。実施例として、ユーザのＩＰＤは、位置合わせオブザーバ６２０に提供され、ウェアラブルデバイスがユーザの眼と整合されている程度（例えば、左および右ディスプレイレンズが、ユーザのＩＰＤに従って適切に離間されているかどうか）を査定する際に使用されてもよい。別の実施例として、ユーザのＩＰＤは、輻輳・開散運動深度推定モジュール７２８に提供され、ユーザの輻輳・開散運動深度を決定する際に使用されてもよい。モジュール７２６は、ＣｏＲ推定モジュール７２４に関連して議論されるもの等の種々の技法を採用し、推定されたＩＰＤの正確度を増加させてもよい。実施例として、ＩＰＤ推定モジュール７２４は、正確な様式におけるユーザのＩＰＤの推定の一部として、フィルタリング、経時的平均、仮定されたＩＰＤ距離を含む、加重平均、カルマンフィルタ等を適用してもよい。
【0496】
輻輳・開散運動深度推定モジュール７２８は、データを眼追跡モジュール６１４内の種々のモジュールおよびサブモジュール（図７Ａに関連して示されるように）から受信してもよい。特に、輻輳・開散運動深度推定モジュール７２８は、瞳孔中心の推定された３Ｄ位置（例えば、上記に説明されるモジュール７２０によって提供されるように）、光学軸の１つ以上の決定されたパラメータ（例えば、上記に説明されるモジュール７２２によって提供されるように）、回転中心の推定された３Ｄ位置（例えば、上記に説明されるモジュール７２４によって提供されるように）、推定されたＩＰＤ（例えば、回転中心の推定された３Ｄ位置間のユークリッド距離）（例えば、上記に説明されるモジュール７２６によって提供されるように）、および／または光学軸および／または視軸の１つ以上の決定されたパラメータ（例えば、下記に説明されるモジュール７２２および／またはモジュール７３０によって提供されるように）を示すデータを採用してもよい。輻輳・開散運動深度推定モジュール７２８は、ユーザの眼が合焦されるユーザからの距離であり得る、ユーザの輻輳・開散運動深度の測定値を検出または別様に取得してもよい。実施例として、ユーザが、彼らの正面から３フィートのオブジェクトを見ているとき、ユーザの左および右眼は、３フィートの輻輳・開散運動深度を有する一方、ユーザが遠距離の景観を見ている（例えば、ユーザの眼の光学軸が、ユーザの瞳孔の中心間の距離が、ユーザの左および右眼の回転中心間の距離と概ね等しくあり得るように、相互に略平行である）とき、ユーザの左および右眼は、無限遠の輻輳・開散運動深度を有する。いくつかの実装では、輻輳・開散運動深度推定モジュール７２８は、ユーザの瞳孔の推定された中心（例えば、モジュール７２０によって提供されるように）を示すデータを利用し、ユーザの瞳孔の推定された中心間の３Ｄ距離を決定してもよい。輻輳・開散運動深度推定モジュール７２８は、瞳孔中心間のそのような決定された３Ｄ距離と推定されたＩＰＤ（例えば、回転中心の推定された３Ｄ位置間のユークリッド距離）（例えば、上記に説明されるモジュール７２６によって示されるように）を比較することによって、輻輳・開散運動深度の測定値を取得してもよい。瞳孔中心間の３Ｄ距離および推定されたＩＰＤに加え、輻輳・開散運動深度推定モジュール７２８は、既知の、仮定された、推定された、および／または決定された幾何学形状を利用して、輻輳・開散運動深度を計算してもよい。実施例として、モジュール７２８は、瞳孔中心間の３Ｄ距離、推定されたＩＰＤ、および三角法計算における３Ｄ ＣｏＲ位置を組み合わせて、ユーザの輻輳・開散運動深度を推定（例えば、決定）してもよい。実際、推定されたＩＰＤに対する瞳孔中心間のそのような決定された３Ｄ距離の評価は、光学無限遠に対するユーザの現在の輻輳・開散運動深度の測定値を示す役割を果たし得る。いくつかの実施例では、輻輳・開散運動深度推定モジュール７２８は、単に、輻輳・開散運動深度のそのような測定値を取得する目的のために、ユーザの瞳孔の推定された中心間の推定された３Ｄ距離を示すデータを受信する、またはそれにアクセスしてもよい。いくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、ユーザの左および右光学軸を比較することによって、輻輳・開散運動深度を推定してもよい。特に、輻輳・開散運動深度推定モジュール７２８は、ユーザの左および右光学軸が交差する（または水平平面等の平面上のユーザの左および右光学軸の投影が交差する）、ユーザからの距離を位置特定することによって、輻輳・開散運動深度を推定してもよい。モジュール７２８は、ゼロ深度をユーザの左および右光学軸がユーザのＩＰＤによって分離される深度であると設定することによって、本計算において、ユーザのＩＰＤを利用してもよい。少なくともいくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、眼追跡データを、既知のまたは導出された空間関係とともに三角測量することによって、輻輳・開散運動深度を決定してもよい。
【0497】
いくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、ユーザが合焦している距離のより正確なインジケーションを提供し得る、ユーザの視軸の交点に基づいて（その光学軸の代わりに）、ユーザの輻輳・開散運動深度を推定してもよい。少なくともいくつかの実施形態では、眼追跡モジュール６１４は、光学軸／視軸マッピングモジュール７３０を含んでもよい。図１０に関連してさらに詳細に議論されるように、ユーザの光学軸および視軸は、概して、整合されない。視軸は、それに沿って人物が見ている軸である一方、光学軸は、その人物の水晶体および瞳孔の中心によって定義され、人物の網膜の中心を通して進み得る。特に、ユーザの視軸は、概して、ユーザの網膜の中心からオフセットされ、それによって、異なる光学および視軸をもたらし得る、ユーザの中心窩の場所によって定義される。これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュール６１４は、光学軸／視軸マッピングモジュール７３０を含んでもよい。光学軸／視軸マッピングモジュール７３０は、ユーザの光学軸と視軸との間の差異を補正し、輻輳・開散運動深度推定モジュール７２８およびライトフィールドレンダリングコントローラ６１８等のウェアラブルシステム内の他のコンポーネントに対するユーザの視軸に関する情報を提供してもよい。いくつかの実施例では、モジュール７３０は、光学軸と視軸との間の内向きの（鼻側に、ユーザの鼻に向かって）約５．２°の典型的オフセットを含む、仮定された眼寸法７０４を使用してもよい。言い換えると、モジュール７３０は、ユーザの左および右光学軸の方向を推定するために、ユーザの左光学軸を５．２°鼻に向かって（鼻側に）右に、ユーザの右光学軸を５．２°鼻に向かって（鼻側に）左に偏移させ得る。他の実施例では、モジュール７３０は、光学軸（例えば、上記に説明されるモジュール７２２によって示されるように）を視軸にマッピングする際、ユーザ毎較正データ７０６を利用してもよい。付加的実施例として、モジュール７３０は、ユーザの光学軸を鼻側に４．０°～６．５°、４．５°～６．０°、５．０°～５．４°等、またはこれらの値のいずれかによって形成される任意の範囲だけ偏移させてもよい。いくつかの配列では、モジュール７３０は、少なくとも部分的に、その年齢、性別、視覚処方箋、または他の関連特性等の特定のユーザの特性に基づいて、偏移を適用してもよく、および／または少なくとも部分的に、特定のユーザのための較正プロセス（例えば、特定のユーザの光学軸－視軸オフセットを決定するため）に基づいて、偏移を適用してもよい。少なくともいくつかの実施形態では、モジュール７３０はまた、左および右光学軸の原点を偏移させ、ユーザのＣｏＲの代わりに、ユーザのＣｏＰ（モジュール７３２によって決定されるように）に対応させてもよい。
【0498】
随意の視点中心（ＣｏＰ）推定モジュール７３２が、提供されるとき、ユーザの左および右視点中心（ＣｏＰ）の場所を推定してもよい。ＣｏＰは、ウェアラブルシステムのための有用な場所であって、少なくともいくつかの実施形態では、瞳孔の真正面の位置であり得る。少なくともいくつかの実施形態では、ＣｏＰ推定モジュール７３２は、ユーザの瞳孔中心の３Ｄ場所、ユーザの角膜曲率の中心の３Ｄ場所、またはそのような好適なデータ、またはそれらの任意の組み合わせに基づいて、ユーザの左および右視点中心の場所を推定してもよい。実施例として、ユーザのＣｏＰは、角膜曲率の中心の正面の約５．０１ｍｍ（例えば、角膜球面中心から、眼の角膜に向かい、光学軸に沿った方向に５．０１ｍｍ）にあり得、光学軸または視軸に沿ってユーザの角膜の外側表面の約２．９７ｍｍ背後にあり得る。ユーザの視点中心は、その瞳孔の中心の真正面にあり得る。実施例として、ユーザのＣｏＰは、ユーザの瞳孔から約２．０ｍｍ未満、ユーザの瞳孔から約１．０ｍｍ未満、またはユーザの瞳孔から約０．５ｍｍ未満、またはこれらの値のいずれか間の任意の範囲であり得る。別の実施例として、視点中心は、眼の前房内の場所に対応し得る。他の実施例として、ＣｏＰは、１．０ｍｍ～２．０ｍｍ、約１．０ｍｍ、０．２５ｍｍ～１．０ｍｍ、０．５ｍｍ～１．０ｍｍ、または０．２５ｍｍ～０．５ｍｍにあり得る。
【0499】
（レンダリングカメラのピンホールの潜在的に望ましい位置およびユーザの眼内の解剖学的位置としての）本明細書に説明される視点中心は、望ましくない視差偏移を低減および／または排除する役割を果たす、位置であり得る。特に、ユーザの眼の光学系は、レンズの正面のピンホールが画面上に投影することによって形成される理論的システムにほぼ概ね匹敵し、ピンホール、レンズ、および画面は、それぞれ、ユーザの瞳孔／虹彩、水晶体、および網膜に概ね対応する。さらに、ユーザの眼から異なる距離における２つの点光源（またはオブジェクト）が、ピンホールの開口部を中心として厳密に回転する（例えば、ピンホールの開口部からのその個別の距離と等しい曲率半径に沿って回転される）とき、殆どまたは全く視差偏移が存在しないことが望ましくあり得る。したがって、ＣｏＰは、眼の瞳孔の中心に位置するはずであると考えられるであろう（およびそのようなＣｏＰが、いくつかの実施形態では、使用されてもよい）。しかしながら、ヒトの眼は、水晶体および瞳孔のピンホールに加え、付加的屈折力を網膜に向かって伝搬する光に付与する、角膜を含む。したがって、本段落に説明される理論的システム内のピンホールの解剖学的均等物は、ユーザの眼の角膜の外側表面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域であり得る。例えば、ピンホールの解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。本明細書で議論される種々の理由から、ＣｏＰをユーザの眼の前房内のそのような位置に設定することが所望され得る。ＣｏＰの導出および有意性は、図２２－２４Ｂに関して下記により詳細に説明される。
【0500】
上記に議論されるように、眼追跡モジュール６１４は、左および右眼回転中心（ＣｏＲ）の推定された３Ｄ位置、輻輳・開散運動深度、左および右眼光学軸、ユーザの眼の３Ｄ位置、ユーザの角膜曲率の左および右中心の３Ｄ位置、ユーザの左および右瞳孔中心の３Ｄ位置、ユーザの左および右視点中心の３Ｄ位置、ユーザのＩＰＤ等のデータを、ウェアラブルシステム内のライトフィールドレンダリングコントローラ６１８および位置合わせオブザーバ６２０等の他のコンポーネントに提供してもよい。眼追跡モジュール６１４はまた、ユーザの眼の他の側面と関連付けられたデータを検出および生成する、他のサブモジュールを含んでもよい。実施例として、眼追跡モジュール６１４は、ユーザが瞬目する度に、フラグまたは他のアラートを提供する、瞬目検出モジュールと、ユーザの眼がサッカードする（例えば、焦点を別の点に迅速に偏移させる）度に、フラグまたは他のアラートを提供する、サッカード検出モジュールとを含んでもよい。
【0501】
レンダリングコントローラの実施例
例示的ライトフィールドレンダリングコントローラ６１８の詳細なブロック図が、図７Ｂに示される。図６および７Ｂに示されるように、レンダリングコントローラ６１８は、眼追跡情報を眼追跡モジュール６１４から受信してもよく、出力をレンダリングエンジン６２２に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ６１８は、輻輳・開散運動深度、左および右眼回転中心（および／または視点中心）、および瞬目データ、サッカードデータ等の他の眼データを受信してもよい。
例示的ライトフィールドレンダリングコントローラ６１８の詳細なブロック図が、図７Ｂに示される。図６および７Ｂに示されるように、レンダリングコントローラ６１８は、眼追跡情報を眼追跡モジュール６１４から受信してもよく、出力をレンダリングエンジン６２２に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ６１８は、輻輳・開散運動深度、左および右眼回転中心（および／または視点中心）、および瞬目データ、サッカードデータ等の他の眼データを受信してもよい。
【0502】
深度平面選択モジュール７５０は、輻輳・開散運動深度情報および他の眼データを受信してもよく、そのようなデータに基づいて、レンダリングエンジン６２２に、特定の深度平面（例えば、特定の遠近調節または焦点距離）を伴うコンテンツをユーザに伝達させてもよい。図４に関連して議論されるように、ウェアラブルシステムは、それぞれ、可変レベルの波面曲率を伴う画像情報を伝達する、複数の導波管によって形成される、複数の離散深度平面を含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、経時的に変動するレベルの波面曲率を伴う画像情報を伝達する、光学要素等の１つ以上の可変深度平面を含んでもよい。これらおよび他の実施形態では、深度平面選択モジュール７５０が、レンダリングエンジン６２２に、部分的に、ユーザの輻輳・開散運動深度に基づいて、コンテンツを選択された深度においてユーザに伝達させてもよい（例えば、レンダリングエンジン６２２に、ディスプレイ２２０に深度平面を切り替えるように指示させる）。少なくともいくつかの実施形態では、深度平面選択モジュール７５０およびレンダリングエンジン６２２は、コンテンツを異なる深度にレンダリングし、また、深度平面選択データを生成し、および／またはディスプレイ２２０等のディスプレイハードウェアに提供してもよい。ディスプレイ２２０等のディスプレイハードウェアは、深度平面選択モジュール７５０およびレンダリングエンジン６２２等のモジュールによって生成および／または提供される深度平面選択データ（制御信号であり得る）に応答して、電気深度平面切替を実施してもよい。
【0503】
一般に、深度平面選択モジュール７５０が、ユーザが正確な遠近調節キューを提供されるように、ユーザの現在の輻輳・開散運動深度に合致する深度平面を選択することが望ましくあり得る。しかしながら、また、慎重かつ目立たない様式において深度平面を切り替えることが望ましくあり得る。実施例として、深度平面間の過剰な切替を回避することが望ましくあり得、および／または瞬目または眼サッカードの間等のユーザが切替に気付く可能性が低い時間に深度平面を切り替えることが望ましくあり得る。
【0504】
ヒステリシス帯交差検出モジュール７５２は、特に、ユーザの輻輳・開散運動深度が２つの深度平面間の中点または遷移点で変動するとき、深度平面間の過剰な切替を回避することに役立ち得る。特に、モジュール７５２は、深度平面選択モジュール７５０に、ヒステリシスを深度平面のその選択に呈させてもよい。実施例として、モジュール７５２は、深度平面選択モジュール７５０に、ユーザの輻輳・開散運動深度が第１の閾値を通過した後のみ、第１のより遠い深度平面から第２のより近い深度平面に切り替えさせてもよい。同様に、モジュール７５２は、深度平面選択モジュール７５０に（ひいては、ディスプレイ２２０等のディスプレイに指示し得る）、ユーザの輻輳・開散運動深度が第１の閾値よりユーザから遠い第２の閾値を通過した後のみ、第１のより遠い深度平面に切り替えさせてもよい。第１の閾値と第２の閾値との間の重複領域では、モジュール７５０は、深度平面選択モジュール７５０に、いずれかの深度平面が選択された深度平面として現在選択されているように維持させ、したがって、深度平面間の過剰な切替を回避してもよい。
【0505】
眼球イベント検出モジュール７５０は、他の眼データを図７Ａの眼追跡モジュール６１４から受信してもよく、深度平面選択モジュール７５０に、眼球イベントが生じるまで、いくつかの深度平面切替を遅延させてもよい。実施例として、眼球イベント検出モジュール７５０は、深度平面選択モジュール７５０に、ユーザ瞬目が検出されるまで、計画された深度平面切替を遅延させてもよく、眼追跡モジュール６１４内の瞬目検出コンポーネントから、ユーザが現在瞬目していることを示す、データを受信してもよく、それに応答して、深度平面選択モジュール７５０に、瞬目イベントの間、計画された深度平面切替を実行させてもよい（モジュール７５０に、瞬目イベントの間、ディスプレイ２２０に深度平面切替を実行するように指示させることによって等）。少なくともいくつかの実施形態では、ウェアラブルシステムは、ユーザが偏移を知覚する可能性が低いように、瞬目イベントの間、コンテンツを新しい深度平面上に偏移させることが可能であり得る。別の実施例として、眼球イベント検出モジュール７５０は、眼サッカードが検出されるまで、計画された深度平面切替を遅延させてもよい。眼瞬目に関連して議論されるように、そのような配列は、深度平面の離散偏移を促進し得る。
【0506】
所望に応じて、深度平面選択モジュール７５０は、眼球イベントの不在下であっても、深度平面切替を実行する前に、限定された期間にわたってのみ、計画された深度平面切替を遅延させてもよい。同様に、深度平面選択モジュール７５０は、眼球イベントの不在下であっても、ユーザの輻輳・開散運動深度が、現在選択されている深度平面外に実質的にあるとき（例えば、ユーザの輻輳・開散運動深度が、深度平面切替のための通常閾値を超える所定の閾値を超えたとき）、深度平面切替を実行してもよい。これらの配列は、眼球イベント検出モジュール７５４が、深度平面切替を無限に遅延させず、大遠近調節誤差が存在するとき、深度平面切替を遅延させないことを確実にすることに役立ち得る。深度平面選択モジュール７５０の動作およびモジュールが深度平面切替のタイミングを合わせ得る方法のさらなる詳細は、図１２に関連して本明細書に提供される。
【0507】
レンダリングカメラコントローラ７５８は、ユーザの左および右眼の場所を示す情報を、レンダリングエンジン６２２に提供してもよい。レンダリングエンジン６２２は、次いで、カメラをユーザの左および右眼の位置においてシミュレートし、シミュレートされたカメラの視点に基づいて、コンテンツを生成することによって、コンテンツを生成してもよい。上記に議論されるように、レンダリングカメラは、可能性として、仮想世界内のオブジェクトのデータベースから仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。レンダリングカメラは、レンダリングエンジン内に含まれ、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされてもよい。例えば、仮想画像は、仮想世界内のオブジェクトを視認する、開口、レンズ、および検出器を有する、カメラ（「レンダリングカメラ」に対応する）によって捕捉されたかのようにレンダリングされてもよい。仮想画像は、「レンダリングカメラ」の位置を有する、そのようなカメラの視点から撮影される。例えば、仮想画像は、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所（本明細書に議論されるような視点中心または回転中心または他の場所等）に開口を有するカメラの視点から捕捉されたかのようにレンダリングされる。
【0508】
レンダリングカメラコントローラ７５８は、ＣｏＲ推定モジュール７２４によって決定された左および右眼回転中心（ＣｏＲ）に基づいて、および／またはＣｏＰ推定モジュール７３２によって決定された左および右眼視点中心（ＣｏＰ）に基づいて、左および右カメラの位置を決定してもよい。いくつかの実施形態では、レンダリングカメラコントローラ７５８は、種々の要因に基づいて、ＣｏＲ場所とＣｏＰ場所との間で切り替えてもよい。実施例として、レンダリングカメラコントローラ７５８は、種々のモードでは、レンダリングカメラをＣｏＲ場所に常時位置合わせする、レンダリングカメラをＣｏＰ場所に常時位置合わせする、種々の要因に基づいて、経時的に、ＣｏＲ場所へのレンダリングカメラの位置合わせとＣｏＰ場所へのレンダリングカメラの位置合わせとの間でトグルする、または離散的に切り替える、または種々の要因に基づいて、経時的に、ＣｏＲ場所とＣｏＰ場所との間で光学軸（または視軸）に沿った異なる位置の範囲のいずれかにレンダリングカメラを動的に位置合わせしてもよい。ＣｏＲおよびＣｏＰ位置は、随意に、平滑フィルタ７５６を通して通過し得（レンダリングカメラ位置付けのための前述のモードのいずれかにおいて）、これは、ＣｏＲおよびＣｏＰ場所を経時的に平均し、これらの位置における雑音を低減させ、シミュレートされたレンダリングカメラをレンダリングする際のジッタを防止し得る。
【0509】
少なくともいくつかの実施形態では、レンダリングカメラは、眼追跡モジュール６１４によって識別される推定されたＣｏＲまたはＣｏＰの位置に配置されるピンホールを伴うピンホールカメラとしてシミュレートされてもよい。ＣｏＰは、ＣｏＲからオフセットされるため、レンダリングカメラの位置がユーザのＣｏＰに基づくときは常時、レンダリングカメラおよびそのピンホールの両方の場所が、ユーザの眼が回転するにつれて偏移する（例えば、図１６Ａおよび１６Ｂに示されるようなレンダリングカメラが眼回転に伴って線形に平行移動する方法参照）。対照的に、レンダリングカメラの位置が、ユーザのＣｏＲに基づくときは常時、レンダリングカメラのピンホールの場所は、眼回転に伴って移動しないが、レンダリングカメラ（ピンホールの背後）は、いくつかの実施形態では、眼回転に伴って移動し得る。レンダリングカメラの位置がユーザのＣｏＲに基づく、他の実施形態では、レンダリングカメラは、ユーザの眼に伴って移動（すなわち、回転）しなくてもよい（例えば、図１７Ａおよび１７Ｂに描写されるようなレンダリングカメラが眼回転に伴って移動または線形に平行移動しない方法参照）。
【0510】
眼追跡システムを用いてユーザの角膜を位置特定する実施例
図８Ａは、眼の角膜球面を示す、眼の概略図である。図８Ａに示されるように、ユーザの眼８１０は、角膜８１２と、瞳孔８２２と、水晶体８２０とを有し得る。角膜８１２は、角膜球面８１４によって示される、略球状形状を有し得る。角膜球面８１４は、角膜中心とも称される、中心点８１６と、半径８１８とを有し得る。ユーザの眼の半球状角膜は、角膜中心８１６の周囲に湾曲し得る。
図８Ａは、眼の角膜球面を示す、眼の概略図である。図８Ａに示されるように、ユーザの眼８１０は、角膜８１２と、瞳孔８２２と、水晶体８２０とを有し得る。角膜８１２は、角膜球面８１４によって示される、略球状形状を有し得る。角膜球面８１４は、角膜中心とも称される、中心点８１６と、半径８１８とを有し得る。ユーザの眼の半球状角膜は、角膜中心８１６の周囲に湾曲し得る。
【0511】
図８Ｂ－８Ｅは、３Ｄ角膜中心推定モジュール７１６および眼追跡モジュール６１４を使用してユーザの角膜中心８１６を位置特定する、実施例を図示する。
【0512】
図８Ｂに示されるように、３Ｄ角膜中心推定モジュール７１６は、角膜閃光８５４を含む、眼追跡画像８５２を受信してもよい。３Ｄ角膜中心推定モジュール７１６は、次いで、光線８５６を眼カメラ座標系内に投射するために、眼カメラ座標系８５０内において、眼カメラ３２４および光源３２６の既知の３Ｄ位置（眼追跡付帯性質および固有性質データベース７０２、仮定された眼寸法データベース７０４、および／またはユーザ毎較正データ７０６内のデータに基づき得る）をシミュレートしてもよい。少なくともいくつかの実施形態では、眼カメラ座標系８５０は、その原点を眼追跡カメラ３２４の３Ｄ位置に有してもよい。
【0513】
図８Ｃでは、３Ｄ角膜中心推定モジュール７１６は、第１の位置における角膜球面８１４ａ（データベース７０４からの仮定された眼寸法に基づき得る）および角膜曲率中心８１６ａをシミュレートする。３Ｄ角膜中心推定モジュール７１６は、次いで、角膜球面８１４ａが光を光源３２６から閃光位置８５４に適切に反射させるであろうかどうかをチェックしてもよい。図８Ｃに示されるように、第１の位置は、光線８６０ａが光源３２６と交差しないため、合致しない。
【0514】
図８Ｄと同様に、３Ｄ角膜中心推定モジュール７１６は、第２の位置における角膜球面８１４ｂおよび角膜曲率中心８１６ｂをシミュレートする。３Ｄ角膜中心推定モジュール７１６は、次いで、角膜球面８１４ｂが、光を光源３２６から閃光位置８５４に適切に反射させるかどうかをチェックする。図８Ｄに示されるように、第２の位置もまた、合致しない。
【0515】
図８Ｅに示されるように、３Ｄ角膜中心推定モジュール７１６は、最終的に、角膜球面の正しい位置が角膜球面８１４ｃおよび角膜曲率中心８１６ｃであることを決定することが可能である。３Ｄ角膜中心推定モジュール７１６は、源３２６からの光が、角膜球面から適切に反射し、カメラ３２４によって画像８５２上の閃光８５４の正しい場所に結像されるであろうことをチェックすることによって、図示される位置が正しいことを確認する。本配列、および光源３２６、カメラ３２４の既知の３Ｄ位置、およびカメラの光学性質（焦点距離等）を用いることで、３Ｄ角膜中心推定モジュール７１６は、角膜の曲率の中心８１６の３Ｄ場所（ウェアラブルシステムに対する）を決定し得る。
【0516】
少なくとも図８Ｃ－８Ｅに関連して本明細書に説明されるプロセスは、事実上、ユーザの角膜中心の３Ｄ位置を識別するための反復、繰り返し、または最適化プロセスであり得る。したがって、複数の技法（例えば、反復、最適化技法等）のいずれかが、効率的かつ迅速に選別する、または可能性として考えられる位置の検索空間を低減させるために使用されてもよい。さらに、いくつかの実施形態では、システムは、光源３２６等の２つ、３つ、４つ、またはそれよりも多くの光源を含んでもよく、これらの光源の全てのうちのいくつかは、異なる位置に配置され、画像８５２上の異なる位置に位置する、閃光８５４等の複数の閃光および異なる原点および方向を有する、光線８５６等の複数の光線をもたらしてもよい。そのような実施形態は、モジュール７１６が、閃光および光線の一部または全部がその個別の光源と画像８５２上のその個別の位置との間に適切に反射される結果をもたらす、角膜位置を識別することを模索し得るため、３Ｄ角膜中心推定モジュール７１６の正確度を向上させ得る。言い換えると、これらの実施形態では、光源の一部または全部の位置が、図８Ｂ－８Ｅの３Ｄ角膜位置決定（例えば、反復、最適化技法等）プロセスに依拠し得る。いくつかの実装では、システムは、最適化プロセスを実施する前に、それに沿って角膜の中心が常駐する、ベクトルまたは光線（すなわち、２Ｄ角膜中心位置）を決定してもよい。そのような実装では、３Ｄ角膜中心推定モジュール７１６は、そのようなベクトルに沿って、角膜位置のみを検索し得、これは、最適化プロセスを実施するとき、算出および／または時間の節約を提供する役割を果たし得る。これらの実装のうちの少なくともいくつかでは、そのようなベクトルを決定する前に、システムは、最初に、（ｉ）眼カメラ座標系８５０の原点と、第１の光源（例えば、光源３２６ａ）と、第１の光源によって生産された第１の閃光（例えば、閃光８５４ａ）との間の第１の平面を定義し、（ｉｉ）眼カメラ座標系８５０の原点と、第２の光源（例えば、光源３２６ｂ）と、第２の光源によって生産された第２の閃光（例えば、閃光８５４ｂ）との間の第２の平面を定義してもよい。システムは、次いで、単に、第１の平面および第２の平面のクロス積を計算し、それに沿って角膜の中心が常駐する、ベクトルまたは光線（すなわち、２Ｄ角膜中心位置）を決定し得る。
【0517】
眼追跡画像の座標系を正規化する実施例
図９Ａ－９Ｃは、図７Ａの座標系正規化モジュール７１８等のウェアラブルシステム内のコンポーネントによる、眼追跡画像の座標系の例示的正規化を図示する。ユーザの瞳孔場所に対する眼追跡画像の座標系の正規化は、ユーザの顔に対するウェアラブルシステムの滑脱（例えば、ヘッドセット滑脱）を補償し得、そのような正規化は、眼追跡画像とユーザの眼との間の一貫した配向および距離を確立し得る。
図９Ａ－９Ｃは、図７Ａの座標系正規化モジュール７１８等のウェアラブルシステム内のコンポーネントによる、眼追跡画像の座標系の例示的正規化を図示する。ユーザの瞳孔場所に対する眼追跡画像の座標系の正規化は、ユーザの顔に対するウェアラブルシステムの滑脱（例えば、ヘッドセット滑脱）を補償し得、そのような正規化は、眼追跡画像とユーザの眼との間の一貫した配向および距離を確立し得る。
【0518】
図９Ａに示されるように、座標系正規化モジュール７１８は、ユーザの角膜の回転中心の推定された３Ｄ座標９００を受信してもよく、画像８５２等の非正規化眼追跡画像を受信してもよい。眼追跡画像８５２および座標９００は、実施例として、眼追跡カメラ３２４の場所に基づく、非正規化座標系８５０内にあってもよい。
【0519】
第１の正規化ステップとして、座標系正規化モジュール７１８は、図９Ｂに示されるように、座標系のｚ－軸（例えば、輻輳・開散運動深度軸）が座標系の原点と角膜曲率中心座標９００との間のベクトルと整合され得るように、座標系８５０を回転座標系９０２へと回転させてもよい。特に、座標系正規化モジュール７１８は、ユーザの角膜曲率中心の座標９００が回転画像９０４の平面に対して法線方向となるまで、眼追跡画像８５０を回転眼追跡画像９０４へと回転させてもよい。
【0520】
第２の正規化ステップとして、座標系正規化モジュール７１８は、図９Ｃに示されるように、角膜曲率中心座標９００が正規化された座標系９１０の原点から標準的正規化された距離９０６にあるように、回転座標系９０２を正規化された座標系９１０へと平行移動させてもよい。特に、座標系正規化モジュール７１８は、回転眼追跡画像９０４を正規化された眼追跡画像９１２へと平行移動させてもよい。少なくともいくつかの実施形態では、標準的な正規化された距離９０６は、約３０ミリメートルであってもよい。所望に応じて、第２の正規化ステップは、第１の正規化ステップに先立って実施されてもよい。
【0521】
眼追跡システムを用いてユーザの瞳孔重心を位置特定する実施例
図９Ｄ－９Ｇは、３Ｄ瞳孔中心ロケータモジュール７２０および眼追跡モジュール６１４を使用してユーザの瞳孔中心（例えば、図８Ａに示されるように、ユーザの瞳孔８２２の中心）を位置特定する、実施例を図示する。
図９Ｄ－９Ｇは、３Ｄ瞳孔中心ロケータモジュール７２０および眼追跡モジュール６１４を使用してユーザの瞳孔中心（例えば、図８Ａに示されるように、ユーザの瞳孔８２２の中心）を位置特定する、実施例を図示する。
【0522】
図９Ｄに示されるように、３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔重心９１３（例えば、瞳孔識別モジュール７１２によって識別されるようなユーザの瞳孔の中心）を含む、正規化された眼追跡画像９１２を受信してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、次いで、眼カメラ３２４の正規化された３Ｄ位置９１０をシミュレートし、瞳孔重心９１３を通して、光線９１４を正規化された座標系９１０内に投射してもよい。
【0523】
図９Ｅでは、３Ｄ瞳孔中心ロケータモジュール７２０は、３Ｄ角膜中心推定モジュール７１６からのデータに基づいて（および図８Ｂ－８Ｅに関連してより詳細に議論されるように）、曲率中心９００を有する角膜球面９０１等の角膜球面をシミュレートしてもよい。実施例として、角膜球面９０１は、図８Ｅに関連して識別された曲率中心８１６ｃの場所に基づいて、および図９Ａ－９Ｃの正規化プロセスに基づいて、正規化された座標系９１０内に位置付けられてもよい。加えて、３Ｄ瞳孔中心ロケータモジュール７２０は、図９Ｅに示されるように、光線９１４（例えば、正規化された座標系９１０の原点とユーザの瞳孔の正規化された場所との間の光線）とシミュレートされた角膜との間の第１の交点９１６を識別してもよい。
【0524】
図９Ｆに示されるように、３Ｄ瞳孔中心ロケータモジュール７２０は、角膜球面９０１に基づいて、瞳孔球面９１８を決定してもよい。瞳孔球面９１８は、角膜球面９０１と共通曲率中心を共有するが、より小さい半径を有し得る。３Ｄ瞳孔中心ロケータモジュール７２０は、角膜中心と瞳孔中心との間の距離に基づいて、角膜中心９００と瞳孔球面９１８との間の距離（例えば、瞳孔球面９１８の半径）を決定してもよい。いくつかの実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図７Ａの仮定された眼寸法７０４から、眼追跡付帯性質および固有性質データベース７０２から、および／またはユーザ毎較正データ７０６から決定されてもよい。他の実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図７Ａのユーザ毎較正データ７０６から決定されてもよい。
【0525】
図９Ｇに示されるように、３Ｄ瞳孔中心ロケータモジュール７２０は、種々の入力に基づいて、ユーザの瞳孔中心の３Ｄ座標を位置特定してもよい。実施例として、３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔球面９１８の３Ｄ座標および半径、シミュレートされた角膜球面９０１と正規化された眼追跡画像９１２内の瞳孔重心９１３と関連付けられた光線９１４との間の交点９１６の３Ｄ座標、角膜の屈折率に関する情報、および空気の屈折率等の他の関連情報（眼追跡付帯性質および固有性質データベース７０２内に記憶されてもよい）を利用して、ユーザの瞳孔の中心の３Ｄ座標を決定してもよい。特に、３Ｄ瞳孔中心ロケータモジュール７２０は、シミュレーションにおいて、空気（約１．００の第１の屈折率における）と角膜材料（約１．３８の第２の屈折率における）との間の屈折差に基づいて、光線９１６を屈折された光線９２２へと屈曲させてもよい。角膜によって生じる屈折を考慮後、３Ｄ瞳孔中心ロケータモジュール７２０は、屈折された光線９２２と瞳孔球面９１８との間の第１の交点９２０の３Ｄ座標を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、ユーザの瞳孔中心９２０が屈折された光線９２２と瞳孔球面９１８との間のおおよそ第１の交点９２０に位置することを決定してもよい。本配列を用いることで、３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔中心９２０の３Ｄ場所（ウェアラブルシステムに対する）を正規化された座標系９１０内で決定し得る。所望に応じて、ウェアラブルシステムは、瞳孔中心９２０の座標をオリジナル眼カメラ座標系８５０へと正規化解除することができる。瞳孔中心９２０は、角膜曲率中心９００とともに使用され、とりわけ、光学軸決定モジュール７２２を使用して、ユーザの光学軸と、輻輳・開散運動深度推定モジュール７２８によって、ユーザの輻輳・開散運動深度とを決定してもよい。
【0526】
角膜屈折の考慮は、可能性として、図９Ｅに示されるように、光線９１４（すなわち、正規化された座標系９１０の原点とユーザの瞳孔の正規化された場所との間の光線）とシミュレートされた角膜との間の第１の交点９１６に基づくものより安定した決定された瞳孔位置をもたらし得る。これは、部分的に、算出することがより単純であるが、第１の交点９１６は、眼の物理的特徴に対応し得ず、したがって、固定体として眼とともに移動し得ないため、当てはまる。対照的に、角膜屈折を考慮した瞳孔中心９２０の計算は、視認角度の結果として、依然として、ある変動量が存在する場合でも、眼の物理的瞳孔位置により良好に対応し得る。種々の実装では、したがって、眼の光学軸の決定は、したがって、光線９１４とシミュレートされた角膜との間の第１の交点９１６ではなく、真の瞳孔中心の計算を伴い得る。
【0527】
角膜の屈折を含むことにおける顕著な利点は、回転中心（ＣｏＲ）が眼の光学軸に沿った角膜中心からの固定距離における点として推定されるときに生じる。特に、瞳孔位置を決定する際に角膜屈折を含むことは、眼の異なる配向に関する回転中心を計算する際の変動を有意に低減させ得る。例えば、変動は、ヘッドセットの再搭載の間等、眼が全体として、再搭載の際、ヘッドセットに対して異なるように配向され得るため、眼が全体としてカメラ座標フレーム内で移動するときに生じ得る。瞳孔中心９２０は、眼の物理的瞳孔位置により良好に対応するため、眼が全体としてカメラ座標フレーム内で移動するとき、ＣｏＲに殆ど変動が存在し得ない。有利には、角膜表面の屈折を含むことは、ヘッドセットがユーザの頭部上で交換されるときを決定する際に潜在的に使用され得る、より安定しかつ正確なＣｏＲをもたらし得る、より正しいレンダリングカメラ設置を可能にし得る、他の新規視線追跡アルゴリズムを可能にし得る、またはそれらの任意の組み合わせであり得る。加えて、眼の安定し、徐々に変化する特徴としてのＣｏＲは、潜在的に、マルチフレームカルマンタイプ時間フィルタによって追跡され、他の用途のための幾何学的基準場所を提供し得る。図９Ｈは、角膜屈折を含むことおよび角膜屈折を含まないことに由来する瞳孔中心の例示的な計算された場所を図示する。瞳孔中心が、角膜屈折の影響を含まずに計算されるとき、外部瞳孔９６０が、結果として生じ得る。外部瞳孔中心９６０は、図９Ｅに示されるように光線９１４（すなわち、正規化された座標系９１０の原点とユーザの瞳孔の正規化された場所との間の光線）とシミュレートされた角膜との間の第１の交点９１６に対応し得る。瞳孔中心が、角膜屈折を考慮して計算されると、屈折された瞳孔中心９６２が、結果として生じ得る。屈折された瞳孔中心９６２は、図９Ｇに示されるように、瞳孔中心９２０に対応し得る。外部瞳孔中心９６０および屈折された瞳孔中心９６２の異なる場所は、角膜中心９６４から眼の光学軸に沿った固定距離として決定されるように、眼の回転中心の異なる計算をもたらし得る。例えば、外部瞳孔中心９６０は、外部回転中心９６８をもたらし得る。外部回転中心９６８は、屈折された瞳孔中心９６２から計算される回転中心９６６から有意に変動し得る。
【0528】
図９Ｉ－９Ｌは、４００超のデータセットの収集を使用して計算された異なる瞳孔中心に基づく、眼の計算された回転中心の例示的実験変動量を図示する。選択されたデータは、明白なパイプライン失敗例を除外するために、４つの閃光および有効瞳孔中心（すなわち、３つのｘ、ｙ、ｚ座標成分の全てがゼロと等しくない）を有する、フレームのみとした。異なる回転中心（ＣｏＲ）から角膜曲率中心までの距離値（Ｒ）が、検討され、Ｒ＝４．７ｍｍがほぼ最適平均結果を与えることが見出された。しかしながら、具体的ユーザ距離値は、ＣｏＲ座標のさらに小さい変動量を提供するようにも調節されることができる。
【0529】
図９Ｉは、異なる瞳孔中心のｘ、ｙ、およびｚ座標の３次元グラフおよび上記に説明されるデータセットに関する異なる瞳孔中心を使用して計算された対応するＣｏＲを図示する。図９Ｊは、ＸＹ投影における図９Ｉのデータを図示する。クラスタ９７０は、外部瞳孔中心９６０に関する座標に対応し、クラスタ９７２は、正しい屈折された瞳孔中心９６２に関する座標に対応し、クラスタ９７４は、角膜場所（例えば、３次元角膜中心場所）に対応し、クラスタ９７８は、正しい屈折された瞳孔中心９６２を使用したＣｏＲに対応し、クラスタ９８０は、外部瞳孔中心９６０を使用したＣｏＲに対応する。クラスタ９７８は、クラスタ９８０より、サイズが、具体的には、ｘ方向に小さく、屈折された瞳孔中心９６２を使用したＣｏＲでは、外部瞳孔中心９６０を使用したＣｏＲより少ない変動量を示す。
【表1】
【0530】
表１から分かるように、ＣｏＲのｘ－成分の標準偏差（またはΣ）は、外部瞳孔中心９６０のときと比較して、屈折された瞳孔中心９６２が計算のために使用されたとき、約半分に低減された。総３次元標準偏差（Σ３ｄ）もまた、屈折された瞳孔中心９６２の使用で有意に低減された。
【0531】
図９Ｋおよび９Ｌは、それぞれ、４００超のデータセットの集合に関するＣｏＲから角膜曲率中心までの距離の関数として、平均値および中央値ＣｏＲ標準偏差を図示する。グラフ９９１Ｌおよび９９１Ｒは、それぞれ、左および右眼に関するＣｏＲから角膜曲率中心距離の関数として、平均値３次元ＣｏＲ標準偏差（Σ３ｄ）を図示する。グラフ９９２Ｌおよび９９２Ｒは、それぞれ、左および右眼に関するＣｏＲから角膜曲率中心距離の中央値３次元ＣｏＲ標準偏差（Σ３ｄ）を図示する。曲線９８２Ａは、総左眼平均値Σ３ｄに対応し、曲線９８２Ｂは、総右眼平均値Σ３ｄに対応し、曲線９８２Ｃは、総左眼中央値Σ３ｄに対応し、曲線９８２Ｄは、総右眼中央値Σ３ｄに対応する。曲線９８４Ａ－Ｄは、種々のΣ３ｄのｘ－成分に対応し、曲線９９０Ａ－Ｄは、種々のΣ３ｄのｙ－成分に対応し、曲線９８６Ａ－Ｄは、種々のΣ３ｄのｚ－成分に対応する。
【0532】
図９Ｍは、Σ３ｄの最小値を提供するＣｏＲから角膜までの距離の値として、ユーザデータセット毎に個々に計算される最適半径の例示的分布を図示する。分布の平均値は、Ｒ＝４．９ｍｍであることが見出され、標準偏差は、１．５ｍｍであった。非常に小半径（Ｒ 約１ｍｍ）を伴うユーザは、非常に不良な視線追跡を伴う例であると見出され、したがって、除外される必要があった。
【0533】
光学軸と視軸との間の差異の実施例
図７Ａの光学軸／視軸マッピングモジュール７３０に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸（その瞳孔の中心およびその角膜の曲率中心によって定義される）が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図１０は、眼の光学軸１００２と、眼の視軸１００４と、これらの軸間のオフセットとを図示する、眼１０００の実施例である。加えて、図１０は、眼の瞳孔中心１００６と、眼の角膜曲率の中心１００８と、眼の平均回転中心（ＣｏＲ）１０１０とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心１００８は、寸法１０１２によって示されるように、眼の平均回転中心（ＣｏＲ）１０１０の正面の約４．７ｍｍにあり得る。加えて、眼の視点中心１０１４は、眼の角膜曲率の中心１００８の正面の約５．０１ｍｍ、ユーザの角膜の外側表面１０１６の約２．９７ｍｍ背後、および／またはユーザの瞳孔中心１００６の真正面（例えば、眼１０００の前房内の場所に対応する）にあり得る。付加的実施例として、寸法１０１２は、３．０ｍｍ～７．０ｍｍ、４．０～６．０ｍｍ、４．５～５．０ｍｍ、または４．６～４．８ｍｍ、またはこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心（ＣｏＰ）１０１４は、少なくともいくつかの実施形態では、レンダリングカメラをＣｏＰに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
図７Ａの光学軸／視軸マッピングモジュール７３０に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸（その瞳孔の中心およびその角膜の曲率中心によって定義される）が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図１０は、眼の光学軸１００２と、眼の視軸１００４と、これらの軸間のオフセットとを図示する、眼１０００の実施例である。加えて、図１０は、眼の瞳孔中心１００６と、眼の角膜曲率の中心１００８と、眼の平均回転中心（ＣｏＲ）１０１０とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心１００８は、寸法１０１２によって示されるように、眼の平均回転中心（ＣｏＲ）１０１０の正面の約４．７ｍｍにあり得る。加えて、眼の視点中心１０１４は、眼の角膜曲率の中心１００８の正面の約５．０１ｍｍ、ユーザの角膜の外側表面１０１６の約２．９７ｍｍ背後、および／またはユーザの瞳孔中心１００６の真正面（例えば、眼１０００の前房内の場所に対応する）にあり得る。付加的実施例として、寸法１０１２は、３．０ｍｍ～７．０ｍｍ、４．０～６．０ｍｍ、４．５～５．０ｍｍ、または４．６～４．８ｍｍ、またはこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心（ＣｏＰ）１０１４は、少なくともいくつかの実施形態では、レンダリングカメラをＣｏＰに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
【0534】
図１０はまた、それとレンダリングカメラのピンホールが整合され得る、ヒトの眼１０００内のそのような場所を図示する。図１０に示されるように、レンダリングカメラのピンホールは、ヒトの眼１０００の（ａ）瞳孔または虹彩１００６の中心および（ｂ）角膜曲率の中心１００８の両方より角膜の外側表面に近い、ヒトの眼１０００の光学軸１００２または視軸１００４に沿った場所１０１４と位置合わせされてもよい。例えば、図１０に示されるように、レンダリングカメラのピンホールは、角膜１０１６の外側表面から後方に約２．９７ミリメートルおよび角膜曲率の中心１００８から前方に約５．０１ミリメートルにある、ヒトの眼１０００の光学軸１００２に沿った場所１０１４と位置合わせされてもよい。レンダリングカメラのピンホールの場所１０１４および／またはそれに対して場所１０１４が対応するヒトの眼１０００の解剖学的領域は、ヒトの眼１０００の視点中心を表すと見なされ得る。図１０に示されるようなヒトの眼１０００の光学軸１００２は、角膜曲率の中心１００８および瞳孔または虹彩１００６の中心を通る最短線を表す。ヒトの眼１０００の視軸１００４は、ヒトの眼１０００の中心窩から瞳孔または虹彩１００６の中心まで延在する線を表すため、光学軸１００２と異なる。
コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする例示的プロセス
図１１は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための例示的方法１１００のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法１１００の実施形態は、ウェアラブルシステムによって、コンテンツをレンダリングし、眼追跡システムからのデータに基づいて、位置合わせ（例えば、ユーザとのウェアラブルデバイスのフィット感）に関するフィードバックを提供するために使用されることができる。
コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする例示的プロセス
図１１は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための例示的方法１１００のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法１１００の実施形態は、ウェアラブルシステムによって、コンテンツをレンダリングし、眼追跡システムからのデータに基づいて、位置合わせ（例えば、ユーザとのウェアラブルデバイスのフィット感）に関するフィードバックを提供するために使用されることができる。
【0535】
ブロック１１１０では、ウェアラブルシステムは、ユーザの片眼または両眼の画像を捕捉してもよい。ウェアラブルシステムは、少なくとも図３の実施例に示されるように、１つ以上の眼カメラ３２４を使用して、眼画像を捕捉してもよい。所望に応じて、ウェアラブルシステムはまた、ＩＲ光をユーザの眼上で光輝させ、対応する閃光を眼カメラ３２４によって捕捉された眼画像内に生産するように構成される、１つ以上の光源３２６を含んでもよい。本明細書に議論されるように、閃光は、眼追跡モジュール６１４によって、眼が見ている場所を含む、ユーザの眼についての種々の情報を導出するために使用されてもよい。
【0536】
ブロック１１２０では、ウェアラブルシステムは、ブロック１１１０において捕捉された眼画像内で閃光および瞳孔を検出してもよい。実施例として、ブロック１１２０は、閃光検出および標識化モジュール７１４によって、眼画像を処理し、眼画像内の閃光の２次元位置を識別するステップと、瞳孔識別モジュール７１２によって、眼画像を処理し、眼画像内の瞳孔の２次元位置を識別するステップとを含んでもよい。
【0537】
ブロック１１３０では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右角膜の３次元位置を推定してもよい。実施例として、ウェアラブルシステムは、ユーザの左および右角膜の曲率中心の位置およびそれらの曲率中心とユーザの左および右角膜との間の距離を推定してもよい。ブロック１１３０は、少なくとも図７Ａおよび８Ａ－８Ｅに関連して本明細書に説明されるように、曲率中心の位置を識別する３Ｄ角膜中心推定モジュール７１６を伴ってもよい。
【0538】
ブロック１１４０では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右瞳孔中心の３次元位置を推定してもよい。実施例として、ウェアラブルシステムおよび３Ｄ瞳孔中心ロケータモジュール７２０は、特に、少なくとも図７Ａおよび９Ｄ－９Ｇに関連して説明されるように、ブロック１１４０の一部として、ユーザの左および右瞳孔中心の位置を推定してもよい。
【0539】
ブロック１１５０では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右中心または回転（ＣｏＲ）の３次元位置を推定してもよい。実施例として、ウェアラブルシステムおよびＣｏＲ推定モジュール７２４は、特に、少なくとも図７Ａおよび１０に関連して説明されるように、ユーザの左および右眼に関するＣｏＲの位置を推定してもよい。特定の実施例として、ウェアラブルシステムは、角膜の曲率中心から網膜に向かう光学軸に沿って逆行することによって、眼のＣｏＲを見出し得る。
【0540】
ブロック１１６０では、ウェアラブルシステムは、ユーザのＩＰＤ、輻輳・開散運動深度、視点中心（ＣｏＰ）、光学軸、視軸、および他の所望の属性を眼追跡データから推定してもよい。実施例として、ブロック１１６０の一部として、ＩＰＤ推定モジュール７２６は、左および右ＣｏＲの３Ｄ位置を比較することによって、ユーザのＩＰＤを推定してもよく、輻輳・開散運動深度推定モジュール７２８は、左光学軸と右光学軸の交点（または交点の近く）または左視軸と右視軸の交点を見出すことによって、ユーザの深度を推定してもよく、光学軸決定モジュール７２２は、左および右光学軸を経時的に識別してもよく、光学軸／視軸マッピングモジュール７３０は、左および右視軸を経時的に識別してもよく、ＣｏＰ推定モジュール７３２は、左および右視点中心を識別してもよい。
【0541】
ブロック１１７０では、ウェアラブルシステムは、コンテンツをレンダリングしてもよく、随意に、ブロック１１２０－１１６０において識別された眼追跡データに部分的に基づいて、位置合わせに関するフィードバック（例えば、ユーザの頭部とのウェアラブルシステムのフィット感）を提供してもよい。実施例として、ウェアラブルシステムは、ライトフィールドレンダリングコントローラ６１８（図７Ｂ）およびレンダリングエンジン６２２に関連して議論されるように、レンダリングカメラのための好適な場所を識別し、次いで、レンダリングカメラの場所に基づいて、ユーザのためのコンテンツを生成してもよい。別の実施例として、ウェアラブルシステムは、位置合わせオブザーバ６２０に関連して議論されるように、ユーザに適切にフィットされているか、またはユーザに対するその適切な場所から滑脱しているかどうかを決定してもよく、デバイスのフィット感が調節の必要があるかどうかを示す、随意のフィードバックをユーザに提供してもよい。いくつかの実施形態では、ウェアラブルシステムは、不適切なまたはずれた位置合わせの影響を低減させる、最小限にする、または補償する試みにおいて、不適切なまたは準理想的位置合わせに基づいて、レンダリングされたコンテンツを調節してもよい。
【0542】
ユーザの眼移動に応答してコンテンツをレンダリングする例示的グラフ
図１２は、ウェアラブルシステムが、ユーザの眼移動に応答して深度平面を切り替え得る方法を図示する、例示的グラフ１２００ａ－１２００ｊのセットを含む。図４および７に関連して本明細書に議論されるように、ウェアラブルシステムは、複数の深度平面を含んでもよく、種々の深度平面は、異なるシミュレートされた深度において、または異なる遠近調節キューを伴って（例えば、種々のレベルの波面曲率または光線発散を伴って）、コンテンツをユーザに提示するように構成される。実施例として、ウェアラブルシステムは、第１の深度の範囲をシミュレートするように構成される、第１の深度平面と、第２の深度の範囲をシミュレートするように構成される、第２の深度平面とを含んでもよく、これらの２つの範囲は、望ましくは、重複し、切替の際のヒステリシスを促進し得るが、第２の深度の範囲は、概して、ユーザからより長い距離に延在してもよい。そのような実施形態では、ウェアラブルシステムは、ユーザの輻輳・開散運動深度、サッカード移動、および瞬目を追跡し、過剰な深度平面切替、過剰な遠近調節－輻輳・開散運動不整合、および遠近調節－輻輳・開散運動不整合の過剰な周期を回避し、深度平面切替の可視性を低減させることを模索する（例えば、瞬目およびサッカードの間、深度平面を偏移させることによって）様式において、第１の深度平面と第２の深度平面との間で切り替え得る。
図１２は、ウェアラブルシステムが、ユーザの眼移動に応答して深度平面を切り替え得る方法を図示する、例示的グラフ１２００ａ－１２００ｊのセットを含む。図４および７に関連して本明細書に議論されるように、ウェアラブルシステムは、複数の深度平面を含んでもよく、種々の深度平面は、異なるシミュレートされた深度において、または異なる遠近調節キューを伴って（例えば、種々のレベルの波面曲率または光線発散を伴って）、コンテンツをユーザに提示するように構成される。実施例として、ウェアラブルシステムは、第１の深度の範囲をシミュレートするように構成される、第１の深度平面と、第２の深度の範囲をシミュレートするように構成される、第２の深度平面とを含んでもよく、これらの２つの範囲は、望ましくは、重複し、切替の際のヒステリシスを促進し得るが、第２の深度の範囲は、概して、ユーザからより長い距離に延在してもよい。そのような実施形態では、ウェアラブルシステムは、ユーザの輻輳・開散運動深度、サッカード移動、および瞬目を追跡し、過剰な深度平面切替、過剰な遠近調節－輻輳・開散運動不整合、および遠近調節－輻輳・開散運動不整合の過剰な周期を回避し、深度平面切替の可視性を低減させることを模索する（例えば、瞬目およびサッカードの間、深度平面を偏移させることによって）様式において、第１の深度平面と第２の深度平面との間で切り替え得る。
【0543】
グラフ１２００ａは、ユーザの輻輳・開散運動深度の実施例を経時的に図示する。グラフ１２００ｂは、ユーザのサッカード信号または眼移動の速度の実施例を経時的に図示する。
【0544】
グラフ１２００ｃは、眼追跡モジュール６１４によって生成された輻輳・開散運動深度データ、特に、輻輳・開散運動深度推定モジュール７２８によって生成されたデータを図示し得る。グラフ１２００ｃ－１２００ｈに示されるように、眼追跡データは、眼追跡モジュール６１４内において、約６０Ｈｚのレートでサンプリングされ得る。グラフ１２００ｂと１２００ｃとの間に示されるように、眼追跡モジュール６１４内の眼追跡データは、ユーザの実際の眼移動から遅延１２０２だけ遅れ得る。実施例として、時間ｔ１では、ユーザの輻輳・開散運動深度は、ヒステリシス閾値１２１０ａを交差し得るが、ヒステリシス帯域交差検出モジュール７５２は、遅延１２０２後の時間ｔ２まで、イベントを認識し得ない。
【0545】
グラフ１２００ｃはまた、ヒステリシス帯域内の種々の閾値１２１０ａ、１２１０ｂ、１２１０ｃを図示し、これは、第１の深度平面と第２の深度平面（例えば、図１２における深度平面＃１および＃０）との間の遷移と関連付けられ得る。いくつかの実施形態では、ウェアラブルシステムは、ユーザの輻輳・開散運動深度が閾値１２１０ｂを上回る度に、深度平面＃１を用いてコンテンツを表示し、ユーザの輻輳・開散運動深度が閾値１２１０ｂ未満となる度に深度平面＃０を用いてコンテンツを表示しようとし得る。しかしながら、過剰な切替を回避するために、ウェアラブルシステムは、ヒステリシスを実装し得、それによって、ウェアラブルシステムは、ユーザの輻輳・開散運動深度が外側閾値１２１０ｃを超えるまで、深度平面＃１から深度平面＃０に切り替わらないであろう。同様に、ウェアラブルシステムは、ユーザの輻輳・開散運動深度が外側閾値１２１０ａを超えるまで、深度平面＃０から深度平面＃１に切り替わらないであろう。
【0546】
グラフ１２００ｄは、ユーザの輻輳・開散運動深度が、概して、深度平面＃１と関連付けられる体積、または概して、深度平面＃２と関連付けられた体積内にあるかどうか（例えば、ユーザの輻輳・開散運動深度が閾値１２１０ｂを上回るまたはそれ未満であるかどうか）を示す、深度平面選択モジュール７５０またはヒステリシス帯域交差検出モジュール７５２によって生成され得る、内部フラグを図示する。
【0547】
グラフ１２００ｅは、ユーザの輻輳・開散運動深度が閾値１２１０ａまたは１２１０ｃ等の外側閾値を超えるかどうかを示す、深度平面セクションモジュール７５０またはヒステリシス帯域交差検出モジュール７５２によって生成され得る、内部ヒステリシス帯域フラグを図示する。特に、グラフ１２００ｅは、ユーザの輻輳・開散運動深度が、ヒステリシス帯域を完全に交差し、アクティブ深度平面の体積の外側の領域の中に（例えば、アクティブ深度平面以外の深度平面と関連付けられた領域の中に）入り込み、したがって、潜在的に、望ましくない遠近調節－輻輳・開散運動不整合（ＡＶＭ）につながるかどうかを示す、フラグを図示する。
【0548】
グラフ１２００ｆは、ユーザの輻輳・開散運動が、所定の時間を上回ってアクティブ深度平面の体積の外側にあったかどうかを示す、深度平面選択モジュール７５０またはヒステリシス帯域交差検出モジュール７５２によって生成され得る、内部ＡＶＭフラグを図示する。ＡＶＭフラグは、したがって、ユーザが、ほぼ過剰または過剰な期間にわたって、望ましくない遠近調節－輻輳・開散運動不整合を受けていた可能性があるときを識別し得る。加えて、または代替として、内部ＡＶＭフラグはまた、ユーザの輻輳・開散運動が、アクティブ深度平面の体積を超えて所定の距離に及んだ、したがって、潜在的に過剰な遠近調節－輻輳・開散運動不整合をもたらしたかどうかを示し得る。言い換えると、ＡＶＭフラグは、ユーザの輻輳・開散運動が、閾値１２１０ａおよび１２１０ｃよりも閾値１２１０ｂからさらに付加的閾値だけ超えているときを示し得る。
【0549】
グラフ１２００ｇは、眼球イベント検出モジュール７５４によって生成され得る、内部瞬目フラグを図示し、これは、ユーザが、瞬目した、または瞬目しているときを決定し得る。本明細書に記載されるように、ユーザの瞬目に応じて、深度平面を切り替え、ユーザが平面の深度の切替を知覚する尤度を低減させることが所望され得る。
【0550】
グラフ１２００ｈは、深度平面選択モジュール７５０からの例示的出力を図示する。特に、グラフ１２００ｈは、深度平面選択モジュール７５０が、経時的に変化し得る、選択された深度平面を利用するための命令を、レンダリングエンジン６２２（図６参照）等のレンダリングエンジンに出力し得ることを示す。
【0551】
グラフ１２００ｉおよび１２００ｊは、レンダリングエンジン６２２が深度平面を切り替えることによる遅延と、新しい画像フレームと関連付けられた光を新しい深度平面内に提供し、深度平面の変化をもたらす必要があり得る、ディスプレイ２２０による遅延とを含む、ウェアラブルシステム内に存在し得る、遅延を図示する。
【0552】
ここで、種々の時間（ｔ０－ｔ１０）におけるグラフ１２００ａ－１２００ｊに図示される、イベントを参照する。
【0553】
時間ｔ０の周囲のある時点において、ユーザの輻輳・開散運動深度は、閾値１２１０ａを超え、これは、ヒステリシス閾値外となり得る。画像捕捉および信号処理と関連付けられた遅延後、ウェアラブルシステムは、グラフ１２００ｅに示されるように、ユーザの輻輳・開散運動深度がヒステリシス帯域内にあることを示す、信号を生成し得る。グラフ１２００ｅの実施例では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ユーザの輻輳・開散運動深度が閾値１２１０ａを超えることに連動して、約時間ｔ１においてヒステリシス帯域を超えたことのフラグを提示し得る。
【0554】
ユーザの輻輳・開散運動深度は、時間ｔ０から約時間ｔ４まで減少し続け得、その後、増加し得る。
【0555】
時間ｔ１では、ユーザの輻輳・開散運動深度は、閾値１２１０ｂを超え得、これは、深度平面＃１および＃０等の２つの深度平面間の中点であり得る。処理遅延１２０２後、眼追跡モジュール６１４は、グラフ１２００ｄに図示されるように、内部フラグを改変し、ユーザの輻輳・開散運動深度が、概して、深度平面＃１と関連付けられる、体積から、概して、深度平面＃０と関連付けられる体積へと移動したことを示し得る。
【0556】
時間ｔ３では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、グラフ１２００ａに示されるように、ユーザの輻輳・開散運動深度が、ヒステリシス帯域を通して全体的に移動し、外側閾値１２１０ｃを超えたことを決定し得る。その結果、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、グラフ１２００ｅに示されるように、ユーザの輻輳・開散運動深度がヒステリシス帯域外にあることを示す、信号を生成し得る。少なくともいくつかの実施形態では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュール（例えば、深度平面選択モジュール７５０）は、ユーザの輻輳・開散運動深度がそれらの２つの深度平面間のヒステリシス帯域外にあるときのみ、第１の深度平面と第２の深度平面との間で切り替え得る。
【0557】
少なくともいくつかの実施形態では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、時間ｔ３において、深度平面を切り替えるように構成されてもよい。特に、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、輻輳・開散運動深度が、現在選択されている深度平面（グラフ１２００ｈによって示されるような深度平面＃１）の体積から別の深度平面（深度平面＃０）の体積へと移動し、ヒステリシス帯域を全体的に超えることの決定に基づいて、深度平面を切り替えるように構成されてもよい。言い換えると、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ヒステリシス帯域を超え（グラフ１２００ｅが高である）、不整合の時間または大きさに基づく遠近調節－輻輳・開散運動不整合が検出される（グラフ１２００ｆが高である）度に、深度平面切替を実装し得る。そのような実施形態では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、レンダリングエンジン６２２に他の深度平面（深度平面＃０）に切り替えるように命令する信号をレンダリングエンジン６２２に提供し得る。しかしながら、図１２の実施例では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、少なくとも１つの他の条件が満たされるまで、深度平面切替を遅延させるように構成されてもよい。これらの付加的条件は、実施例として、瞬目条件、遠近調節－輻輳・開散運動不整合タイムアウト条件、および遠近調節－輻輳・開散運動大きさ条件を含んでもよい。
【0558】
時間ｔ４において、図１２の実施例では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、深度平面を切り替えるように構成されてもよい。特に、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ユーザの輻輳・開散運動が、所定の閾値時間より長い時間にわたって、深度平面＃０と関連付けられた体積内にあった（随意に、また、その期間にわたって、ヒステリシス帯域にあった）ことを決定し得る。所定の閾値時間の実施例は、５秒、１０秒、２０秒、３０秒、１分、および９０秒、およびこれらの値のいずれか間の任意の範囲を含む。そのような決定に応じて、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、グラフ１２００ｆに示されるように、ＡＶＭフラグを生成し、グラフ１２００ｈに示されるように、レンダリングエンジン６２２に深度平面＃０に切り替えるように指示し得る。いくつかの実施形態では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ユーザの輻輳・開散運動深度が現在の選択された深度体積から閾値距離を上回って検出される場合、ＡＶＭフラグを生成し、レンダリングエンジン６２２に深度平面を切り替えるように指示し得る。
【0559】
時間ｔ５では、遅延１２０４後、レンダリングエンジン６２２は、コンテンツを新しく選択された深度平面＃０にレンダリングすることを開始し得る。レンダリングおよびディスプレイ２２０を通したユーザへの光の伝達と関連付けられた遅延１２０６後、ディスプレイ２２０は、時間ｔ６までに、新しく選択された深度平面＃０に完全に切り替えられ得る。
【0560】
したがって、グラフ１２００ａ－ｊは、時間ｔ０およびとｔ６との間において、システムが、ユーザの輻輳・開散運動が、所定の期間を上回る時間にわたって、前の深度体積から離れて移動した後、ユーザの変化する輻輳・開散運動に応答し得、深度平面を切り替え得る方法を図示する。グラフ１２００ａ－ｊは、時間ｔ７とｔ１０との間において、システムが、所定の期間に先立ち得る、ユーザの変化する輻輳・開散運動に応答し得、ユーザの瞬目の検出に応じて、深度平面を切り替え得る方法を図示し得る。
【0561】
時間ｔ７では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ユーザの輻輳・開散運動深度が深度平面＃０と＃１との間のヒステリシス領域に進入した（例えば、ユーザの輻輳・開散運動深度が外側閾値１２１０ｃを超えた）ことを検出し得る。それに応答して、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、グラフ１２００ｅに示されるように、ヒステリシスフラグを改変し得る。
【0562】
時間ｔ８では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ユーザの輻輳・開散運動深度が閾値１２１０ｂを超え、概して、深度平面＃０と関連付けられる、体積から、概して、深度平面＃１と関連付けられる体積へと移動したことを検出し得る。したがって、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、グラフ１２００ｄに示されるように、深度体積フラグを改変し得る。
【0563】
時間ｔ９では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ユーザの輻輳・開散運動深度が、閾値１２１０ａを超え、ヒステリシス体積から、概して、深度平面＃１と排他的に関連付けられる体積へと移動したことを検出し得る。それに応答して、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、グラフ１２００ｅに示されるように、ヒステリシスフラグを改変し得る。
【0564】
時間ｔ１０の周囲では、ユーザは、瞬目し得、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、その瞬目を検出し得る。一実施例として、眼球イベント検出モジュール７５４は、ユーザの瞬目を検出してもよい。それに応答して、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、グラフ１２００ｈに示されるように、瞬目フラグを生成し得る。少なくともいくつかの実施形態では、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、ヒステリシス帯域を超え（グラフ１２００ｅが高である）、瞬目が検出される（グラフ１２００ｇが高である）度に、深度平面切替を実装し得る。したがって、ライトフィールドレンダリングコントローラ６１８の１つ以上のモジュールは、レンダリングエンジン６２２に、時間ｔ１０において、深度平面を切り替えるように命令し得る。
【0565】
複数の深度平面を有する複合現実システムにおける例示的レンダリングモード
複合現実システムでは、コンピュータ生成（レンダリングされた）場面が、実および仮想オブジェクトが空間的に整合される（ユーザの視点から）ように、ヒトの眼に伝達され得る。ユーザに実オブジェクトと仮想オブジェクトとの間の空間整合の視知覚を提供するために、そこからコンピュータ生成場面がレンダリングおよび提示される、視点は、好ましくは、ユーザの眼の視点（例えば、位置および配向）に対応し得る。実施例として、ユーザは、「実世界」フレーム（その中に実オブジェクトが存在する）および「レンダリング世界」フレーム（その中に仮想オブジェクトが存在する）が相互に正確に整合されるとき、実および仮想オブジェクトが望ましい様式において空間的に整合されていると知覚し得る。
複合現実システムでは、コンピュータ生成（レンダリングされた）場面が、実および仮想オブジェクトが空間的に整合される（ユーザの視点から）ように、ヒトの眼に伝達され得る。ユーザに実オブジェクトと仮想オブジェクトとの間の空間整合の視知覚を提供するために、そこからコンピュータ生成場面がレンダリングおよび提示される、視点は、好ましくは、ユーザの眼の視点（例えば、位置および配向）に対応し得る。実施例として、ユーザは、「実世界」フレーム（その中に実オブジェクトが存在する）および「レンダリング世界」フレーム（その中に仮想オブジェクトが存在する）が相互に正確に整合されるとき、実および仮想オブジェクトが望ましい様式において空間的に整合されていると知覚し得る。
【0566】
図２のディスプレイ２２０を含む、ウェアラブルシステム２００等のデジタルライトフィールドディスプレイデバイスは、３Ｄ仮想コンテンツ（仮想オブジェクト）を表す、ライトフィールドが、１つ以上の深度平面を使用して、ユーザに種々の深度で提供され得る、複合現実システムの実施例である。深度平面は、その上に、仮想コンテンツが、投影または表示され、仮想ピクセルに変換され、ユーザに提供され得る、ユーザから可変距離における、１つ以上の仮想画面と比較され得る。したがって、複合現実システムは、ユーザから可変距離に位置する１つ以上の透明浮遊画面を有するシステムに対する光学的均等物であり得る。このように、デジタル化されたライトフィールドは、ユーザの虹彩を通して、その網膜上に投影され、３Ｄ仮想コンテンツの画像が、形成される（例えば、ユーザは、３Ｄ仮想コンテンツの画像を知覚する）。
【0567】
図１３は、仮想オブジェクトを含む、３Ｄ仮想コンテンツを表すライトフィールドが、ユーザおよびウェアラブルデバイスから離間される仮想画面を種々の距離においてシミュレートする、ウェアラブルデバイス上の光学構造であり得る、１つ以上の深度平面を使用して、ユーザの眼に提供される、複合現実システム１３００を示す。複合現実システム１３００は、図３のディスプレイ２２０またはその一部等の頭部装着型デジタルライトフィールドディスプレイデバイスの接眼レンズを表し得る、接眼レンズ１３１０を含んでもよい。そのようなシステムは、３Ｄ仮想オブジェクト１３３０を表すライトフィールドを、接眼レンズ１３１０を通して、ユーザの眼１３０２の網膜１３０３上に投影するように構成されてもよい。
【0568】
図１３はまた、その上に仮想オブジェクト１３３０および他の仮想コンテンツが、投影または表示され、仮想ピクセルに変換され得る、深度平面１３２１－１３２３を示す。図１３に描写される特定の実施例では、仮想オブジェクト１３３０は、深度平面１３２２上に投影され、それによって、仮想ピクセル１３３２に変換される。その結果、接眼レンズ１３１０（例えば、ディスプレイ２２０）によって生成された光は、仮想オブジェクト１３３０が深度平面１３２２のユーザからの距離に位置する物理的ディスプレイまたはプロジェクタ画面上に提供されるかのように、遠近調節キューをユーザの眼１３０２に提供し得る。頭部装着型デジタルディスプレイデバイスは、仮想ピクセル１３３２を表す、デジタル化されたライトフィールドを生成してもよく、そのようなライトフィールドを、接眼レンズ１３１０を通して、ユーザの眼１３０２の網膜１３０３上に投影してもよい。
【0569】
下記により詳細に議論されるであろうように、異なるレンダリングモードが、複合現実システム（図１３における複合現実システム１３００等）において採用され、異なるコンテンツのために、および／または異なる期間において、異なる眼遠近調節キューをユーザの視野を横断して提供してもよい。実施例として、複合現実システムは、仮想オブジェクトが、単一深度平面を使用して、一度に表示される（図１４Ａ－１４Ｂに示されるように）、離散可変焦点モードを採用してもよく、仮想オブジェクトが、２つの隣接する深度平面を使用して表示され、遠近調節キューを２つの深度平面間に生成する（図１４Ｃ－１４Ｄに示されるように）、混成可変焦点モードを採用してもよく、そして仮想オブジェクトが、２つ以上の深度平面を使用して表示され、２つ以上の遠近調節キューを同時に生成する（図１４Ｅ－１４Ｆに示されるように）、多焦点モードを採用してもよい。一般に、複合現実システムは、動作の間、種々の条件に応答して、これらと他のレンダリングモードとの間で切り替わり得る。実施例として、複合現実システムは、第１の種類のコンテンツ（単一深度に提供され得るテキスト等）を表示するとき、第１のレンダリングモード（離散可変焦点モード等）を利用してもよく、第２の種類のコンテンツ（種々の深度に同時に提供され得るコンテンツ等）を表示するとき、第２の異なるレンダリングモード（多焦点モード等）を利用してもよい。少なくともいくつかの実施形態では、図６のライトフィールドレンダリングコントローラ６１８は、本明細書に議論されるように、種々の入力および条件に基づいて、任意の所与の時間に採用される、レンダリングモードを選択するように構成されてもよい。
【0570】
単一深度平面レンダリングモード（離散可変焦点モード）
図１４Ａおよび１４Ｂに図示されるように、本明細書に説明されるウェアラブルシステムは、本明細書では、単一深度平面レンダリングモードと称され、離散可変焦点モードとも称される、モードでは、一度に単一深度平面を使用して、仮想現実オブジェクトをレンダリングすることができる。離散可変焦点モードでは、ウェアラブルシステムは、現在レンダリングされている仮想オブジェクトの全てを表示するために、ディスプレイの視野（ＦＯＶ）全体を横断して、単一深度平面を利用してもよい（それらのオブジェクトのうちのいくつかが、その深度平面と関連付けられたもの以外の深度に配置される場合でも）。言い換えると、ウェアラブルシステムは、ＦＯＶ全体を横断して、単一焦点または遠近調節キューを提供してもよい。当然ながら、ウェアラブルシステムは、コンテンツをレンダリングするために使用される深度平面を経時的に切り替え、したがって、レンダリングされる仮想コンテンツの遠近調節キューを経時的に改変してもよい（ユーザ輻輳・開散運動深度、仮想コンテンツの深度、および本明細書により詳細に議論されるような他の事実の変化に応答して）。一般に、離散可変焦点モードでは、１つのみの深度平面が、任意のある時間において、複合現実システムによって採用される。
図１４Ａおよび１４Ｂに図示されるように、本明細書に説明されるウェアラブルシステムは、本明細書では、単一深度平面レンダリングモードと称され、離散可変焦点モードとも称される、モードでは、一度に単一深度平面を使用して、仮想現実オブジェクトをレンダリングすることができる。離散可変焦点モードでは、ウェアラブルシステムは、現在レンダリングされている仮想オブジェクトの全てを表示するために、ディスプレイの視野（ＦＯＶ）全体を横断して、単一深度平面を利用してもよい（それらのオブジェクトのうちのいくつかが、その深度平面と関連付けられたもの以外の深度に配置される場合でも）。言い換えると、ウェアラブルシステムは、ＦＯＶ全体を横断して、単一焦点または遠近調節キューを提供してもよい。当然ながら、ウェアラブルシステムは、コンテンツをレンダリングするために使用される深度平面を経時的に切り替え、したがって、レンダリングされる仮想コンテンツの遠近調節キューを経時的に改変してもよい（ユーザ輻輳・開散運動深度、仮想コンテンツの深度、および本明細書により詳細に議論されるような他の事実の変化に応答して）。一般に、離散可変焦点モードでは、１つのみの深度平面が、任意のある時間において、複合現実システムによって採用される。
【0571】
図１４Ａ－１４Ｂは、それぞれ、離散可変焦点モードで動作し、コンテンツをユーザの眼１４０２に提示する、複合現実システム１４００Ａの上面および側面／等角図を示す。図１４Ａ－１４Ｂはまた、その上に仮想コンテンツが、投影され、仮想ピクセルに変換され得る、深度平面１４２１、１４２２、および１４２３を示す。離散可変焦点モードで動作する間、仮想コンテンツは、所与の時間において、深度平面１４２１－１４２３のうちの１つ上にのみ投影され得る。図１４Ａ－１４Ｂの実施例では、複合現実システム１４００Ａは、仮想コンテンツが、深度平面１４２２上に投影されるが、深度平面１４２１または１４２３のいずれ上にも投影されない、状態に切り替えられている。示されるように、深度平面１４２２上に投影された仮想コンテンツは、仮想ピクセル１４３２Ａに変換される。
【0572】
図４、６、７Ａ、７Ｂ、および１２に関連してより詳細に議論されるように、全てのピクセルをその上に設置するための深度（例えば、仮想コンテンツがその上に投影されるべき深度平面）の選択肢および深度平面間の切替のタイミングは、眼追跡および仮想コンテンツ情報に基づいてもよい。実施例として、ウェアラブルシステムは、離散可変焦点モードで動作する間、ユーザの輻輳・開散運動深度に基づいて、ユーザの輻輳・開散運動深度に基づくが、トリガイベントまで遅延される深度平面切替を伴って（例えば、図１２に関連して議論されるように、所定のＡＶＭ不整合タイムアウト後、ユーザ瞬目またはサッカードに応じて等）、仮想コンテンツの深度に基づいて、そして仮想コンテンツの深度に基づくが、トリガイベントまで遅延される深度平面切替を伴って（例えば、図１２に関連して議論されるように、所定のＡＶＭ不整合タイムアウト後、ユーザ瞬目またはサッカードに応じて等）、または任意のこれらの組み合わせに基づいて、アクティブである深度平面を切り替えてもよい。少なくともいくつかの実施形態では、深度平面選択モジュール７５０、ヒステリシス帯域交差検出モジュール７５２、および眼球イベント検出モジュール７５４のうちの１つ以上のものは、個々に、または組み合わせて、所望の深度平面切替スキームを実装するように構成されてもよい。
【0573】
混成深度平面レンダリングモード（混成可変焦点モード）
図１４Ｃおよび１４Ｄに図示されるように、本明細書に説明されるウェアラブルシステムは、２つの隣接する深度平面を使用して、仮想現実オブジェクトをレンダリングし、深度平面間にある、遠近調節または焦点キューを生成することができる。いくつかの実施形態では、本混成可変焦点モードは、ウェアラブルシステムが、遠近調節または焦点キューを、ウェアラブルシステム内の深度平面のセットによって提供される深度を含め、その間の任意の距離に生成することを可能にし得る。言い換えると、システムが、３つの深度平面を含む場合、そのうちの第１のものは、１フィートの遠近調節キューを提供し、第２のものは、１０フィートの遠近調節キューを提供し、第３のものは、光学無限遠の遠近調節キューを提供し、ウェアラブルシステムは、第１の平面の１フィート深度から第３の深度平面の光学無限遠深度までの任意の場所において、ユーザに遠近調節キューを提供することが可能であり得る。
図１４Ｃおよび１４Ｄに図示されるように、本明細書に説明されるウェアラブルシステムは、２つの隣接する深度平面を使用して、仮想現実オブジェクトをレンダリングし、深度平面間にある、遠近調節または焦点キューを生成することができる。いくつかの実施形態では、本混成可変焦点モードは、ウェアラブルシステムが、遠近調節または焦点キューを、ウェアラブルシステム内の深度平面のセットによって提供される深度を含め、その間の任意の距離に生成することを可能にし得る。言い換えると、システムが、３つの深度平面を含む場合、そのうちの第１のものは、１フィートの遠近調節キューを提供し、第２のものは、１０フィートの遠近調節キューを提供し、第３のものは、光学無限遠の遠近調節キューを提供し、ウェアラブルシステムは、第１の平面の１フィート深度から第３の深度平面の光学無限遠深度までの任意の場所において、ユーザに遠近調節キューを提供することが可能であり得る。
【0574】
図１４Ｃ－１４Ｄは、混成可変焦点モードで動作し、コンテンツをユーザの眼１４０２に提示する、複合現実システム１４００Ｃの上面および側面／等角図を示す。複合現実システム１４００Ｃは、例えば、図１４Ａ－１４Ｂを参照して上記に説明されるような複合現実システム１４００Ａと同一アーキテクチャを有してもよい。混成可変焦点モードで動作する間、仮想コンテンツは、遠近調節キューを平面間に生成するように、任意の所与の時点において、同時に、深度平面１４２１－１４２３のうちの２つ以上のもの上に投影されることができる。図１４Ｃ－１４Ｄの実施例では、複合現実システム１４００Ｃは、仮想コンテンツが深度平面１４２１および１４２２上に投影される、状態に切り替えられている。示されるように、深度平面１４２１および１４２２上に投影された仮想コンテンツは、それぞれ、仮想ピクセルセット１４３１Ｃおよび１４３２Ｃに変換される。仮想ピクセルセット１４３１Ｃおよび１４３２Ｃは、ともに混成し、その相対的強度に基づいて、深度平面１４２１と１４２２との間のある場所において、ユーザに遠近調節キューを提供し得る。
【0575】
混成可変焦点モードでは、ウェアラブルシステムは、ディスプレイのＦＯＶを横断して、全てのピクセルに関して同一焦点または遠近調節キューを提供してもよく、本遠近調節キューは、任意の対の隣接する深度平面の深度間で連続的に可変であってもよい。ウェアラブルシステムは、２つの深度平面間のピクセル強度を混成することによって、連続的に可変の遠近調節キューを達成し得る。実施例として、ウェアラブルシステムは、仮想オブジェクトを深度平面１４２１および１４２１の両方にレンダリングすることによって、深度平面１４２２と１４２１との間の遠近調節キューを有する、仮想オブジェクトを表示してもよい。仮想オブジェクトが深度平面１４２１の深度により近い、さらなる実施例では、ウェアラブルシステムは、平面１４２１の深度において、平面１４２２の深度より強い光強度（例えば、明度）で、仮想オブジェクトをレンダリングしてもよい。そのような配列では、２つの深度平面からの光は、ユーザが、深度平面１４２１の近傍にある（但し、依然として、平面１４２１と１４２２との間にある）遠近調節キューを有するように、仮想オブジェクトを知覚するように混成し得る。
【0576】
混成可変焦点モードでは、ウェアラブルシステムは、所望の遠近調節キューを提供するために混成すべき隣接する深度平面を選択するように構成される。しかしながら、遠近調節キューは、明度を連続的に変動させることによって、平面間で連続的に変動し得るため、深度平面切替のタイミングは、離散可変焦点モードにおけるほど有意ではなくなり得る。したがって、ウェアラブルシステムは、ユーザ瞬目、サッカード、またはＡＶＭタイムアウト等のトリガイベントを待機せずに、対の隣接する深度平面を形成する、２つの深度平面を切り替えるように構成されてもよい。代わりに、ウェアラブルシステムは、所望に応じて、ユーザの輻輳・開散運動深度、仮想コンテンツの深度、またはこれらおよび他の入力の組み合わせに応答して、経時的に、提供される遠近調節キューと、利用される深度平面とを平滑に変動させてもよい。
【0577】
複数の深度平面レンダリングモード（多焦点モード）
図１４Ｅおよび１４Ｆに図示されるように、本明細書に説明されるウェアラブルシステムは、多焦点モードにおいて、２つ以上の深度平面を使用して、仮想現実オブジェクトをレンダリングし、２つ以上の遠近調節キューを同時に生成することができる。言い換えると、所与のフレーム内の仮想コンテンツは、複数の深度を横断して、同時に提示されてもよい。実施例として、多焦点モードは、混成可変焦点モードに関連して説明される様式において、２つ以上の深度平面を使用して、第１の混成遠近調節キューを提供する、２つ以上の深度平面を使用して、第２の混成遠近調節キューを提供する、単一深度平面を使用して、第３の遠近調節キューを提供する、第２の単一深度平面を使用して、第４の遠近調節キューを提供する、またはこれらおよび他の焦点モードの組み合わせを使用して、種々の遠近調節キューを提供することを含んでもよい。
図１４Ｅおよび１４Ｆに図示されるように、本明細書に説明されるウェアラブルシステムは、多焦点モードにおいて、２つ以上の深度平面を使用して、仮想現実オブジェクトをレンダリングし、２つ以上の遠近調節キューを同時に生成することができる。言い換えると、所与のフレーム内の仮想コンテンツは、複数の深度を横断して、同時に提示されてもよい。実施例として、多焦点モードは、混成可変焦点モードに関連して説明される様式において、２つ以上の深度平面を使用して、第１の混成遠近調節キューを提供する、２つ以上の深度平面を使用して、第２の混成遠近調節キューを提供する、単一深度平面を使用して、第３の遠近調節キューを提供する、第２の単一深度平面を使用して、第４の遠近調節キューを提供する、またはこれらおよび他の焦点モードの組み合わせを使用して、種々の遠近調節キューを提供することを含んでもよい。
【0578】
図１４Ｅ－１４Ｆは、多焦点モードで動作し、コンテンツをユーザの眼１４０２に提示する、複合現実システム１４００Ｅの上面および側面／等角図を示す。複合現実システム１４００Ｅは、例えば、図１４Ａ－１４Ｄを参照して上記に説明されるような複合現実システム１４００Ａおよび／または１４００Ｃと同一アーキテクチャを有してもよい。多焦点モードで動作する間、仮想コンテンツは、２つ以上の異なる焦点キューを生成するように、任意の所与の時点において、同時に、深度平面１４２１－１４２３のうちの２つ以上のもの上に投影されることができる。図１４Ｅ－１４Ｆの実施例では、仮想コンテンツは、同時に、深度平面１４２１、１４２２、および１４２３上に投影される。示されるように、深度平面１４２１－１４２３上に投影された仮想コンテンツは、仮想ピクセルセット１４３１Ｅ－１４３３Ｅに変換される。
【0579】
一般に、ウェアラブルシステムは、多焦点モードで動作する間（または混成可変焦点モードで動作する間）、混成および非混成遠近調節キューを提供することができる。図１４Ｆに示されるように、深度平面１４２１および１４２２は、深度平面１４２１上のピクセル１４３１Ｅおよび深度平面１４２２上のピクセル１４３２Ｅを使用して、コンテンツ１４５０に混成遠近調節キューを提供するように構成されてもよく、深度平面１４２２上のピクセル１４３２Ｆおよび深度平面１４２３上のピクセル１４３３Ｆを使用して、コンテンツ１４５２に異なる混成遠近調節キューを提供するように構成されてもよく、深度平面１４２３上のピクセル１４３３Ｇを使用して、コンテンツ１４５４に非混成遠近調節キューを提供するように構成されてもよい。混成コンテンツ１４５２は、ユーザの視点の深度寸法を横断して伸展し、したがって、仮想ピクセル１４３３Ｆとしてレンダリングされた深度平面１４２３と関連付けられた深度における部分と、仮想ピクセル１４３２Ｆとしてレンダリングされた深度平面１４２２と関連付けられた異なる深度における付加的部分とを含む、コンテンツを含んでもよい。実施例として、混成コンテンツ１５４２は、仮想ピクセル１４３２Ｆが、深度軸と垂直な平面において、仮想ピクセル１４３３Ｆと重複しないように、非重複コンテンツを含んでもよい。他の実施形態では、混成コンテンツ１４５２は、重複および混成する仮想ピクセル１４３３Ｆおよび１４３２Ｆによってレンダリングされる、平面１４２２と１４２３との間の深度における、コンテンツを含んでもよい。重複および混成するピクセル１４３３Ｆおよび１４３２Ｆは、ピクセル１４３３Ｆおよび１４３２Ｆの相対的強度を変動させ、深度平面１４２２に向かって、または深度平面１４２２に向かって、見掛け深度を偏移させることを含んでもよい。実施例として、ピクセル１４３３Ｆを暗化させ、ピクセル１４３２Ｆを増幅または明化させることは、ユーザ知覚深度を深度平面１４２２に向かって偏移させる効果を有し得る。さらに、重複ピクセルは、重複および混成ピクセルが所望の強度を有するように（重複されるピクセルが、ディスプレイ内のその位置における光への複数の深度平面の寄与に起因して、過剰に明るく現れることを防止するため）、非重複ピクセルと異なる強度を有してもよい（概して、より低い強度であり得る）。これらは、単なる例証的実施例であって、一般に、ウェアラブルシステムは、混成および非混成遠近調節キューの任意の所望の組み合わせを提示してもよい。
【0580】
混成可変焦点モードに関連して議論されるように、深度平面切替のタイミングは、そのような切替が離散可変焦点モードである場合ほど、混成可変焦点モードおよび多焦点モード等の可変遠近調節キューを伴うモードでは、有意ではなくなり得る。したがって、ウェアラブルシステムは、ユーザ瞬目、サッカード、またはＡＶＭタイムアウト等のトリガイベントを待機せずに、多焦点モードにおいて、アクティブである深度平面を切り替えるように構成されてもよい。代わりに、ウェアラブルシステムは、所望に応じて、ユーザの輻輳・開散運動深度、仮想コンテンツの深度、またはこれらおよび他の入力の組み合わせに応答して、経時的に、提供される遠近調節キューと、利用される深度平面とを平滑に変動させてもよい。しかしながら、他の実装では、ユーザ瞬目、サッカード、またはＡＶＭタイムアウト等のトリガイベントが、利用されてもよい。
【0581】
種々のレンダリングモードにおける視点中心不整合の影響
１つ以上の深度平面上に投影されるとき、世界および実世界の両方をレンダリングするために決定され得る、特定の視点中心（ＣｏＰ）から、３Ｄ仮想コンテンツをレンダリングおよび視認することが望ましくあり得る。コンテンツが、レンダリング世界内の適切な視点中心からレンダリングされるとき、各仮想画面のピクセルは、具体的位置および配向を含み得る、実世界内の適切な視点中心から観察されるときの３Ｄ仮想コンテンツとして正確に現れ得る。しかしながら、同一コンテンツが、レンダリング世界内の異なる位置からレンダリングされる、または実世界内の異なる位置から視認される場合、３Ｄ仮想コンテンツは、そのような３Ｄ仮想コンテンツの画像に正確に類似し得ない。本レンダリングフレームワークは、ピンホールカメラモデルを使用して表されることができ、ＣｏＰは、３Ｄ仮想コンテンツの投影を正しく捕捉するような様式において、レンダリング世界（例えば、３Ｄレンダリング空間）内に位置付けられ、配向される、「仮想」または「レンダリング」ピンホールカメラとして表される。ＣｏＰに関連する付加的詳細は、図２２－２４Ｂに関して下記に説明される一方、図１５Ａ－１５Ｃおよび下記に提供される対応する説明は、種々の例示的レンダリングモード毎に、ＣｏＰ正確度および／または精度が複合現実システム性能に及ぼし得る影響をさらに実証する。
１つ以上の深度平面上に投影されるとき、世界および実世界の両方をレンダリングするために決定され得る、特定の視点中心（ＣｏＰ）から、３Ｄ仮想コンテンツをレンダリングおよび視認することが望ましくあり得る。コンテンツが、レンダリング世界内の適切な視点中心からレンダリングされるとき、各仮想画面のピクセルは、具体的位置および配向を含み得る、実世界内の適切な視点中心から観察されるときの３Ｄ仮想コンテンツとして正確に現れ得る。しかしながら、同一コンテンツが、レンダリング世界内の異なる位置からレンダリングされる、または実世界内の異なる位置から視認される場合、３Ｄ仮想コンテンツは、そのような３Ｄ仮想コンテンツの画像に正確に類似し得ない。本レンダリングフレームワークは、ピンホールカメラモデルを使用して表されることができ、ＣｏＰは、３Ｄ仮想コンテンツの投影を正しく捕捉するような様式において、レンダリング世界（例えば、３Ｄレンダリング空間）内に位置付けられ、配向される、「仮想」または「レンダリング」ピンホールカメラとして表される。ＣｏＰに関連する付加的詳細は、図２２－２４Ｂに関して下記に説明される一方、図１５Ａ－１５Ｃおよび下記に提供される対応する説明は、種々の例示的レンダリングモード毎に、ＣｏＰ正確度および／または精度が複合現実システム性能に及ぼし得る影響をさらに実証する。
【0582】
動作時、ユーザの眼の網膜上に投影される、デジタル化されたライトフィールドは、（レンダリング世界フレーム内の）仮想ピンホールカメラの視点および（実世界フレーム内の）ユーザの視点が整合されない場合、アーチファクトを含有する、または他の問題となる特性を呈する、３Ｄ仮想コンテンツの画像を形成する役割を果たし得る。１つの深度平面が採用される、単純シナリオに関して、仮想ピンホールカメラとユーザの視点との間の不整合は、３Ｄ仮想コンテンツの画像をユーザのＦＯＶ内の正しくない（意図されない）場所に形成する、デジタル化されたライトフィールドをもたらし得る。図１４Ａ－１４Ｆを参照して上記に説明される焦点モードのいずれかが採用されるシナリオ等、２つ以上の深度平面が採用される、シナリオに関して、仮想ピンホールカメラとユーザの視点との間の不整合は、場所間で飛び跳ねる、または飛び出るように現れる、および／または亀裂および／または転位等の視覚的アーチファクトを含む、３Ｄ仮想コンテンツの画像を形成する、デジタル化されたライトフィールドをもたらし得る。より具体的には、上記に述べられた焦点モードのうちの任意の１つで動作する、複合現実システム内のそのような不整合の発生は、１つの深度平面上で平面化されている（または深度平面間で混成されている）３Ｄ仮想コンテンツを別の深度平面上で平面化されている（または深度平面間で混成されている）３Ｄ仮想コンテンツに対して不適切に偏移させる、視差偏移を導入する役割を果たし得る。
【0583】
ＣｏＰ不整合の実施例として、図１５Ａは、離散可変焦点モードで動作し、ＣｏＰ不整合の存在下、コンテンツをユーザの眼１５０２に提示する、複合現実システム１５００Ａを示す。図１３を参照して上記に説明されるような複合現実システム１３００のように、複合現実システム１５００Ａは、接眼レンズ１５１０を含み、これは、１５Ｄ仮想オブジェクト１５３０を表すライトフィールドを、接眼レンズ１５１０を通して、ユーザの眼１５０２の網膜１５０３上に投影するように構成される、頭部装着型デジタルライトフィールドディスプレイデバイスまたはその一部のものを表し得る。図１５Ａはまた、その上に仮想オブジェクト１５３０が投影され、仮想ピクセルに変換され得る、深度平面１５２１－１５２３を示す。図１５Ａに描写される特定の実施例では、複合現実システム１５００Ａは、離散可変焦点モード（例えば、図１４Ａ－１４Ｂを参照して上記に説明されたものに類似する様式において）で動作し、第１の時点における、深度平面１５２２上への仮想オブジェクト１５３０の投影から、第２の後続時点における、深度平面１５２３上への仮想オブジェクト１５３０の投影に切り替える。したがって、仮想オブジェクト１５３０は第１の時点において、深度平面１５２２上に投影され、仮想ピクセル１５３２Ａ１に変換され、次いで、第２の時点において、深度平面１５２３上に投影され、仮想ピクセル１５３３Ａ２に変換される。複合現実システム１５００Ａは、第１の時点において、仮想ピクセル１５３２Ａ１を表すデジタル化されたライトフィールドを生成し、接眼レンズ１５１０を通して、ユーザの眼１５０２の網膜１５０３上に投影し得、第２の時点において、仮想ピクセル１５３３Ａ２を表すデジタル化されたライトフィールドを生成し、接眼レンズ１５１０を通して、ユーザの眼１５０２の網膜１５０３上に投影し得るということになる。
【0584】
図１５Ａの実施例では、ＣｏＰ不整合（例えば、仮想カメラの視点とユーザの眼１５０２の正しい視点との間の不整合）が存在するため、第１の時点と第２の時点との間で、ユーザの眼１５０２の網膜１５０３上に形成される仮想オブジェクト１５３０の画像を知覚的に変化させることが所望されない場合があるが（新しい遠近調節キューを提供する以外）、視差偏移が、複合現実システム１５００Ａが、ユーザのＦＯＶ内の仮想オブジェクト１５３０の知覚される場所を変化させる役割を果たし得る、深度平面を切り替えるにつれて、生じ得る。図１５Ａはさらに、それぞれ、第１および第２の時点においてユーザの眼１５０２の網膜１５０３上に形成される、仮想オブジェクト１５３０の画像を表す、例示的網膜画像１５３４Ａ１および１５３４Ａ２を示す。図１５Ａは、それぞれ、第１および第２の時点においてユーザの眼１５０２の網膜１５０３上に形成される仮想オブジェクト１５３０の画像を表す、網膜画像１５３４Ａ１および１５３４Ａ２のその描写における、本偏移を実証する。したがって、複合現実システム１５００Ａが、深度平面１５２２の使用から深度平面１５２３の使用に切り替えると、仮想オブジェクト１５３０は、「飛び跳ねる」、「飛び出す」、または別様に、ユーザのＦＯＶ内で場所を急速に偏移させるように現れ得る。図１５Ａは、画像ジャンプ１５３６として、本偏移を図示する。特に、図１５Ａは、網膜画像１５３４Ａ２は、網膜画像１５３４Ａ１から右上に偏移され得、したがって、ユーザは、仮想オブジェクト１５３０が、深度平面切替の間、ジャンプ１５３６に沿って飛び跳ねるように知覚し得る方法を図示する。
【0585】
同様に、図１５Ｂは、混成可変焦点モードで動作し、ＣｏＰ不整合の存在下、コンテンツをユーザの眼１５０２に提示する、複合現実システム１５００Ｂを示す。複合現実システム１５００Ｂは、例えば、図１５Ａを参照して上記に説明されるような複合現実システム１５００Ａと同一アーキテクチャを有してもよい。図１５Ｂに描写される特定の実施例では、複合現実システム１５００Ｃは、混成可変焦点モードで動作し（例えば、図１４Ｃ－１４Ｄを参照して上記に説明されたものに類似する様式において）、仮想オブジェクト１５３０を、それぞれ、仮想ピクセルセット１５３２Ｂおよび１５３３Ｂに変換するように、同時に、仮想オブジェクト１５３０を深度平面１５２２および１５２３上に投影する。このように、仮想ピクセルセット１５２２Ｂおよび１５３３Ｂの強度は、遠近調節キューを深度平面１５２２と１５２３との間に生成するように、混成され得る。複合現実システム１５００Ｂは、仮想ピクセルセット１５３２Ｂおよび１５３３Ｂを表すデジタル化されたライトフィールドを生成し、接眼レンズ１５１０を通して、ユーザの眼１５０２の網膜１５０３上に投影し、網膜画像１５３４Ｂを形成し得る。図１５Ａを参照して上記に説明されるものに類似する理由（例えば、ＣｏＰ不整合によって生じる視差偏移）から、仮想ピクセルセット１５３２Ｂおよび１５３３Ｂは、ユーザの眼１５０２に対して相互に適切に整合されず、したがって、仮想オブジェクト１５３０は、網膜画像１５３４Ｂでは、視覚的アーチファクトを伴って歪曲されている／隠されている。特に、図１５Ｂは、仮想コンテンツ１５３０が意図される画像１５３８として知覚されるはずであった方法と、ＣｏＰ不整合が第１および第２の画像アーチファクト１５４０Ａおよび１５４０Ｂ（例えば、網膜画像１５３４Ｂ内の点刻（ｓｔｉｐｐｌｅｄ）領域）を作成する方法とを図示する。
【0586】
同様に、図１５Ｃは、混成可変焦点モードで動作し、ＣｏＰ不整合の存在下、コンテンツをユーザの眼１５０２に提示する、複合現実システム１５００Ｃを示す。複合現実システム１５００Ｃは、例えば、図１５Ａ－１５Ｂを参照して上記に説明されるような複合現実システム１５００Ａおよび／または１５００Ｂと同一アーキテクチャを有してもよい。図１５Ｃに描写される特定の実施例では、複合現実システム１５００Ｃは、混成可変焦点モードで動作し（例えば、図１４Ｅ－１４Ｆを参照して上記に説明されたものに類似する様式において）、同時に、仮想オブジェクト１５３０の１つの部分を深度平面１５２２上に投影し、仮想オブジェクト１５３０の別の部分を深度平面１５２３上に投影する。したがって、深度平面１５２２上に投影される、仮想オブジェクト１５３０の部分は、仮想ピクセルセット１５３２Ｃに変換される一方、深度平面１５２３上に投影される、仮想オブジェクト１５３０の部分は、仮想ピクセルセット１５３３Ｃに変換される。このように、仮想ピクセルセット１５３２Ｃおよび１５３３Ｃは、異なる焦点キューを提供してもよい。複合現実システム１５００Ｃは、仮想ピクセルセット１５３２Ｃおよび１５３３Ｃを表すデジタル化されたライトフィールドを生成し、接眼レンズ１５１０を通して、ユーザの眼１５０２の網膜１５０３上に投影し、網膜画像１５３４Ｃを形成し得る。図１５Ａおよび１５Ｂを参照して上記に説明されるものに類似する理由（例えば、ＣｏＰ不整合によって生じる視差偏移）から、仮想ピクセルセット１５３２Ｃおよび１５３３Ｃは、ユーザの眼１５０２に対して相互に適切に整合されず、したがって、仮想オブジェクト１５３０は、網膜画像１５３４Ｃでは、亀裂されて（例えば、仮想オブジェクト１５３０の２つの対応する部分間の継目において分離されて）現れる。特に、仮想オブジェクト１５３０は、網膜画像１５３４Ｃに示されるように、アーチファクト１５４２の転位を有し得る。
【0587】
実際、仮想カメラの視点とユーザの眼の視点（ユーザの眼の位置／光学構成に対応する）の正しい整合は、比較的に高知覚品質のグラフィックを提示する、デジタルライトフィールドディスプレイデバイスの能力に重要であり得る。いくつかの実施例では、特定の仮想カメラ視点が、デジタルライトフィールドディスプレイデバイスにおいて活用されてもよく、仮想カメラがディスプレイ＋眼の光学系の有効開口の中心に位置付けられる、視点に対応してもよい。
【0588】
眼視点位置は、眼の有効入射瞳の位置（概して、本明細書では、眼「ＣｏＰ」と称される）に対応してもよく、これは、光学軸に沿った角膜曲率の中心の約５．０１ミリメートル正面にある。レンダリングカメラのピンホールとそのような場所との間の適切な整合を維持するために、システムは、実世界およびユーザの眼視点についての情報を取得してもよい。いくつかの実施例では、そのような情報は、ユーザの眼の測定から推測されることができる。そのような測定は、眼追跡モジュール６１４によって取得されてもよい。眼のＣｏＰの位置は、現在の光学軸または視軸に沿って、図１０の位置１００８等の角膜中心位置から約５．０１ミリメートルの場所まで（眼の外側表面または角膜に向かって）進める、または移動させることによって、計算または別様に推測されてもよい。したがって、ユーザのＣｏＰは、ウェアラブルデバイスが、ユーザの顔に対して移動する場合（したがって、位置合わせオブザーバ６２０からの情報が、ユーザのＣｏＰを識別する際に利用されてもよい）、変化し得る、および／またはユーザがそのＦＯＶの異なる部分を見る（その光学軸または視軸を変化させ、したがって、その眼のＣｏＰを変化させる）につれてもまた、変化し得る。
【0589】
複合現実システム内のレンダリングカメラモードの実施例
図１６Ａ－１７Ｂに図示されるように、ウェアラブルシステムは、瞳孔レンダリングカメラモード、回転中心（ＣｏＲ）レンダリングカメラモード、およびハイブリッド瞳孔－ＣｏＲレンダリングカメラモードを含む、異なるレンダリングカメラモードを利用してもよい。加えて、これらのレンダリングカメラモードはそれぞれ、図１３－１５Ｃに関連して本明細書に説明されるディスプレイ焦点モードのそれぞれと併用されてもよい。少なくともいくつかの実施形態では、ライトフィールドレンダリングコントローラ６１８が、任意の特定の時間において利用すべきレンダリングカメラモードを選択するように構成されてもよく、眼追跡データ、特に、眼追跡データの品質等の好適なデータに基づいて、そのような選択を行なってもよい。実施例として、ウェアラブルシステム内のライトフィールドレンダリングコントローラ６１８または他のモジュールは、瞳孔レンダリングカメラモードを選択してもよい、または眼追跡データが、比較的に安定し、ウェアラブルシステムが、低ジッタまたは雑音を伴うＣｏＰの場所を識別することが可能となる度に、ハイブリッドレンダリングカメラモードをユーザのＣｏＰに向かってバイアスしてもよい。対照的に、追跡データが、限定される、または雑音が多い場合、ライトフィールドレンダリングコントローラ６１８は、ＣｏＲレンダリングカメラモードを選択する、またはハイブリッドレンダリングカメラモードをユーザのＣｏＲに向かってバイアスするように構成されてもよい。ライトフィールドレンダリングコントローラ６１８は、選択されたレンダリングカメラモードに従って、左および右カメラ位置をリアルタイムで決定してもよく（例えば、レンダリングカメラコントローラ７５８を用いて）、左および右カメラ位置（および選択されたレンダリングカメラモード）を示すデータをレンダリングエンジン６２２に提供してもよい。
図１６Ａ－１７Ｂに図示されるように、ウェアラブルシステムは、瞳孔レンダリングカメラモード、回転中心（ＣｏＲ）レンダリングカメラモード、およびハイブリッド瞳孔－ＣｏＲレンダリングカメラモードを含む、異なるレンダリングカメラモードを利用してもよい。加えて、これらのレンダリングカメラモードはそれぞれ、図１３－１５Ｃに関連して本明細書に説明されるディスプレイ焦点モードのそれぞれと併用されてもよい。少なくともいくつかの実施形態では、ライトフィールドレンダリングコントローラ６１８が、任意の特定の時間において利用すべきレンダリングカメラモードを選択するように構成されてもよく、眼追跡データ、特に、眼追跡データの品質等の好適なデータに基づいて、そのような選択を行なってもよい。実施例として、ウェアラブルシステム内のライトフィールドレンダリングコントローラ６１８または他のモジュールは、瞳孔レンダリングカメラモードを選択してもよい、または眼追跡データが、比較的に安定し、ウェアラブルシステムが、低ジッタまたは雑音を伴うＣｏＰの場所を識別することが可能となる度に、ハイブリッドレンダリングカメラモードをユーザのＣｏＰに向かってバイアスしてもよい。対照的に、追跡データが、限定される、または雑音が多い場合、ライトフィールドレンダリングコントローラ６１８は、ＣｏＲレンダリングカメラモードを選択する、またはハイブリッドレンダリングカメラモードをユーザのＣｏＲに向かってバイアスするように構成されてもよい。ライトフィールドレンダリングコントローラ６１８は、選択されたレンダリングカメラモードに従って、左および右カメラ位置をリアルタイムで決定してもよく（例えば、レンダリングカメラコントローラ７５８を用いて）、左および右カメラ位置（および選択されたレンダリングカメラモード）を示すデータをレンダリングエンジン６２２に提供してもよい。
【0590】
瞳孔レンダリングカメラモード
瞳孔レンダリングカメラモードでは、レンダリングカメラのピンホールカメラ（例えば、レンダリングエンジン６２２が特定のユーザの視点のためのコンテンツを生成する際に使用し得る、シミュレートされたカメラ位置）は、常時、推定されるユーザのＣｏＰの位置に追従され得る（例えば、上記に説明されるモジュール７３２によって示されるように）。特に、右眼レンダリングカメラのピンホールカメラは、ユーザの右眼ＣｏＰに追従され得る一方、左眼レンダリングカメラのピンホールカメラは、ユーザの左眼ＣｏＰに追従され得る。したがって、ディスプレイによって提示される仮想画像コンテンツは、（例えば、眼の前房内の）瞳孔の真正面にある、ＣｏＰの場所の視点を有する。
瞳孔レンダリングカメラモードでは、レンダリングカメラのピンホールカメラ（例えば、レンダリングエンジン６２２が特定のユーザの視点のためのコンテンツを生成する際に使用し得る、シミュレートされたカメラ位置）は、常時、推定されるユーザのＣｏＰの位置に追従され得る（例えば、上記に説明されるモジュール７３２によって示されるように）。特に、右眼レンダリングカメラのピンホールカメラは、ユーザの右眼ＣｏＰに追従され得る一方、左眼レンダリングカメラのピンホールカメラは、ユーザの左眼ＣｏＰに追従され得る。したがって、ディスプレイによって提示される仮想画像コンテンツは、（例えば、眼の前房内の）瞳孔の真正面にある、ＣｏＰの場所の視点を有する。
【0591】
図１６Ａ－１６Ｂは、ライブ瞳孔モード（例えば、瞳孔レンダリングカメラモード）に対して追跡されるピンホールカメラで動作する、システム１６００Ａを示す。システム１６００Ａは、接眼レンズ１６１０を含み、それを通して、眼１６０２は、深度平面１６２１、１６２２、および１６２３のうちの１つ以上のもの上に投影された仮想コンテンツを視認することができる。図１６Ａ－１６Ｂはさらに、眼１６０２のＣｏＰに位置付けられる、レンダリングカメラ１６３０を示す。眼１６０２は、図１６Ａにおける接眼レンズ１６１０に対しては、第１の姿勢にあって、図１６Ｂにおける接眼レンズ１６１０に対しては、第２の異なる姿勢にあることが分かる。したがって、さらに、レンダリングカメラ１６３０は、図１６Ａでは、１つの位置（例えば、図１６Ａにおける眼１６０２のＣｏＰに対応する位置）にあって、図１６Ｂでは、別の異なる位置（例えば、図１６Ｂにおける眼１６０２のＣｏＰに対応する位置）にあることが分かる。
【0592】
ピンホールレンダリングカメラが瞳孔に対してリアルタイムで追跡されることで、ピンホールレンダリングカメラと瞳孔との間のピンホールカメラの絶対位置（および配向）および相対位置（および相対的配向）は、確率論的に経時的に変化する。本モードにおける視覚は、眼追跡からの瞳孔位置が、雑音が多い、および／または十分にフィルタリングされない場合、ジッタが多くなり得る。常時、レンダリングカメラのピンホールを眼のＣｏＰの実際の位置に追従させることは、ディスプレイに対する全ての瞳孔移動、例えば、（滑脱およびＩＰＤのような）低周波数変化および眼の回転からの高周波数変化の両方を考慮するように試みる。これは、高周波数動態をレンダリングシステムの中に導入し、望ましくない時間的アーチファクト（ジッタ／ジャンプ）をもたらし得る。
【0593】
図１６Ｃは、レンダリングカメラのピンホールが、眼の視点中心またはほぼ眼の瞳孔と整合される、別の実施例を図示する。描写されるように、片眼のためのユーザの瞳孔は、位置Ａ（点１６４）から位置Ｂ（点１６４２）に移動し得る。仮想オブジェクト１６４４を表示する、光学接眼レンズに関して、ある屈折力を前提として、定常に現れることが意図される仮想オブジェクト１６４４は、３Ｄにおいて、瞳孔位置に基づいて、仮想オブジェクト投影Ａを表す位置１６４６または仮想オブジェクト投影Ｂを表す位置１６４８のいずれかに投影されるであろう（レンダリングカメラが瞳孔を座標フレームとして使用するように構成されると仮定する）。投影が、それによって投影するための２つの場所を有することを前提として、頭部座標に変換される瞳孔座標を使用することは、ユーザの眼が移動するにつれて、ジッタを定常仮想コンテンツに生じさせるであろう。本レンダリングカメラプロトコルは、ビュー依存ディスプレイまたは投影システムとも称され得る。
【0594】
回転中心（ＣｏＲ）レンダリングカメラモード
ＣｏＲレンダリングカメラモードでは、レンダリングカメラのピンホールカメラ（例えば、レンダリングエンジン６２２が特定のユーザの視点のためのコンテンツを生成する際に使用し得る、シミュレートされたカメラ位置）が、ユーザの回転中心（例えば、図１０に示されるようなＣｏＲ１０１０）の位置に追従され得る。左および右眼回転中心は、ＣｏＲ推定モジュール７２４と関連付けて上記に説明されるもののうちの１つ以上のもの等、図７Ａの眼追跡モジュール６１４を参照して上記に説明される動作のうちの１つ以上のものの実行を通して推定されてもよい。レンダリングカメラをユーザのＣｏＲに位置付けることによって、ウェアラブルシステムは、周縁における潜在的空間アーチファクト（例えば、小視差誘発拡大／縮小飛出）と引き換えに、時間的アーチファクト（特に、マイクロサッカード移動の間、深刻であり得る、ライブ瞳孔モードに対して追跡されるピンホールカメラ内の眼追跡遅れから生じるジッタ）を回避し得る。本アプローチは、レンダリングカメラ場所（眼視点）と眼が中心窩で捉えている（例えば、合焦している）対象との間の関係が、眼鏡が眼球中心に対して定常である間、常時、固定されるという事実を利用する。すなわち、場面は、本モードでは、画像が、常時、眼の配向または移動方法にかかわらず、中心窩を完璧に補正するが、周縁に向かって、概して、位置合わせがずれるように、事前にレンダリングされてもよい。レンダリングカメラが眼のＣｏＲにアンカされることで、ライトフィールドは、中心窩に正しく提示されるであろう（例えば、中心窩では、世界との位置合わせまたは飛出が存在しない）が、周縁には、誤差を含んでもよい（例えば、回転中心（ＣｏＲ）は、視点中心（ＣｏＰ）ではないため、したがって、視差偏移を受けにくくはない）。有利には、周縁におけるそのような誤差は、眼視力が急速に減弱するため、ＦＯＶ内のいずれかの場所における誤差／アーチファクトよりもはるかに顕著ではなくなり得る。
ＣｏＲレンダリングカメラモードでは、レンダリングカメラのピンホールカメラ（例えば、レンダリングエンジン６２２が特定のユーザの視点のためのコンテンツを生成する際に使用し得る、シミュレートされたカメラ位置）が、ユーザの回転中心（例えば、図１０に示されるようなＣｏＲ１０１０）の位置に追従され得る。左および右眼回転中心は、ＣｏＲ推定モジュール７２４と関連付けて上記に説明されるもののうちの１つ以上のもの等、図７Ａの眼追跡モジュール６１４を参照して上記に説明される動作のうちの１つ以上のものの実行を通して推定されてもよい。レンダリングカメラをユーザのＣｏＲに位置付けることによって、ウェアラブルシステムは、周縁における潜在的空間アーチファクト（例えば、小視差誘発拡大／縮小飛出）と引き換えに、時間的アーチファクト（特に、マイクロサッカード移動の間、深刻であり得る、ライブ瞳孔モードに対して追跡されるピンホールカメラ内の眼追跡遅れから生じるジッタ）を回避し得る。本アプローチは、レンダリングカメラ場所（眼視点）と眼が中心窩で捉えている（例えば、合焦している）対象との間の関係が、眼鏡が眼球中心に対して定常である間、常時、固定されるという事実を利用する。すなわち、場面は、本モードでは、画像が、常時、眼の配向または移動方法にかかわらず、中心窩を完璧に補正するが、周縁に向かって、概して、位置合わせがずれるように、事前にレンダリングされてもよい。レンダリングカメラが眼のＣｏＲにアンカされることで、ライトフィールドは、中心窩に正しく提示されるであろう（例えば、中心窩では、世界との位置合わせまたは飛出が存在しない）が、周縁には、誤差を含んでもよい（例えば、回転中心（ＣｏＲ）は、視点中心（ＣｏＰ）ではないため、したがって、視差偏移を受けにくくはない）。有利には、周縁におけるそのような誤差は、眼視力が急速に減弱するため、ＦＯＶ内のいずれかの場所における誤差／アーチファクトよりもはるかに顕著ではなくなり得る。
【0595】
例えば、図１７Ａ－１７Ｂは、ＣｏＲモードに固定されたピンホールカメラで動作する、システム１７００Ａを示す。図１６Ａ－１６Ｂを参照して上記に説明されるシステム１６００Ａのように、システム１７００Ａは、接眼レンズ１７１０を含み、それを通して眼１７０２は、深度平面１７２１、１７２２、および１７２３のうちの１つ以上のもの上に投影された仮想コンテンツを視認することができる。図１７Ａ－１７Ｂはさらに、眼１７０２の推定されるＣｏＲに位置付けられる、レンダリングカメラ１７３０を示す。眼１７０２は、図１７Ａでは、接眼レンズ１７１０に対して第１の姿勢にあって、図１７Ｂでは、接眼レンズ１７１０に対して第２の姿勢にあることが分かる。レンダリングカメラ１７３０は、ＣｏＲが眼姿勢の変化に伴って変化しないため、図１７Ａおよび１７Ｂのそれぞれ（例えば、眼の１７０２の推定されるＣｏＲ）では、同一位置にあることが分かる。
【0596】
少なくともいくつかの実施形態では、レンダリングカメラ１７３０は、多視点レンダリングカメラ１７３０を備えてもよく、これは、例えば、回転中心（ＣｏＲ）を中心として半径方向に分散されるレンダリングカメラのアレイを眼１７０２のＣｏＰから眼１７０２の回転中心までの距離と等しい距離（例えば、半径）に備え得る。したがって、眼１７０２のＣｏＰは、いくつかの異なる姿勢のそれぞれにおいて、アレイ内の少なくとも１つのレンダリングカメラと整合または略整合され得る。そのような実施形態では、ライトフィールドレンダリングコントローラ６１８が、ユーザの現在の姿勢（例えば、ユーザの現在の光学軸または瞳孔場所）に基づいて、特定のレンダリングカメラを半径方向に分散されたアレイから選択してもよい、または、単に、半径方向に分散されたアレイ内の複数のレンダリングカメラ（または半径方向に分散されたアレイ内の全てのレンダリングカメラ）を同時に採用してもよい。したがって、レンダリングコントローラ６１８は、ユーザのＣｏＰと実質的に整合および配向されるレンダリングカメラを選択してもよい。
【0597】
図１７Ｃは、レンダリングカメラのピンホールが眼の回転中心と整合される、別の実施例を図示する。いくつかの実施形態では、カメラレンダリングフレームが、例えば、眼球の回転中心における、全ての瞳孔位置を包含する、点１７４０に位置付けられる。仮想オブジェクト投影カメラレンダリングエリア１７４２は、瞳孔位置Ａ（点１６４０）および位置Ｂ（点１６４２）にかかわらず、一貫し得る。頭部座標は、カメラレンダリングフレームに変換される。いくつかの実施形態では、画像ワーピングが、画像に適用され、眼位置の変化を考慮してもよいが、これは、依然として、同一位置にレンダリングするため、ジッタは、低減または最小限にされる。本レンダリングカメラプロトコルは、ビュー独立ディスプレイまたは投影システムとも称され得る。
【0598】
ハイブリッド瞳孔－ＣｏＲレンダリングカメラモード
ハイブリッド瞳孔－ＣｏＲレンダリングカメラモードでは、レンダリングカメラのピンホールカメラは、瞳孔（ＣｏＰ）位置、ＣｏＲ位置、またはＣｏＰ位置とＣｏＲ位置との間の線上の任意の位置に位置してもよい。その線に沿った特定のレンダリングカメラの位置は、眼追跡データの変化に応答して、経時的に変動し得る。実施例として、ライトフィールドレンダリングコントローラ６１８は、下記により詳細に議論されるように、眼追跡データの性質および品質を分析し、レンダリングカメラをユーザのＣｏＰ、ユーザのＣｏＲ、またはその間のある場所に位置させるかどうかを決定してもよい。
ハイブリッド瞳孔－ＣｏＲレンダリングカメラモードでは、レンダリングカメラのピンホールカメラは、瞳孔（ＣｏＰ）位置、ＣｏＲ位置、またはＣｏＰ位置とＣｏＲ位置との間の線上の任意の位置に位置してもよい。その線に沿った特定のレンダリングカメラの位置は、眼追跡データの変化に応答して、経時的に変動し得る。実施例として、ライトフィールドレンダリングコントローラ６１８は、下記により詳細に議論されるように、眼追跡データの性質および品質を分析し、レンダリングカメラをユーザのＣｏＰ、ユーザのＣｏＲ、またはその間のある場所に位置させるかどうかを決定してもよい。
【0599】
いくつかの実施形態では、システムは、眼追跡データの決定された標準偏差（または統計的分散量の他の測定値）に基づいて、ピンホールカメラの場所を変化させてもよい。例えば、システムは、収集されている眼追跡データが比較的に雑音が多い（したがって、「ジッタ」等の実質的時間的アーチファクトをもたらす可能性が高い）ことの決定に応答して、ピンホールカメラを回転中心（ＣｏＲ）またはその近傍に位置付けることを選んでもよい。ピンホールカメラをＣｏＲまたはその近傍に位置付けることは、ジッタおよび他の時間的アーチファクトを低減させることに役立ち得る。加えて、システムは、収集されている眼追跡データが比較的に安定している（したがって、ジッタ等の実質的時間的アーチファクトをもたらす可能性が低い）ことの決定に応答して、ピンホールカメラを視点中心（ＣｏＰ）またはその近傍に位置付けることを選んでもよい。ピンホールカメラをＣｏＰまたはその近傍に位置付けることは、例えば、図２２－２４Ｂに関して下記に説明されるように、視差誘発（空間）アーチファクトを低減させることに役立ち得る。いくつかの実施例では、システムは、単に、これらの２つの離散場所（ＣｏＲおよびＣｏＰ）間でトグルしてもよい。付加的議論に関しては、付属（第ＩおよびＩＩ章）を参照されたい。また、関連議論に関しては、図１０および１５Ａ－１７Ｂを参照して上記に提供される説明を参照されたい。他の実施例では、システムは、ピンホールカメラをＣｏＲとＣｏＰ（いくつかの実装では、平均ユーザに関して、相互から概ね９．７１ｍｍ離れて位置付けられ得る）との間の光学軸に沿った異なる場所の範囲のいずれかに位置付けてもよい。これらの実施例では、システムは、ピンホールカメラを眼追跡データの決定された標準偏差と連動して眼の光学軸に沿って「摺動させる」（またはその場所を平行移動させる）と見なされ得る。眼追跡データの標準偏差が、比較的に高いとき、システムは、ピンホールカメラをＣｏＲまで摺動させてもよい。対照的に、眼追跡データの標準偏差が、比較的に低いとき、システムは、ピンホールカメラをＣｏＰまで摺動させてもよい。システムは、レンダリングカメラのピンホールを光学および／または視軸に沿った方向にユーザのＣｏＲの正面のある距離（網膜から離れるように）に位置付けてもよい。実施例として、レンダリングカメラのピンホール（開口）は、６．０ｍｍ～１３．０ｍｍ、７．０ｍｍ～１２．０ｍｍ、８．０ｍｍ～１１．０ｍｍ、９．０ｍｍ～１０．０ｍｍ、９．５ｍｍ～１０．０ｍｍ、約９．７ｍｍ、約９．７１ｍｍ、またはユーザのＣｏＲ正面の他の好適な距離に位置付けられてもよい。
【0600】
図１８Ａ－１８Ｄは、例証的眼追跡データの実施例と、システムが眼追跡データに応答してレンダリングカメラを経時的に再配置し得る方法とを提供する。
【0601】
図１８Ａのグラフ１８００ａは、眼追跡システム内の雑音のレベルおよびユーザの眼の移動の速度を示し得る、未加工眼追跡データの実施例を提供する。ｙ－軸の単位は、度／秒における眼角速度（例えば、度／秒におけるユーザの光学軸方向の変化）であり得る。グラフ１８００ａに示されるように、ユーザの眼の雑音および／または移動は、実質的に異なる速度に伴うユーザのＣｏＰの場所における移動に経時的に寄与し得る。
【0602】
図１８Ｂのグラフ１８００ｂは、図１８Ａの眼追跡データの分散量の実施例を提供する。実施例として、グラフ１８００ｂは、グラフ１８００ａの指数関数的に加重された移動標準偏差であってもよい。一般に、眼追跡データの分散量の任意の測定値が、レンダリングコントローラ６１８によって、レンダリングカメラを位置させるべき場所を決定する際に使用されてもよい。閾値１８１０によって示されるように、ユーザの瞳孔またはＣｏＰの位置における分散量（例えば、雑音、変動性、速度等）が高くなる度に、システムは、レンダリングカメラをＣｏＲに位置付けてもよい。対照的に、閾値１８２０によって示されるように、ユーザの瞳孔またはＣｏＰの位置における分散量が低くなる度に、システムは、レンダリングカメラをＣｏＰに位置付けてもよい。分散量の中間領域では、システムは、レンダリングカメラをＣｏＲとＣｏＰとの間に位置付けてもよい。実施例として、システムは、時間Ａ、Ｄ、およびＥでは、レンダリングカメラをＣｏＲとＣｏＰとの間に設置し得、時間Ｂでは、レンダリングカメラをＣｏＲに設置し得、時間Ｃでは、レンダリングカメラをＣｏＰに設置し得る。いくつかの実施形態では、レンダリングカメラ位置は、眼追跡データの関数として（例えば、決定されたＣｏＰデータ内の雑音または速度の関数として）、ＣｏＲ位置とＣｏＰ位置との間で摺動してもよい。
【0603】
図１８Ｃのグラフ１８００ｃは、ＣｏＲとＣｏＰとの間のレンダリングカメラの位置が図１８Ａおよび１８Ｂの例示的データを前提として変動し得る、方法を図示する。グラフ１８００ｃに示されるように、レンダリングカメラは、時間Ａでは、光学軸に沿ってＣｏＰ位置に向かう（かつＣｏＲ位置から離れる）方向の約４８％にあってもよく、時間Ｂでは、ＣｏＲ位置に位置してもよく、時間Ｃでは、ＣｏＰ位置に位置してもよく、時間Ｄでは、ＣｏＲ位置の近傍に（ＣｏＲ位置から約１８％離れるように）位置してもよく、時間Ｅでは、ＣｏＰ位置の近傍に（ＣｏＲ位置から約８８％離れるように）位置してもよい。
【0604】
時間Ａ－Ｅにおけるユーザの眼１８０２に対するレンダリングカメラの位置は、図１８Ｄの略図に図示される。特に、位置ＤＢは、ＣｏＲであってもよく、ＣｏＰ場所が、急速に移動する、または雑音が多い（例えば、望ましくないことにジッタが多い）とき、使用されてもよく、位置ＤＤは、ＣｏＲのすぐ外側にあってもよく、ＣｏＰ場所データが、若干ジッタが少ないときに使用されてもよく、位置ＤＡは、ＣｏＲ位置とＣｏＰ位置との間の中間にあってもよく、ＣｏＰ場所データが若干改良されるときに使用されてもよく、位置ＤＥは、ＣｏＰ位置の間近にあってもよく、ＣｏＰデータが、レンダリングカメラをＣｏＰに位置付けるためにほぼ十分であるときに使用されてもよく、位置Ｄｃは、ＣｏＰにあって、ＣｏＰデータが十分に安定しているときに使用されてもよい。一般に、レンダリングカメラは、ＣｏＰとＣｏＲとの間の任意の点に位置してもよく、変動する眼追跡データに応答して、これらの位置間を経時的に平滑に移動されてもよい。いくつかの実装では、レンダリングカメラ位置は、ユーザの決定された輻輳・開散運動に基づいて、ＣｏＰとＣｏＲとの間で調節されてもよい。例えば、ユーザの輻輳・開散運動または固視深度が、図１２を参照して上記に説明されたもの等のヒステリシス閾値が位置付けられる空間内の場所に対して深度平面が位置付けられる、空間内の場所から偏移するにつれて、システムは、レンダリングカメラの位置をＣｏＰに向かって偏移させ得る。このように、ＣｏＰは、視差誘発アーチファクトを低減または最小限にするように、ユーザの輻輳・開散運動がヒステリシス閾値を超えたことの決定に応答して、システムによって実行され得る、深度平面切替の間、レンダリングカメラ場所として利用されてもよい。同様に、そのような実装では、ユーザの輻輳・開散運動または固視深度が、深度平面が位置付けられる空間内場所に対してヒステリシス閾値が位置付けられる、空間内場所から偏移するにつれて、システムは、レンダリングカメラの位置をＣｏＲに向かって偏移させ得る。上記に説明されるように、システムは、深度平面を切り替える、または別様に調節するとき、レンダリングカメラの焦点距離を調節してもよい。したがって、いくつかの実施例では、システムは、ユーザの決定された輻輳・開散運動の関数として、レンダリングカメラの位置および焦点距離の両方を調節してもよい。
【0605】
角膜輪部投影に基づいて回転中心を決定する
例えば、少なくとも図７Ａに関して、かつ本明細書のいずれかにおいて、上記に説明されるように、回転中心または「ＣｏＲ」が、ユーザの眼に関して決定されてもよい。回転中心は、本明細書に説明されるように、その周囲でユーザの眼が回転する、点を示し得る。故に、ある場合には、ユーザの眼が回転すると、眼（例えば、眼球）内に点（例えば、ＣｏＲ）が存在し得、これは、実質的に固定される。上記に議論されるように、ＣｏＲを決定するために、光学軸および／または視軸の場所および配向の推定値が、眼追跡カメラまたは他のカメラによって取得される画像を使用して、異なる視線方向のための眼に関して計算されてもよい。これらの異なる光学軸または視軸の交点は、眼に関する回転中心の場所を推定するために使用されてもよい。代替として、上記に説明されるようなモジュール（例えば、ＣｏＲ推定モジュール７２４）は、推定される眼寸法を利用してもよい。例えば、モジュールは、角膜の曲率中心を使用して、光学軸に沿って曲率中心から網膜に向かって特定の距離にあるものとしてＣｏＲを推定してもよい。ある場合には、本特定の距離は、約４．７ｍｍであってもよい。ＣｏＲの推定値を決定する他の方法も、可能性として、採用されてもよい。
例えば、少なくとも図７Ａに関して、かつ本明細書のいずれかにおいて、上記に説明されるように、回転中心または「ＣｏＲ」が、ユーザの眼に関して決定されてもよい。回転中心は、本明細書に説明されるように、その周囲でユーザの眼が回転する、点を示し得る。故に、ある場合には、ユーザの眼が回転すると、眼（例えば、眼球）内に点（例えば、ＣｏＲ）が存在し得、これは、実質的に固定される。上記に議論されるように、ＣｏＲを決定するために、光学軸および／または視軸の場所および配向の推定値が、眼追跡カメラまたは他のカメラによって取得される画像を使用して、異なる視線方向のための眼に関して計算されてもよい。これらの異なる光学軸または視軸の交点は、眼に関する回転中心の場所を推定するために使用されてもよい。代替として、上記に説明されるようなモジュール（例えば、ＣｏＲ推定モジュール７２４）は、推定される眼寸法を利用してもよい。例えば、モジュールは、角膜の曲率中心を使用して、光学軸に沿って曲率中心から網膜に向かって特定の距離にあるものとしてＣｏＲを推定してもよい。ある場合には、本特定の距離は、約４．７ｍｍであってもよい。ＣｏＲの推定値を決定する他の方法も、可能性として、採用されてもよい。
【0606】
上記に議論されるように、種々の実装では、眼のＣｏＲは、例えば、仮想コンテンツのレンダリングおよび提示をユーザに知らせ得る。実施例として、レンダリングエンジン（例えば、エンジン６２２）は、ディスプレイを用いてユーザによって視認されるとき、仮想コンテンツが適切な視点にあるように、ユーザの眼に位置付けられるカメラのシミュレーションを介して、仮想コンテンツを生成してもよい（例えば、ユーザの眼に位置するカメラが仮想コンテンツを生成したかのように）。これらの位置を決定するために、各眼の決定されたＣｏＲが、利用されてもよい。例えば、特定のカメラは、決定されたＣｏＲの位置またはその近傍またはＣｏＲの場所を使用して決定された場所に配置されるピンホールを用いて、ピンホールカメラとしてシミュレートされてもよい。したがって、決定されたＣｏＲの正確度の増加は、仮想コンテンツの提示、対応して、視認に対する技術的利点を提供し得る。
【0607】
上記で参照されるように、種々の方法が、眼の回転中心の場所の推定値を決定するために利用されてもよい。図１９－２１Ｄに関して下記により詳細に説明されるように、例えば、ユーザの眼の角膜輪部が、眼のＣｏＲを正確に決定するために利用されてもよい。角膜輪部の実施例として、図５は、曲線５１２ａを図示し、これは、例示的眼５００の辺縁境界を示す。有利には、辺縁境界は、眼の画像内で迅速に明白となり得る。例えば、曲線５１２ａの境界は、縁検出技法に従って識別されてもよい。虹彩と関連付けられた色は、強膜のものと実質的に明確に異なり得るため、境界は、曲線５１２ａにおける突然の差異に起因して識別され得る。別の実施例として、ＲＡＮＳＡＣ、機械学習技法等の技法が、角膜輪部の境界に対応する曲線５１２ａを決定するために利用されてもよい。辺縁境界を識別すること等の角膜輪部を識別することの付加的実施例は、米国特許公開第２０１８／００１８５１５号（参照することによって本明細書に組み込まれる）に説明される。
【0608】
ある実装では、楕円が、ユーザの角膜輪部の画像（以降、「投影楕円」と称される）上に投影されてもよい。投影楕円は、したがって、ユーザの角膜輪部の境界に適合する、楕円を表し得る。本明細書に説明されるように、画像前処理モジュール７１０は、分析のために、ユーザの眼の画像を取得してもよい。これらの取得された画像は、したがって、個別の投影楕円を決定するために利用されてもよい。各画像は、一意の配向における眼の表現を含み得る（例えば、視線は、異なる方向あり得る）ため、投影楕円は、実施例として、故に、眼の連続画像間で明確に異なり得る。説明されるであろうように、例えば、少なくとも図２１Ａ－２１Ｄでは、連続画像から決定された１つ以上の投影楕円が、使用されてもよい。楕円における差異は、眼のＣｏＲを決定する（例えば、推定する）際に有用であり得る。
【0609】
実施例として、光線の円錐等の円錐が、カメラ点（例えば、上記に説明されるようなピンホールカメラ）からユーザの眼の画像と関連付けられた投影楕円を通して延在するように、投影されてもよい。例えば、図１９および図２１Ａ－２１Ｃを参照されたい。円錐の円形断面は、画像と関連付けられると識別され得る。これらの円形断面１９０６、１９０８の実施例は、図１９に図示される。いくつかの実装では、円形断面は、円錐の固有値／固有ベクトル分解を使用して決定されてもよいが、円形断面を識別するための他のアプローチが、使用されてもよい。しかしながら、いくつかの実装では、円形断面の中心の場所を提供する、ベクトルが、例えば、決定されてもよい。
【0610】
円形断面のうちの１つが、次いで、画像のために選択されてもよい。例えば、円形断面のうちの１つは、（例えば、仮想コンテンツに向かう）ユーザの眼の視線に対応してもよい。選択された円形断面に対して法線方向のベクトル（以降、「法線ベクトル」と称される）が、決定されてもよい。例えば、ベクトルに対して法線方向であり得る、法線ベクトルはまた、選択された円形断面の中心の場所を提供する。
【0611】
上記に説明される実施例では、眼の２つ以上の画像（例えば、連続画像）が、分析されてもよい。眼の各画像は、上記に説明されるように、明確に異なる配向（例えば、明確に異なる眼姿勢）における眼を表し得る。円形断面が、画像毎に選択され、比較して、ＣｏＲを決定してもよい。例えば、ＣｏＲは、画像に関して決定された法線ベクトルの交点として決定されてもよい。図２１Ｄに関する実施例として、ＣｏＲは、点２１２２であり得る。いくつかの実施形態では、各法線ベクトルは、個別の画像から決定されるような眼の光学軸に対応し得る。したがって、上記の図７Ａに説明されるように、ＣｏＲは、異なる眼姿勢に関して決定された光学軸の交点として決定され得る。
【0612】
図１９は、本明細書に説明される技法に従う、投影楕円１９０２のグラフィカル表現を図示する。上記に説明されるように、カメラは、カメラ点１９１０に位置するピンホールカメラであるようにシミュレートされ得る。カメラ点１９１０は、したがって、１つ以上の眼追跡カメラの座標系の原点を表し得る。ユーザの眼の画像が、（例えば、モジュール７１０を介して）取得され、画像に対応する像面１９０４が、識別され得る。像面１９０４は、したがって、ユーザの眼の結像された表現を含み得る。ユーザの角膜輪部の境界に対応する投影楕円１９０２が、像面１９０４上で決定され得る。
【0613】
光線１９１２Ａ－Ｄをカメラ点１９１０から投影楕円１９０２の境界を通して延在させることを介して形成される、円錐１９１２が、次いで、識別され得る。種々の実装では、円形断面は、円錐１９１２の長さに沿って決定されてもよい。示される実施例では、円形断面は、光線の円錐と交差し、それによって境界される、周を有する。円形断面は、図２０を参照して説明されるであろうように、円形断面の具体的半径に基づいて、一意に決定され得る。例えば、同一半径を伴う、第１の円形断面１９０６および第２の円形断面１９０８が、図示される。いくつかの実施形態では、ＣｏＲを精緻化することに関して下記に説明されるであろうように、角膜輪部半径は、２次元ＣｏＲを決定するとき、把握、仮定、または考慮され得ない。実施例として、半径は、多数のユーザを横断した角膜輪部の平均半径、ユーザの角膜輪部の画像に基づいてユーザのために決定された半径を表し得る、または恣意的一定値を表し得る。固有ベクトル分解が、随意に、実施されてもよく、円錐１９１２の主軸１９１４が、識別されてもよい。図１９に図示されるように、主軸１９１４は、投影楕円１９０２の幾何学的中心を通してカメラ点１９１０まで延在するように図示される。
【0614】
第１のベクトル１９１６が、決定され得、これは、第１の円形断面１９０６の中心を通して通過する。同様に、第２のベクトル１９１８が、決定され得、これは、第２の円形断面１９０８を通して通過する。例えば、これらのベクトル１９１６－１９１８は、円錐１９１２の固有ベクトル分解に基づいて決定されてもよい。円形断面１９０６、１９０８が、明確にされてもよい。したがって、円形断面のうちの１つは、結像される眼と関連付けられた視線により良好に対応すると識別され得る。例えば、円形断面１９０６、１９０８のいずれも、所与の半径に関して数学的に許容可能であり得るが、円形断面のうちの１つは、眼の実際の視線に対応し得る。したがって、円形断面のうちの１つは、眼のＣｏＲの推定値を決定する際に利用するために選択されてもよい。
【0615】
図２０に関して下記により詳細に説明されるように、選択された円形断面に対して法線方向の法線ベクトルが、決定されてもよい。例えば、法線ベクトルは、第１の円形断面１９０６または第２の円形断面１９０８のいずれかに対して法線方向であってもよい。法線ベクトルは、いくつかの画像に関して決定されてもよい。法線ベクトル間の３次元空間内の交点が、次いで、眼のＣｏＲに対応すると識別され得る。交点の実施例は、交点２１２２に関して図２１Ｄに図示される。ある場合には、法線ベクトルがともに近づく領域および関連付けられた場所が、例えば、法線ベクトルが１つの点において交差しない場合、ＣｏＲの推定値として捉えられる。いくつかの実装では、二乗平方アプローチが、交点のそのような点の推定値を取得するためにとられてもよい。そのような実装では、システムは、法線ベクトルまでの二乗距離の和が低減または最小限にされる場所を交差の点として識別してもよい。
【0616】
有利には、いくつかの実施形態では、１つ以上の技法が、上記に説明される推定されるＣｏＲを精緻化するために利用されてもよい。例えば、ＣｏＲの３次元場所は、精緻化されてもよい。本実施例では、精緻化されたＣｏＲは、眼のＣｏＲのより正確な表現であり得る。実施例として、ＣｏＲを精緻化するために、第１のベクトル１９１６および第２のベクトル１９１８によって定義された平面（本明細書では、「投影平面」と称される）が、識別されてもよい。例えば、図１９を参照されたい。本投影平面は、円錐１９１２の主軸１９１４を含んでもよい。したがって、投影平面は、投影楕円１９０２の幾何学的中心を含んでもよい（例えば、それを通して通過する）。加えて、投影平面は、カメラ点１９１０を含んでもよい（例えば、それを通して通過する）。説明されるであろうように、投影平面はさらに、眼のＣｏＲを含んでもよい（例えば、それを通して通過する）。
【0617】
２つ以上の投影平面が、利用されてもよい。例えば、これらの投影平面は、ユーザの眼の連続画像から決定されてもよい。本実施例では、２つ以上の投影平面間の交点が、識別されてもよい。上記に説明されるように、各投影平面は、カメラ点１９１０を含み得るため、交点から形成される結果として生じる線は、したがって、カメラ点１９１０から延在してもよい。結果として生じる線と像面１９０４の交点は、したがって、像面１９０４上のＣｏＲの２次元場所を表し得る。ＣｏＲ（例えば、上記に説明される３次元ＣｏＲ）を精緻化するために、結果として生じる線と法線ベクトルの交点が、識別されてもよい。交点は、したがって、精緻化されたＣｏＲとして割り当てられ得る。随意に、精緻化されたＣｏＲは、法線ベクトルの交点または収束に近接する点に基づく結果として生じる線に沿った点と識別され得る。例えば、（例えば、二乗平均平方根プロセスに従って）法線ベクトルまたはその交点または収束に最も近い、結果として生じる線上の点は、精緻化されたＣｏＲとして割り当てられ得る。上記に述べられたように、いくつかの実施例では、二乗平方方法はまた、そのような点の推定に採用されてもよい。
【0618】
図２０は、眼の角膜輪部に基づいて眼の回転中心（ＣｏＲ）を決定するための、例示的プロセス２０００のフローチャートである。便宜上、プロセス２０００は、１つ以上のプロセッサまたは処理要素のディスプレイシステムによって実施されるように説明されるであろう。
【0619】
ブロック２００２では、ディスプレイシステムは、ユーザの眼の画像を取得する。少なくとも図７Ａに関して上記に説明されるように、ディスプレイシステムは、１つ以上のカメラまたは他の結像システムを介して、ユーザの眼の画像を取得してもよい。
【0620】
ブロック２００４では、ディスプレイシステムは、ユーザの眼の角膜輪部に基づいて、円錐を形成する投影楕円を決定する。投影楕円を決定するために、ユーザの眼の角膜輪部（例えば、図５に図示される辺縁境界５１２）が、取得された画像内で識別されてもよい。理論によって制約されるわけではないが、辺縁境界は、異なる技法に従って識別されてもよい。実施例として、縁検出スキームが、強膜と虹彩との間の縁を識別するために利用されてもよい。本実施例では、縁は、辺縁境界を表し得る。別の実施例として、機械学習モデルが、辺縁境界を標識化するように訓練されてもよい（例えば、ニューラルネットワーク）。投影楕円は、ある場合には、ディスプレイシステムが辺縁境界に近似する（例えば、実質的に近似する）と決定する、楕円であってもよい。
【0621】
しかしながら、図２１Ａに図示されるように、取得される画像は、角膜輪部の全体を含まない場合がある。例えば、ユーザの眼の瞼眼が、角膜輪部の一部をオクルードし得る。図２１Ａの実施例では、角膜輪部の上側および下側部分は、オクルードされる。ディスプレイシステムは、したがって、投影楕円（例えば、長半径および短半径）を推定し得る。随意に、投影楕円を推定するために、ディスプレイシステムは、角膜輪部の可視部分に基づいて、楕円を適合させ得る。例えば、ディスプレイシステムは、画像内で可視の角膜輪部の境界に基づいて、長半径および短半径を識別してもよい。随意に、投影楕円を推定するために、ディスプレイシステムは、角膜輪部と関連付けられた平均情報を利用してもよい。例えば、辺縁境界の左および最右部分が、可視である場合、ディスプレイシステムは、平均角膜輪部の長半径と短半径との間の平均比率を利用してもよい。随意に、ディスプレイシステムは、ユーザの角膜輪部の以前に取得された画像を利用して、角膜輪部の寸法を識別してもよい。
【0622】
図１９に説明されるように、光線が、カメラ点（例えば、画像を取得した結像システムと関連付けられたピンホールカメラ、カメラの開口等）から投影楕円境界を通して延在されてもよい。例えば、図２１Ａは、カメラ点から個別の場所を通して投影楕円境界に沿って延在されている、１２の例示的光線を図示する。これらの延在される光線は、したがって、円錐を形成し得る。いくつかの実施形態では、円錐は、楕円錐であってもよい。円錐の円形断面は、選択され（例えば、上記に説明されるように）、法線ベクトルが、円形断面に基づいて識別されてもよい。そのような法線ベクトルおよび／または円形断面を識別するための異なる技法が、採用されてもよい。技法の実施例は、下記により詳細に説明される。
【0623】
任意の特定の科学または数学的理論に賛同するわけではないが、いくつかの実装では、上記に説明される投影楕円は、以下の方程式に従って説明され得る。
式中、５つの係数（例えば、ａ、ｂ、ｃ、ｄ、ｅ、ｆ）が、以下のように定義される。
【化1】
【化2】
【0624】
上記に説明される投影楕円方程式は、同次座標
に従って、以下のように記述され得る。
【化3】
【化4】
【0625】
上記で識別される円錐行列、
は、以下のように定義され得る。
【化5】
【化6】
【0626】
ディスプレイシステムは、固有のカメラパラメータ（例えば、固有のカメラパラメータ行列）に従って、上記の識別された方程式を調節してもよい。したがって、円錐方程式は、以下のように表され得る。
【化7】
【0627】
ブロック２００６では、ディスプレイシステムは、円錐の選択された円形断面と関連付けられたベクトルを決定する。ブロック２００４に説明されるように、投影楕円の境界を通してカメラ点から延在する光線によって形成される円錐が、決定されてもよい。いくつかの実装では、円形断面と関連付けられたベクトルを決定するために、ディスプレイシステムは、円錐の固有値および固有ベクトルを決定してもよい。例えば、円錐「Ｃ」が、直交行列および対角行列に分解され得る。
【化8】
【0628】
ディスプレイシステムは、残りの２つの固有値のものと反対の符号を伴う固有値「λ３」（例えば、対角行列「Ｄ」から）を選択してもよい。対応する固有ベクトルが、次いで、円錐の主軸に対応すると決定され得る（例えば、図１９に図示される主軸１９１４）。主軸は、対応する固有ベクトル（下記では、ｅ３と称される）に基づくものとして表され得る。
【化9】
【0629】
ディスプレイシステムは、２つの残りの固有値の絶対値に従って、２つの残りの固有値から、最小固有値を識別してもよい。本最小固有値は、「λ２」と称され得、残りの固有値は、「λ１」と称され得る。
【0630】
ディスプレイシステムは、次いで、以下を決定してもよい。
【化10】
【0631】
図１９に説明されるように、円錐の２つの円形断面が、決定されてもよい。例えば、いくつかの実装では、具体的２つの円形断面は、規定された半径に基づいて決定されてもよい。半径は、実施例として角膜輪部と関連付けられた半径を表し得る（例えば、上記に説明されるように）。
【0632】
いくつかの実装では、円形断面は、少なくとも部分的に、上記に説明される固有ベクトル分解に基づくベクトルに従って定義されてもよい。ベクトルは、円形断面のそれぞれの中心を通して延在する、ベクトルを表し得る。例えば、ベクトルｃ１およびｃ２が、対応する法線ベクトルｎ１およびｎ２とともに決定されてもよい。
【化11】
【0633】
ディスプレイシステムは、円形断面のうちの１つを選択する。例えば、ディスプレイシステムは、眼の視線に対応する、ベクトルペア［ｃ１，ｎ１］または［ｃ２，ｎ２］のうちの１つを選択してもよい。本実施例では、ディスプレイシステムは、ユーザが仮想ディスプレイ（例えば、仮想コンテンツ）を見ていることに対応する、関連付けられた円形断面を決定してもよい。実施例として、ディスプレイシステムは、対応する法線ベクトルを利用して、仮想コンテンツにおける法線ベクトル点を識別してもよい。したがって、曖昧性解消が、ディスプレイシステムを使用して実施され得る。いくつかの実施形態では、２次元ＣｏＲ（例えば、下記に説明されるように）を利用すること等の他のスキームが、ベクトルペアの中から選択するために利用されてもよい。しかしながら、他の方法も、投影楕円、円錐、円錐を通る円形断面、円形断面に関する法線ベクトルのうちの任意の１つ以上のものを決定する、または断面および／または関連付けられた法線ベクトルを選択するために使用されてもよい。上記に議論される数学的方法の変形例が、使用されてもよい、またはそのような数学的方法は、使用される必要がない。種々の他の方法が、採用されてもよい。
【0634】
ブロック２００８に下記に関して説明されるであろうように、ディスプレイシステムは、選択されたベクトルペアを利用して、眼のＣｏＲを決定してもよい。例えば、ディスプレイシステムは、１つ以上の連続画像から選択される他のベクトルペアと組み合わせて、選択されたベクトルペアを利用して、ＣｏＲを決定してもよい。
【0635】
ブロック２００８では、ディスプレイシステムは、眼のＣｏＲを決定する。上記のブロック２００２－２００６に説明されるように、ディスプレイシステムは、ユーザの眼の画像内に表されるようなユーザの角膜輪部に基づいて、法線ベクトルを決定してもよい。例えば、法線ベクトルは、ユーザの眼の光学軸を表し得る。ブロック２００６に説明されるように、ディスプレイシステムは、例えば、ベクトルペア［ｃｘ，ｎｘ］等のベクトルペアを決定してもよい。眼のＣｏＲを決定するために、ディスプレイシステムは、個別のユーザの眼の画像から決定された２つ以上の法線ベクトルを利用してもよい。例えば、２つ以上の画像は、（例えば、ある周期性に従って取得される）ユーザの眼の連続画像であってもよい。別の実施例として、２つ以上の画像は、閾値時間を空けて撮影される画像を表し得る。図２０の実施例では、ディスプレイシステムは、随意に、閾値数の画像の受信に応じて、ブロック２００８を実施してもよい。例えば、ブロック２００２－２００６に説明される画像は、閾値数の画像の最後の画像を表してもよい。他のアプローチも、可能性として考えられる。有利には、ディスプレイシステムは、下記に説明されるであろうように、周期的に、決定されたＣｏＲを精緻化および更新してもよい。
【0636】
上記の議論と同様に、画像毎に、ディスプレイシステムは、選択された円形断面の中心の場所を提供する、ベクトルを決定してもよい。ディスプレイシステムはまた、選択された円形断面に対して法線方向の法線ベクトルを決定してもよい。法線ベクトルは、実施例として、眼の光学軸を表し得る。例えば、法線ベクトルは、画像内に表される眼姿勢に従って、眼の変動する光学軸を識別してもよい。
【0637】
ＣｏＲを決定するために、ディスプレイシステムは、法線ベクトルが、交差、収束、または近接近する、例えば、ベクトルの大部分が、交差、収束、または近接近する、または平均して、ベクトルが、交差、収束、または近接近する、場所（例えば、３次元場所）を識別してもよい。例えば、二乗平均平方根プロセスが、採用されてもよい。したがって、図７Ａに説明されるように、識別された場所は、光学軸が交差する場所を表し得る。本交点は、眼のＣｏＲとして割り当てられてもよい。いくつかの実装では、角膜輪部円形の中心からＣｏＲまでの距離が、決定され、将来的使用のために記憶されてもよい。これらの実装のうちの少なくともいくつかでは、システムは、そのような距離を特定のユーザと関連付けて記憶し、後に、その特定のユーザに関するＣｏＲを決定するために、記憶された距離に依拠してもよい（例えば、角膜輪部の中心から離れた記憶された距離である、法線ベクトルに沿った位置を識別することによって）。同様に、いくつかの実施形態では、ＣｏＲは、角膜輪部の中心から離れた仮定された距離である、法線ベクトルに沿った位置を識別することによって決定されてもよい。これらの実施形態では、そのような仮定された距離は、母集団平均または他の所定の値に対応してもよい。
【0638】
ユーザの眼の新しい画像が、受信されるにつれて、ディスプレイシステムは、ＣｏＲを精緻化してもよい。例えば、ディスプレイシステムは、個別の画像（例えば、閾値数の画像の個別のグループ）に基づいて、１つ以上の新しいＣｏＲを決定してもよい。ディスプレイシステムは、次いで、新しいＣｏＲに基づいて、ＣｏＲを精緻化してもよい。実施例として、ディスプレイシステムは、ＣｏＲの二乗平均平方根を算出してもよい。随意に、ディスプレイシステムは、全ての取得された画像または閾値数を利用して、ＣｏＲを継続的に更新してもよい。例えば、ディスプレイシステムは、最初に、２つ以上の画像を利用して、ＣｏＲを決定してもよい。新しい画像が、受信されるにつれて、ディスプレイシステムは、受信された画像の全てまたは閾値数を用いて、プロセス２０００を実施してもよい。画像の数の増加、したがって、決定された法線ベクトルの数の増加に伴って、ＣｏＲの正確度は、増加され得る。他のアプローチも、可能性として考えられる。
【0639】
図２１Ａは、ユーザの眼の第１の視線に基づいて決定された、第１の投影楕円２１００を図示する。上記に説明されるように、ユーザの眼の画像が、取得されてもよい。画像に基づいて、眼の角膜輪部の境界が、決定されてもよい。図示されるように、第１の投影楕円２１００は、角膜輪部の境界に基づいて、像面２１１２内で決定されている。図示される実施例では、境界に沿った点が、識別される。円錐２１０４を形成する光線は、カメラ点２１０２から境界に沿った点を通して延在するように図示される。円形断面２１０６は、例えば、図２０に説明されるように決定されており、円形断面２１０６の中心２１０８が、図２１Ａにおいて識別されている。
【0640】
図１９－２０に説明されるように、円錐２１０４からの２つの円形が、所与の半径に関して決定され得る。図２１Ａ－２１Ｄの実施例では、円形のうちの１つが、選択されてもよい。例えば、上記に説明されるように、円形のうちの１つは、ユーザによって視認されている仮想ディスプレイ（例えば、仮想コンテンツ）に向いている視線に対応し得る。円形の中心２１０８から延在するのは、ベクトル２１１０である。ベクトルは、したがって、図２０に関して上記に説明される法線ベクトルｎ１またはｎ２のうちの１つを表し得る。
【0641】
図２１Ｂは、ユーザの眼の第２の視線に基づいて決定された、第２の投影楕円２１１４を図示する。本実施例では、図２１Ａに説明される画像に続く画像が、取得される。上記と同様に、第２の投影楕円２１１４が、像面２１１２内で識別される。加えて、ベクトル２１１６が、決定されている。
【0642】
図２１Ｃは、ユーザの眼の第３の視線に基づいて決定された、第３の投影楕円２１１８を図示する。本実施例では、図２１Ａ－２１Ｂに説明される画像に続く画像が、取得される。上記と同様に、第３の投影楕円２１１８が、像面２１１２内で識別される。加えて、ベクトル２１２０が、決定されている。
【0643】
図２１Ｄは、決定されたベクトル２１１０、２１１６、２１２０に基づいて、回転中心（ＣｏＲ）を推定するステップを図示する。ディスプレイシステムは、決定されたベクトルを利用して、ベクトルが交差する、点を識別する。例えば、ディスプレイシステムは、ベクトルが点２１２２において交差することを決定している。交点２１２２を決定するために、ディスプレイシステムは、随意に、既知の物理的情報を利用してもよい。例えば、カメラ点２１０２とユーザの眼との間の距離が、採用されてもよい。代替として、または加えて、法線が近接近または収束するように現れる、例えば、ベクトルの大部分が、交差、収束、または近接近する、または平均して、ベクトルが、交差、収束、または近接近する、交点または場所が、決定されてもよい。ディスプレイシステムは、次いで、法線が近接近または収束するように現れる、交点２１２２、または、例えば、ベクトルの大部分が、交差、収束、または近接近する、または平均して、ベクトルが、交差、収束、または近接近する、交点または場所を、眼のＣｏＲとして割り当て得る。
【0644】
図１９－２１Ｄに関して上記に説明されるように、ユーザの眼の画像が、眼のＣｏＲの推定値を決定するために利用されてもよい。付加的変形例および技法が、採用され、本開示の範囲内であり得る。実施例として、ディスプレイシステムは、眼の回転および／または移動の間、ユーザの眼の画像に基づいて、眼のＣｏＲを決定してもよい。眼の眼の幾何学的側面における変動量の分析を通して、ディスプレイシステムは、ＣｏＲを識別してもよい。例えば、ディスプレイシステムは、画像内で表されるような眼の光学軸を識別してもよい。ディスプレイシステムは、光学軸を利用して、ＣｏＲを決定してもよい。したがって、ユーザの眼の幾何学的側面を利用して、眼のＣｏＲの推定値を決定する、付加的技法および変形例が、採用されてもよい。
【0645】
実施例として、ディスプレイシステムは、ユーザの眼の画像と関連付けられた位置のアレイを決定してもよい。位置のアレイは、画像上の空間場所に対応してもよい。例示的空間場所は、ユーザの眼の一部（例えば、角膜輪部、瞳孔、虹彩等）と関連付けられてもよい。したがって、いくつかの実装では、位置のアレイは、一部の極限値に適合されてもよい。一部の極限値は、ユーザの眼の一部に関して決定される、曲線（例えば、上記に説明される投影楕円）と関連付けられてもよい。いくつかの実装では、ディスプレイシステムは、同一点から位置のアレイを通して延在する、線形経路を識別してもよい。上記に説明されるように、線形経路（例えば、光線）は、カメラ点から延在してもよい。線形経路は、円錐を形成し得、円錐の特定の円形断面が、選択されてもよい。例えば、特定の断面は、ある半径（例えば、平均角膜輪部またはユーザの角膜輪部の半径、平均瞳孔またはユーザの瞳孔の半径等）を有し得る。特定の断面に対して法線方向のベクトルが、識別されてもよい。ディスプレイシステムは、法線ベクトルの複数のものの交点を決定し、次いで、交点をＣｏＲとして割り当ててもよい。いくつかの実装では、２つ以上の光学軸および／または他のベクトル間の交点の３Ｄ点を決定するための技法のうちの１つ以上のものが、図７Ａを参照して上記に説明されるように、図１９－２１Ｄを参照して本明細書に説明される法線ベクトル間の交点の３Ｄ点を決定するために活用されてもよい。同様に、いくつかの実施形態では、複数の推定されるＣｏＲ位置または他の３Ｄ位置を平均する、および／またはフィルタ（例えば、カルマンタイプフィルタ）を適用するための技法のうちの１つ以上のものが、図７Ａを参照して上記に説明されるように、図１９－２１Ｄを参照して本明細書に説明されるＣｏＲ推定値を決定および／または精緻化するために活用されてもよい。変形例および他の方法も、採用されてもよい。
【0646】
付加的例示的技法を利用して回転中心（ＣｏＲ）を精緻化する
図２０－２１に説明されるように、ディスプレイシステムは、眼のＣｏＲを、複数のベクトルが交差、収束、または近接近する、場所（例えば、３次元場所）（例えば、ベクトル２１１０、２１１６、２１２０）として決定してもよい。代替として、または加えて、ディスプレイシステムは、１つ以上の他の技法に従って、決定されたＣｏＲを精緻化してもよい。例えば、図１９－２０に説明されるように、ベクトルｃ１およびｃ２（例えば、ベクトル１９１６、１９１８）が、投影楕円（例えば、楕円１９０２）を通して延在する光線を介して形成される、円錐（例えば、円錐１９１２）から決定されてもよい。これらのベクトルは、投影平面を形成し得る。複数の画像を利用することに関して上記と同様に、ディスプレイシステムは、２つ以上の画像に関して投影平面を決定してもよい。
図２０－２１に説明されるように、ディスプレイシステムは、眼のＣｏＲを、複数のベクトルが交差、収束、または近接近する、場所（例えば、３次元場所）（例えば、ベクトル２１１０、２１１６、２１２０）として決定してもよい。代替として、または加えて、ディスプレイシステムは、１つ以上の他の技法に従って、決定されたＣｏＲを精緻化してもよい。例えば、図１９－２０に説明されるように、ベクトルｃ１およびｃ２（例えば、ベクトル１９１６、１９１８）が、投影楕円（例えば、楕円１９０２）を通して延在する光線を介して形成される、円錐（例えば、円錐１９１２）から決定されてもよい。これらのベクトルは、投影平面を形成し得る。複数の画像を利用することに関して上記と同様に、ディスプレイシステムは、２つ以上の画像に関して投影平面を決定してもよい。
【0647】
決定されたＣｏＲを精緻化するために、ディスプレイシステムは、決定された投影平面を利用してもよい。例えば、いくつかの実装では、ディスプレイシステムは、（例えば、３次元空間内の）投影平面の交点を決定してもよい。投影平面の交点は、実施例として、線をもたらし得る。加えて、本線は、カメラ点（例えば、点１９１０）を通して通過し得、そこから、投影平面と関連付けられた円錐が、延在する。ＣｏＲを精緻化するために、ディスプレイシステムは、本結果として生じる線が交差する、像面（例えば、像面１９０４）内の点を識別してもよい。ディスプレイシステムは、次いで、本点を像面上の２次元ＣｏＲとして割り当て得る。図１９に説明されるように、ディスプレイシステムは、（例えば、３次元空間内の）結果として生じる線に沿って２次元ＣｏＲを調節してもよい。例えば、精緻化されたＣｏＲは、法線ベクトル（例えば、ベクトル２１１０、２１１６、２１２０）の交点に近いまたは最も近い結果として生じる線に沿った場所として割り当てられてもよい。
【0648】
随意に、ディスプレイシステムは、以下の技法に従って、眼のＣｏＲを精緻化してもよい。ユーザの眼の異なる画像（例えば、連続画像）が、取得されてもよい。画像毎に、ディスプレイシステムは、ベクトルｃ１およびｃ２と像面（例えば、像面１９０４）の交点を決定してもよい。ディスプレイシステムは、次いで、（１）ベクトルｃ１と像面の交点と（２）ベクトルｃ２と像面の交点との間の線を接続してもよい。したがって、線は、ベクトルｃ１およびｃ２によって定義されるような投影平面と像面の交点を表し得る。画像は、したがって、個別の線と関連付けられ得、ディスプレイシステムは、線との像面内の点の近接度に基づいて、２次元ＣｏＲを決定してもよい。例えば、ディスプレイシステムは、二乗平均平方根（ＲＭＳ）プロセス（例えば、ランダムサンプル共有項に基づいて）を実施し、２次元ＣｏＲを決定してもよい。上記と同様に、ディスプレイシステムは、２次元ＣｏＲおよびカメラ点を接続する線に沿って２次元ＣｏＲを調節することによってＣｏＲを精緻化してもよい（例えば、図２０－２１に説明されるように）。
【0649】
上記の実施例に関して、ディスプレイシステムは、随意に、画像毎に、ベクトルｃ１およびｃ２のうちの１つを選択してもよい。例えば、ディスプレイシステムは、眼の視線に基づいて、ベクトルｃ１およびｃ２のうちの１つを選択してもよい。別の実施例として、ディスプレイは、像面との個別のベクトル交点に基づいて、ベクトルｃ１およびｃ２のうちの１つを選択してもよい。本実施例では、２次元ＣｏＲのものにより近い、像面と交差するベクトル（例えば、上記に説明されるように）が、選択されてもよい。ディスプレイシステムは、次いで、各選択されたベクトルが像面と交差する、点を決定してもよい。上記と同様に、ディスプレイシステムは、次いで、決定された交点との像面内の点の近接度に基づいて、２次元ＣｏＲを決定してもよい。例えば、ＲＭＳプロセスが、利用されてもよい。
【0650】
瞳孔投影に基づいて回転中心（ＣｏＲ）を決定する
眼の角膜輪部を利用することに関連する図１９－２１Ｄにおける上記の説明と同様に、瞳孔が、代替として、または加えて、眼のＣｏＲを決定するために利用されてもよい。例えば、投影楕円が、ユーザの眼の画像内に含まれる瞳孔に関して決定されてもよい。瞳孔は、ユーザの角膜の表面の背後に位置するため、光は、表面において屈折され得る。しかしながら、そのような屈折の主要な効果は、屈折されていない瞳孔に対する瞳孔から延在する法線ベクトルの回転であり得る。角膜の屈折効果は、本明細書に議論されるように、瞳孔の屈折ベースの場所を決定するために考慮され得る。非限定的実施例として、瞳孔中心の屈折ベースの場所はまた、上記に説明される技法に従って決定されると、投影平面と一致し得る。ディスプレイシステムは、本明細書に説明されるように、ユーザの瞳孔の画像を利用して、屈折平面を決定してもよい。したがって、ディスプレイシステムは、本明細書に説明されるように、ユーザの瞳孔の画像を利用して、投影平面を決定してもよい。例えば、ＣｏＲ光線（または「眼球中心光線」）が、角膜輪部に関して上記に説明されたように、瞳孔に関して同一方法で見出され得る。瞳孔に関する屈折効果を含むことは、実施例として、ＣｏＲ光線計算を変化させ得ない。次いで、固定された（例えば、平均）瞳孔半径を使用して、ディスプレイシステムは、円形断面およびその対応する法線（例えば、上記に説明されるように）を見出し得る。
眼の角膜輪部を利用することに関連する図１９－２１Ｄにおける上記の説明と同様に、瞳孔が、代替として、または加えて、眼のＣｏＲを決定するために利用されてもよい。例えば、投影楕円が、ユーザの眼の画像内に含まれる瞳孔に関して決定されてもよい。瞳孔は、ユーザの角膜の表面の背後に位置するため、光は、表面において屈折され得る。しかしながら、そのような屈折の主要な効果は、屈折されていない瞳孔に対する瞳孔から延在する法線ベクトルの回転であり得る。角膜の屈折効果は、本明細書に議論されるように、瞳孔の屈折ベースの場所を決定するために考慮され得る。非限定的実施例として、瞳孔中心の屈折ベースの場所はまた、上記に説明される技法に従って決定されると、投影平面と一致し得る。ディスプレイシステムは、本明細書に説明されるように、ユーザの瞳孔の画像を利用して、屈折平面を決定してもよい。したがって、ディスプレイシステムは、本明細書に説明されるように、ユーザの瞳孔の画像を利用して、投影平面を決定してもよい。例えば、ＣｏＲ光線（または「眼球中心光線」）が、角膜輪部に関して上記に説明されたように、瞳孔に関して同一方法で見出され得る。瞳孔に関する屈折効果を含むことは、実施例として、ＣｏＲ光線計算を変化させ得ない。次いで、固定された（例えば、平均）瞳孔半径を使用して、ディスプレイシステムは、円形断面およびその対応する法線（例えば、上記に説明されるように）を見出し得る。
【0651】
ディスプレイシステムは、次いで、角膜輪部に基づいてＣｏＲを決定するための上記に説明される方法と同様に、瞳孔に基づいて眼のＣｏＲを決定してもよい。例えば、楕円が、瞳孔画像に適合されてもよい。光線の円錐が、楕円を通して投影されてもよい。円形断面が、円錐に適合されてもよい。複数の画像を使用して取得された複数の断面を通る法線が、使用および考慮されてもよく、それらの法線の交点または収束が、識別されてもよい。ＣｏＲの推定値が、そこから取得されてもよい。投影平面の使用等、本明細書に説明される他の方法を含む、他の方法も、ＣｏＲの推定値を決定するために採用されてもよい。
【0652】
視点中心（ＣｏＰ）分析／導出
ピンホールカメラモデルでは、視点中心（ＣｏＰ）は、ピンホールカメラの開口と見なされ得る。本ＣｏＰの例示的性質は、オブジェクト角度空間の原点でもあり得るということである。したがって、本原点を参照した実施例として、ピンホールから同一角度にある、オブジェクトは、同一ピクセルにマッピング（例えば、重複）されるであろう。別の実施例として、場面が、ＣｏＰを中心として厳密に回転される場合、投影された画像は、平行移動し、場面内のオブジェクトは、視差偏移を被らないであろう。
ピンホールカメラモデルでは、視点中心（ＣｏＰ）は、ピンホールカメラの開口と見なされ得る。本ＣｏＰの例示的性質は、オブジェクト角度空間の原点でもあり得るということである。したがって、本原点を参照した実施例として、ピンホールから同一角度にある、オブジェクトは、同一ピクセルにマッピング（例えば、重複）されるであろう。別の実施例として、場面が、ＣｏＰを中心として厳密に回転される場合、投影された画像は、平行移動し、場面内のオブジェクトは、視差偏移を被らないであろう。
【0653】
本明細書に説明されるシステムおよび技術を開発する際、２つの仮説が、展開および試験された。第１の仮説は、主平面の中心がＣｏＰであることであって、第２の仮説は、開口の中心がＣｏＰであることであった。主平面は、実施例として、入射光線が屈折に起因して屈曲すると見なされ得る平面を表し得る。説明されるであろうように、開口の中心がＣｏＰであることが決定され得る。例えば、図２２、２３Ａー２３Ｂ、および２４Ａ－２４Ｂは、下記のその対応する説明とともに、これらの２つの仮説の試験と関連付けられた分析に関して有益であり得る。
【0654】
図２２は、２つの点光源２２０１および２２０２と、開口２２０４と、レンズ２２０６と、投影画面２２０８とを含む、光学システム２２００を図示する。本実施例では、光学システム２２００の開口２２０４、レンズ２２０６、および投影画面２２０８は、ヒトの眼の解剖学的特徴を表す、またはそれに少なくとも機能的に類似し得る。例えば、光学システム２２００の開口２２０４、レンズ２２０６、および投影画面２２０８は、それぞれ、瞳孔、水晶体、および網膜に対応し得る。
【0655】
図２２では、第１の点光源２２０１によって放出される光線が、第１の点光源２２０１から投影画面２２０８に向かって延在する実線として表される一方、第２の点光源２２０２によって放出される光線は、第２の点光源２２０２から投影画面２２０８に向かって延在する点線として表される。２つの点光源２２０１および２２０２のそれぞれから放出される光の一部は、開口２２０４およびレンズ２２０６を通して伝搬し、最終的に、投影画面２２０８に衝打し、入射光線パターン２２１０を形成し得る。
【0656】
図２３Ａは、２つの点光源２３０１および２３０２と、開口２３０４と、レンズ２３０６と、投影画面２３０８とを含む、第１の段階（例えば、段階「Ａ」）における光学システム２３００を図示する。光学システム２３００は、例えば、図２２を参照して上記でさらに詳細に説明されるような光学システム２２００と、構築および機能上、同じまたは類似し得る。より具体的には、光学システム２３００は、前述の第１の仮説が試験され得るように、主平面の中心がＣｏＰとして定義される、図２２を参照して上記でさらに詳細に説明されるような光学システム２２００の特定の実装を表し得る。レンズ２３０６は、光学システム２３００内の主平面を定義する役割を果たし得るため、本実施例におけるＣｏＰは、レンズ中心２３０７に対応し得るということになる。
【0657】
２つの前述の実装に関する光学システム２３００の評価は、前述の第１の仮説が真または偽であるかどうかに関して有益であり得る。すなわち、前述の第１の仮説が真であるために、投影画面２３０８上に投影される画像（例えば、入射光線パターン）は、２つの点光源２３０１および２３０２が、レンズ中心２３０７を中心として厳密に回転される（例えば、それぞれ、曲率半径２３１１および２３１２に沿って回転される）とき、任意の視差偏移を受けず、単に、平行移動を被るべきである。再び図２２を参照すると、これは、２つの点光源２３０１および２３０２が、それぞれ、曲率半径２３１１および２３１２に沿った任意の点の対に対して厳密に回転されるとき、投影画面２３０８上に投影される画像が、入射光線パターン２２１０の平行移動されたバージョンのように見える（例えば、画像が、投影画面２３０８上の若干異なる場所に形成される）べきであることを意味する。
【0658】
図２３Ｂは、２つの点光源２３０１および２３０２が、それぞれ、曲率半径２３１１および２３１２に沿ったレンズ中心２３０７を中心として厳密に回転され、厳密に回転された点光源２３０１’および２３０２’となっている、第２の段階（例えば、段階「Ｂ」）における光学システム２３００を図示する。２つの厳密に回転された点光源２３０１’および２３０２’のそれぞれから放出される光の一部は、開口２３０４およびレンズ２３０６を通して伝搬し、最終的に、投影画面２３０８に衝打し、入射光線パターン２３１０を形成することが分かる。
【0659】
しかしながら、入射光線パターン２３１０の検討に応じて、また、第１の厳密に回転された点光源２３０１’から生じる入射光線パターン２３１０の光線と、第２の厳密に回転された点光源２３０２’から生じる入射光線パターン２３１０の光線との間の（例えば、投影画面２３１０上の）相対的位置は、偏移していることが分かる。再び図２２を参照すると、さらに、図２３Ｂにもたらされた入射光線パターン２３１０は、入射光線パターン２２１０の平行移動されたバージョンに類似して現れないことに留意され得る。言い換えると、レンズ中心２３０７を中心とする２つの点光源２３０１および２３０２の厳密な回転が、視差偏移をもたらしたことになる。本理由から、レンズ中心２３０７は、ＣｏＰのための非好適場所と見なされ得る。したがって、図２２、２３Ａ、および２３Ｂおよびその付随する分析は、前述の第１の仮説が偽であることを事実上実証していることになり得る。
【0660】
図２４Ａは、２つの点光源２４０１および２４０２と、開口２４０４と、レンズ２４０６と、投影画面２４０８とを含む、第１の段階（例えば、段階「Ａ」）における光学システム２４００を図示する。光学システム２４００は、例えば、図２３Ａおよび２３Ｂを参照して上記に説明されるものとほぼ同じように、図２２を参照して上記でさらに詳細に説明されるような光学システム２２００と、構築および機能上、同じまたは類似し得る。より具体的には、光学システム２４００は、前述の第２の仮説が試験され得るように、開口中心２４０７がＣｏＰとして定義される、図２２を参照して上記でさらに詳細に説明されるような光学システム２２００の特定の実装を表し得る。
【0661】
図２３Ａおよび２３Ｂを参照して上記に説明されるような光学システム２３００の評価と同様に、光学システム２４００の評価は、前述の第２の仮説が真または偽であるかどうかに関して有益であり得る。すなわち、前述の第２の仮説が真であるために、投影画面２４０８上に投影される画像（例えば、入射光線パターン）は、２つの点光源２４０１および２４０２が開口中心２４０７を中心として厳密に回転される（例えば、それぞれ、曲率半径２４１１および２４１２に沿って回転される）とき、任意の視差偏移を受けず、単に、平行移動を被るべきである。
【0662】
図２４Ｂは、２つの点光源２４０１および２４０２が、それぞれ、曲率半径２４１１および２４１２に沿った開口中心２４０７を中心として厳密に回転され、厳密に回転された点光源２４０１’および２４０２’となっている、第２の段階（例えば、段階「Ｂ」）における光学システム２４００を図示する。２つの厳密に回転された点光源２４０１’および２４０２’からの光の一部は、投影画面２４０８に衝打し、図２２を参照して上記に説明されるような入射光線パターン２２１０の平行移動されたバージョンに類似して現れる、入射光線パターン２４１０を形成することを理解されたい。すなわち、投影画面２４０８に対する入射光線パターン２４１０の位置は、投影画面２２０８に対する入射光線パターン２２１０のものと異なり得るが、第１の厳密に回転された点光源２４０１’から生じる入射光線パターン２４１０の光線と、第２の厳密に回転された点光源２４０２’から生じる入射光線パターン２４１０の光線との間の（例えば、投影画面２３１０上の）相対的位置は、偏移して現れていない。したがって、開口中心２４０７を中心とした２つの点光源２４０１および２４０２の厳密な回転は、視差偏移をもたらすように現れない。２つの前述の含意が、本実施例では、合致されていると考えられることを前提として、開口中心２４０７は、ＣｏＰのための好適場所と見なされ得る。したがって、図２２、２４Ａ、および２４Ｂおよびその付随する分析は、前述の第２の仮説が真であることを事実上実証していることになり得る。
【0663】
したがって、いくつかの実施形態では、レンダリング世界内のＣｏＰ（例えば、レンダリングカメラのピンホールの場所）と、開口中心２４０７の解剖学的均等物である、（実世界内の）ユーザの眼の一部を整合させることが望ましくあり得る。ヒトの眼はさらに、角膜（付加的屈折力を網膜に向かって伝搬する光に付与する）をさらに含むため、開口中心２４０７の解剖学的均等物は、ユーザの眼の瞳孔または虹彩の中心に対応し得ないが、代わりに、ユーザの眼の角膜の外側表面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域に対応し得る。例えば、開口中心２４０７の解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。
【0664】
眼追跡が利用不可能であるときの実施例
いくつかの実施形態では、眼追跡は、提供されない場合がある、または一時的に利用不可能である場合がある。実施例として、眼追跡カメラ３２４または光源３２６が、曇る、損傷される、またはユーザによって無効にされる、環境の照明条件が、眼追跡を著しく困難にし得る、ウェアラブルシステムが、眼追跡を妨害するように不適切にフィットされ得る、ユーザが、睇視している、または容易に追跡されない眼の状態を有し得ること等が、挙げられる。そのようなとき、ウェアラブルシステムは、眼追跡データの不在下、レンダリングカメラを位置付け、深度平面を選択するための種々の方略に依拠するように構成されてもよい。
いくつかの実施形態では、眼追跡は、提供されない場合がある、または一時的に利用不可能である場合がある。実施例として、眼追跡カメラ３２４または光源３２６が、曇る、損傷される、またはユーザによって無効にされる、環境の照明条件が、眼追跡を著しく困難にし得る、ウェアラブルシステムが、眼追跡を妨害するように不適切にフィットされ得る、ユーザが、睇視している、または容易に追跡されない眼の状態を有し得ること等が、挙げられる。そのようなとき、ウェアラブルシステムは、眼追跡データの不在下、レンダリングカメラを位置付け、深度平面を選択するための種々の方略に依拠するように構成されてもよい。
【0665】
レンダリングカメラに関して、ウェアラブルシステムは、ユーザの瞳孔が、数秒または典型的瞬眼より長い時間等、所定の閾値より長い時間にわたって検出されない場合、レンダリングカメラをデフォルト位置に位置付けてもよい。ウェアラブルシステムは、過減衰発振器モデルに追従し得る平滑な移動において、レンダリングカメラをデフォルト位置に移動させてもよい。デフォルト位置は、特定のユーザに対するウェアラブルシステムの較正プロセスの一部として決定されてもよい。デフォルト位置は、ユーザの左および右眼の回転中心であってもよい。これらは、単なる例証的実施例である。
【0666】
深度平面に関して、ウェアラブルシステムは、前述で議論されたようなユーザの輻輳・開散運動深度とは対照的に、仮想コンテンツの深度に基づいて、遠近調節キューを提供してもよい。いくつかの実施形態では、ウェアラブルシステムは、ユーザが見ている可能性が高い場所を推定する情報を受け取ってもよく、取得してもよく、または決定してもよく、合致する遠近調節キューを提供してもよい。実施例として、ウェアラブルシステムは、ビデオクリップ等、ユーザが合焦している可能性が高いコンテンツを表示している場合があり、ユーザがコンテンツを見ていると仮定してもよく、コンテンツを深度平面（または混成深度平面）上に提供し、そのコンテンツの深度に合致する、遠近調節キューを提供してもよい。
【0667】
周囲環境内のオブジェクトを検出するためのコンピュータビジョン
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ（例えば、カメラ、オーディオセンサ、温度センサ等）を含む、種々の技法を使用して遂行されてもよい。
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ（例えば、カメラ、オーディオセンサ、温度センサ等）を含む、種々の技法を使用して遂行されてもよい。
【0668】
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して、検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの前向きに面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を決定するように構成されてもよい。ディスプレイシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および／または眼認識を実施し、ユーザの視野内の顔および／またはヒトの眼の存在および場所を決定するように構成されてもよい。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
【0669】
これらのコンピュータビジョン技法のうちの１つ以上のものはまた、他の環境センサ（例えば、マイクロホン等）から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および決定してもよい。
【0670】
本明細書に議論されるように、周囲環境内のオブジェクトは、１つ以上の基準に基づいて、検出されてもよい。ディスプレイシステムが、コンピュータビジョンアルゴリズムを使用して、または１つ以上のセンサアセンブリ（ディスプレイシステムの一部である場合とそうではない場合がある）から受信されたデータを使用して、周囲環境内の基準の存在または不在を検出するとき、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
【0671】
機械学習
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【0672】
オブジェクトを検出するための基準は、１つ以上の閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に達したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および／または定質的測定値を伴ってもよい。例えば、閾値条件は、反射および／またはオブジェクトが環境内に存在する尤度と関連付けられたスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および／またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および／またはユーザの周囲環境との相互作用に基づいて決定されてもよい。
【0673】
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストのために特殊化されてもよい。例えば、診断コンテキストでは、コンピュータビジョンアルゴリズムは、刺激に対するある応答を検出するために特殊化されてもよい。別の実施例として、ディスプレイシステムは、本明細書に議論されるように、顔認識アルゴリズムおよび／またはイベントトレーシングアルゴリズムを実行し、刺激に対するユーザの反応を感知してもよい。
【0674】
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0675】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0676】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、遠隔データリポジトリ（１６０）のうちの１つ以上のものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0677】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0678】
他の考慮点
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0679】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0680】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0681】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0682】
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【0683】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【0684】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【0685】
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
【0686】
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
【0687】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。
【実施例】
【0688】
光をユーザの片眼または両眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示する、下記に列挙される実施例等のディスプレイシステムの種々の実施例が、本明細書に説明される。
【0689】
実施例１：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0690】
実施例２：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を形成する、実施例１に記載のディスプレイシステム。
【0691】
実施例３：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、実施例１または２に記載のディスプレイシステム。
【0692】
実施例４：該１つ以上の光源は、赤外線光エミッタを備える、実施例１または３に記載のディスプレイシステム。
【0693】
実施例５：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の場所を決定するように構成される、実施例１－４のいずれかに記載のディスプレイシステム。
【0694】
実施例６：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該角膜球体の曲率中心の場所を決定するように構成される、実施例１－５のいずれかに記載のディスプレイシステム。
【0695】
実施例７：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜球体の曲率中心の場所を決定するように構成される、実施例５に記載のディスプレイシステム。
【0696】
実施例８：該１つ以上の眼追跡カメラは、該眼の瞳孔を結像するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0697】
実施例９：該処理電子機器は、該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0698】
実施例１０：該処理電子機器は、該虹彩と該瞳孔との間の境界の少なくとも一部を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0699】
実施例１１：該処理電子機器は、該虹彩と該瞳孔との間の境界の中心を決定するように構成される、実施例１０に記載のディスプレイシステム。
【0700】
実施例１２：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0701】
実施例１３：該処理電子機器は、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0702】
実施例１４：該処理電子機器は、３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、実施例１２に記載のディスプレイシステム。
【0703】
実施例１５：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0704】
実施例１６：該処理電子機器は、該角膜の曲率中心に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0705】
実施例１７：該処理電子機器は、該角膜の曲率中心および該光学軸の場所および配向に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0706】
実施例１８：該処理電子機器は、該角膜の曲率中心から該光学軸に沿った特定の距離を平行移動させることによって、該眼の回転中心の場所を決定するように構成される、実施例１７に記載のディスプレイシステム。
【0707】
実施例１９：該曲率中心から該回転中心までの特定の距離は、４．０ｍｍ～６．０ｍｍである、実施例１８に記載のディスプレイシステム。
【0708】
実施例２０：該曲率中心から該回転中心までの特定の距離は、約４．７ｍｍである、実施例１８または１９に記載のディスプレイシステム。
【0709】
実施例２１：該特定の距離は、固定される、実施例１８または１９に記載のディスプレイシステム。
【0710】
実施例２２：該処理電子機器は、少なくとも、該１つ以上の眼追跡カメラを用いて以前に取得された該眼の１つ以上の画像に基づいて、特定の距離を決定するように構成される、実施例１８または１９に記載のディスプレイシステム。
【0711】
実施例２３：該処理電子機器は、該光学軸の場所および配向に基づいて、該光学軸からオフセットされた該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0712】
実施例２４：該処理電子機器は、該光学軸に対する角回転に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0713】
実施例２５：該処理電子機器は、該光学軸に対する４．０°～６．５°の角回転に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0714】
実施例２６：該処理電子機器は、該光学軸に対する約５．２°の角回転に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0715】
実施例２７：該処理電子機器は、該１つ以上の眼追跡カメラを用いて以前に取得された該眼の少なくとも１つ以上の画像に基づいて、該視軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0716】
実施例２８：該処理電子機器は、該眼が回転している期間にわたって、該光学軸または視軸の場所の複数の決定に基づいて、該眼の回転中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0717】
実施例２９：該処理電子機器は、該眼が回転している期間にわたって、該光学軸または視軸の場所の複数の決定の交差の領域を識別することによって、該回転中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0718】
実施例３０：該処理電子機器は、該ユーザの左および右眼に関する該光学軸の場所および配向の決定に基づいて、ユーザの左および右眼が注視している、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0719】
実施例３１：該処理電子機器は、該ユーザの左および右眼に関する該視軸の場所および配向の決定に基づいて、ユーザの左および右眼が注視している、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0720】
実施例３２：該処理電子機器は、該ユーザの左および右眼に関する該視軸の交差の領域を識別することに基づいて、ユーザの左および右眼が注視している、輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0721】
実施例３３：該処理電子機器は、該左および右眼に関する視軸を水平平面上に投影し、該左および右眼に関する視軸の水平平面上への該投影の交差の領域を識別することによって、ユーザの左および右眼が注視している、輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0722】
実施例３４：該処理電子機器は、該輻輳・開散運動距離の決定に基づいて、画像コンテンツを投影するための発散およびコリメーションのうちの少なくとも１つの相対的量を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0723】
実施例３５：該処理電子機器は、該フレーム上の電子機器を含む、上記実施例のいずれかに記載のディスプレイシステム。
【0724】
実施例３６：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0725】
実施例３７：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0726】
実施例３８：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0727】
実施例３９：該頭部搭載型ディスプレイは、第１の発散量において、ユーザの正面の環境の一部からの光を受け取り、第１の発散量に実質的に類似する、第２の発散量を伴って、ユーザの眼の正面の環境の一部からの光をユーザの眼に透過させる、上記実施例のいずれかに記載のディスプレイシステム。
【0728】
実施例４０：処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、回転中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0729】
実施例４１：該処理電子機器は、該ユーザの眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0730】
実施例４２：該処理電子機器は、レンダリングカメラを該回転中心において使用し、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0731】
実施例４３：該処理電子機器は、該眼の網膜より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、レンダリングカメラを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0732】
実施例４４：該処理電子機器は、該眼の回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、レンダリングカメラを使用するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0733】
実施例４５：該処理電子機器は、レンダリングカメラを該回転中心において使用し、仮想画像を該眼に提示されるようにレンダリングするように構成され、該レンダリングカメラは、該眼の回転中心に開口を伴ってモデル化される、上記実施例のいずれかに記載のディスプレイシステム。
【0734】
実施例４６：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、処理電子機器は、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の視点中心の位置推定値を取得するように構成され、該視点中心は、該眼の瞳孔の近位にあるかまたは該角膜と該眼の瞳孔との間にあると推定される、処理電子機器とを備え、該処理電子機器は、該視点中心に位置するレンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
【0735】
実施例４７：該処理電子機器は、網膜より該視点中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0736】
実施例４８：該処理電子機器は、眼の回転中心より該視点中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0737】
実施例４９：該処理電子機器は、該視点中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0738】
実施例５０：該視点中心は、該眼の瞳孔に位置しない、上記実施例のいずれかに記載のディスプレイシステム。
【0739】
実施例５１：処理電子機器は、ユーザの眼姿勢の推定値を経時的に取得するように構成され、処理電子機器は、少なくとも部分的に、ユーザの眼姿勢に基づいて、レンダリングカメラの位置を調節する、上記実施例のいずれかに記載のディスプレイシステム。
【0740】
実施例５２：処理電子機器は、該ユーザの眼姿勢を経時的に追跡するように構成され、レンダリングカメラの位置は、該ユーザの眼姿勢の経時的変化に応答して、経時的に調節される、上記実施例のいずれかに記載のディスプレイシステム。
【0741】
実施例５３：処理電子機器は、複数の推定される視点中心位置をフィルタリングすることによって、視点中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0742】
実施例５４：処理電子機器は、複数の推定される視点中心位置を平均し、および／またはカルマンフィルタを適用することによって、視点中心の推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0743】
実施例５５：視点中心は、該ユーザの眼の前房内の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0744】
実施例５６：視点中心は、該ユーザの眼の該瞳孔の正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0745】
実施例５７：視点中心は、該ユーザの眼の該瞳孔の１．０ｍｍ～２．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0746】
実施例５８：視点中心は、該ユーザの眼の該瞳孔の約１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0747】
実施例５９：視点中心は、該ユーザの眼の該瞳孔の０．２５ｍｍ～１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0748】
実施例６０：視点中心は、該ユーザの眼の該瞳孔の０．５ｍｍ～１．０ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0749】
実施例６１：視点中心は、該ユーザの眼の該瞳孔の０．２５ｍｍ～０．５ｍｍ正面の位置を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0750】
実施例６２：視点中心は、該眼の光学軸に沿ってあり、該処理電子機器はさらに、該眼の光学軸の位置推定値を取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0751】
実施例６３：視点中心は、該眼の光学軸に沿って、該眼の角膜の外側表面と瞳孔との間の位置にあって、該処理電子機器はさらに、該眼の光学軸の位置推定値を取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0752】
実施例６４：視点中心は、該眼の光学軸に沿って、該眼の角膜の外側表面と瞳孔との間の位置にあって、該処理電子機器はさらに、該眼の光学軸の位置推定値および該眼の回転中心の位置推定値、該眼の角膜、該眼の虹彩、該眼の網膜、および該眼の瞳孔、またはそれらの任意の組み合わせを取得することによって、視点中心の位置推定値を取得するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0753】
実施例６５：該処理電子機器は、該フレーム上の電子機器を含む、上記実施例のいずれかに記載のディスプレイシステム。
【0754】
実施例６６：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0755】
実施例６７：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0756】
実施例６８：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0757】
実施例６９：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を捕捉する、上記実施例のいずれかに記載のディスプレイシステム。
【0758】
実施例７０：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0759】
実施例７１：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも３つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0760】
実施例７２：該１つ以上の光源は、赤外線光エミッタを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0761】
実施例７３：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の曲率中心の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0762】
実施例７４：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の曲率中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0763】
実施例７５：該１つ以上の眼－追跡カメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、少なくとも、１つ以上の眼追跡カメラからの該瞳孔の画像に基づいて、該眼の瞳孔の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0764】
実施例７６：該１つ以上の眼－追跡カメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、少なくとも、１つ以上の眼追跡カメラからの該瞳孔の画像に基づいて、該眼の瞳孔の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0765】
実施例７７：該１つ以上の眼－追跡カメラはさらに、該ユーザの眼の瞳孔を結像するように構成され、該処理電子機器はさらに、該角膜の曲率中心の位置に基づいて、かつ１つ以上の眼追跡カメラからの該瞳孔の画像に基づいて、該眼の瞳孔の位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0766】
実施例７８：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、かつ該瞳孔の３次元位置に基づいて、該眼の光学軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0767】
実施例７９：該処理電子機器は、光学軸に基づいて、該眼の視軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0768】
実施例８０：該処理電子機器は、該角膜の曲率中心、該瞳孔、または両方のうちの少なくとも１つの光学軸および３次元位置に基づいて、該眼の視軸を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0769】
実施例８１：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、該眼の回転中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0770】
実施例８２：該処理電子機器は、該角膜の曲率中心の３次元位置に基づいて、かつ該光学軸に基づいて、該眼の回転中心の３次元位置を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0771】
実施例８３：該処理電子機器は、少なくとも、該眼の回転中心の３次元位置に基づいて、該ユーザの該眼と対眼との間の距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0772】
実施例８４：該処理電子機器は、少なくとも、該眼の回転中心の３次元位置に基づいて、該ユーザの該眼と対眼との間の瞳孔間距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0773】
実施例８５：該処理電子機器は、少なくとも、該眼の光学軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0774】
実施例８６：該処理電子機器は、少なくとも、該ユーザの該眼の光学軸および対眼の決定された光学軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0775】
実施例８７：該処理電子機器は、少なくとも、該ユーザの該眼の視軸および対眼の決定された視軸に基づいて、該ユーザの輻輳・開散運動距離を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0776】
実施例８８：該ディスプレイは、コリメートされた光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0777】
実施例８９：該ディスプレイは、第１の期間において、画像ピクセルに対応するコリメートされた光を該ユーザの眼の中に投影し、第２の期間において、該画像ピクセルに対応する発散光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0778】
実施例９０：該ディスプレイは、第１の期間において、第１の発散量を有する、画像ピクセルに対応する光を該ユーザの眼の中に投影し、第２の期間において、第１の発散量を上回る第２の発散量を有する、該画像ピクセルに対応する光を該ユーザの眼の中に投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0779】
実施例９１：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、該ユーザの眼を結像し、該眼の移動を追跡するように構成される、１つ以上の眼追跡カメラを用いて、該眼の回転中心の位置を決定するステップと、レンダリングエンジンを用いて、該眼の回転中心におけるレンダリングカメラを用いて、仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、仮想画像を該眼に提示されるようにレンダリングするように構成される、ステップと、頭部搭載型ディスプレイを用いて、仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップとを含む、方法。
【0780】
実施例９２：該レンダリングカメラは、該眼の網膜より該回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載の方法。
【0781】
実施例９３：該レンダリングカメラは、該回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示されるようにレンダリングするように構成される、上記実施例のいずれかに記載の方法。
【0782】
実施例９４：該レンダリングカメラは、該眼の回転中心における開口を用いてモデル化される、上記実施例のいずれかに記載の方法。
【0783】
実施例９５：該レンダリングカメラは、開口、レンズ、および検出器を用いてモデル化される、上記実施例のいずれかに記載の方法。
【0784】
実施例９６：該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
【0785】
実施例９７：１つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップとをさらに含み、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
【0786】
実施例９８：レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
【0787】
実施例９９：１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップであって、レンダリングカメラは、該眼の回転中心の決定された位置に開口を有する、ステップとをさらに含む、上記実施例のいずれかに記載の方法。
【0788】
実施例１００：処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有し、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
【0789】
実施例１０１：処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有する上記実施例のいずれかに記載の方法。
【0790】
実施例１０２：処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有する、上記実施例のいずれかに記載の方法。
【0791】
実施例１０３：該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0792】
実施例１０４：１つ以上の眼追跡カメラを用いて、該虹彩、瞳孔、または水晶体のうちの少なくとも１つの位置を決定するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0793】
実施例１０５：レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該虹彩または瞳孔のうちの少なくとも１つの決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
【0794】
実施例１０６：１つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約１．０ｍｍ未満に位置する、ステップと、レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、ステップとをさらに含む、上記実施例のいずれかに記載の方法。
【0795】
実施例１０７：レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
【0796】
実施例１０８：１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値を超えることが決定される場合、レンダリングエンジンに、該眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップとをさらに含む、上記実施例のいずれかに記載の方法。
【0797】
実施例１０９：処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、第１の閾値は、該ユーザの眼の視点中心の決定された位置における第２の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
【0798】
実施例１１０：処理電子機器を用いて、時間に伴う変化の測定値が第２の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0799】
実施例１１１：処理電子機器を用いて、時間に伴う変化の測定値が第１の閾値と第２の閾値との間にあることが決定される場合、レンダリングエンジンに、（ｉ）該眼の回転中心の決定された位置と（ｉｉ）該眼の視点中心の決定された位置との間の線に沿った点に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0800】
実施例１１２：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れ、該頭部搭載型ディスプレイは、第１の発散量を有する光を、第１の期間において、該ユーザの眼の中に投影するように構成され、第２の発散量を有する光を、第２の期間において、該ユーザの眼の中に投影するように構成され、第１の発散量は、第２の発散量と異なる、頭部搭載型ディスプレイと、ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得し、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該ユーザの輻輳・開散運動距離の推定値を取得し、該ユーザの推定される輻輳・開散運動距離に基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、処理電子機器とを備える、ディスプレイシステム。
【0801】
実施例１１３：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0802】
実施例１１４：該処理電子機器はさらに、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の瞬目を検出するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0803】
実施例１１５：該処理電子機器はさらに、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼のサッカードを検出するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0804】
実施例１１６：該処理電子機器は、該ユーザの決定された輻輳・開散運動距離に基づいて、かつ処理電子機器が該眼の瞬目を検出したかどうかに基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0805】
実施例１１７：該処理電子機器は、該ユーザの決定された輻輳・開散運動距離に基づいて、かつ処理電子機器が該眼のサッカードを検出したかどうかに基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0806】
実施例１１８：該処理電子機器は、該ユーザの決定された輻輳・開散運動距離に基づいて、かつ処理電子機器がサッカードまたは該眼の瞬目のうちの少なくとも１つを検出したかどうかに基づいて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0807】
実施例１１９：該第１の発散量は、第１の範囲内の輻輳・開散運動距離と関連付けられ、該第２の発散量は、第２の範囲内の輻輳・開散運動距離と関連付けられる、上記実施例のいずれかに記載のディスプレイシステム。
【0808】
実施例１２０：該第１の発散量は、第１の範囲内の輻輳・開散運動距離と関連付けられ、該第２の発散量は、第２の範囲内の輻輳・開散運動距離と関連付けられ、第１および第２の範囲は、重複するが、等しくない、上記実施例のいずれかに記載のディスプレイシステム。
【0809】
実施例１２１：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第１の範囲外にあって、第２の範囲内にあることの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0810】
実施例１２２：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第２の範囲外にあって、第１の範囲内にあることの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0811】
実施例１２３：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第１の範囲外にあって、第２の範囲内にあることの決定、また、該眼の瞬目の検出に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0812】
実施例１２４：該処理電子機器は、該ユーザの輻輳・開散運動距離が、第１の範囲外にあって、第２の範囲内にあることの決定、また、該眼のサッカードの検出に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0813】
実施例１２５：該処理電子機器は、該ユーザの輻輳・開散運動距離が、所定の期間より長い時間にわたって、第１の範囲外にあって、第２の範囲内にあったことの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0814】
実施例１２６：該処理電子機器は、該ユーザの輻輳・開散運動距離が、少なくとも１０秒の所定の期間より長い時間にわたって、第１の範囲外にあって、第２の範囲内にあったことの決定に応じて、第１の発散量における該ユーザの眼の中への光の投影から第２の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0815】
実施例１２７：該頭部搭載型ディスプレイは、第１の発散量を有する光を投影するように構成される、第１のディスプレイ要素と、第２の発散量を有する光を投影するように構成される、第２のディスプレイ要素とを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0816】
実施例１２８：該ディスプレイは、ディスプレイが、第１のディスプレイ要素のうちの１つのみを使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、離散ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0817】
実施例１２９：該ディスプレイは、ディスプレイが、フレーム毎に、第１および第２のディスプレイ要素の両方を使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、混成ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0818】
実施例１３０：該ディスプレイは、ディスプレイが、フレーム毎に、第１および第２のディスプレイ要素の両方を使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、混成ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成され、混成ディスプレイモードでは、ディスプレイは、第１および第２のディスプレイ要素を使用して、第１の発散量と第２の発散量との間の所与の発散量を有するようにユーザによって知覚される、光を投影するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0819】
実施例１３１：該ディスプレイは、ディスプレイが、フレーム毎に、第１および第２のディスプレイ要素の両方を使用して、複数のシーケンシャルフレームと関連付けられた光を投影するように構成される、多焦点ディスプレイモードにおいて、光を該ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成され、多焦点ディスプレイモードでは、ディスプレイは、第３の発散量において、第１の仮想画像コンテンツと関連付けられた光を投影し、第４の発散量において、第２の仮想画像コンテンツと関連付けられた光を投影するように構成され、第３の発散量は、第４の発散量と異なる、上記実施例のいずれかに記載のディスプレイシステム。
【0820】
実施例１３２：第３および第４の発散量はそれぞれ、第１の発散量と第２の発散量との間にある、上記実施例のいずれかに記載のディスプレイシステム。
【0821】
実施例１３３：第３および第４の発散量のうちの少なくとも１つは、第１の発散量と第２の発散量との間にある、上記実施例のいずれかに記載のディスプレイシステム。
【0822】
実施例１３４：第３および第４の発散量は、それぞれ、第１および第２の発散量と等しい、上記実施例のいずれかに記載のディスプレイシステム。
【0823】
実施例１３５：ディスプレイは、第１の仮想画像と関連付けられた光をユーザの視野の第１の領域内に投影し、第２の仮想画像と関連付けられた光をユーザの視野の第２の領域内に投影するように構成され、第１および第２の領域は、異なる、上記実施例のいずれかに記載のディスプレイシステム。
【0824】
実施例１３６：ディスプレイは、第１の仮想画像と関連付けられた光をユーザの視野の第１の領域内に投影し、第２の仮想画像と関連付けられた光をユーザの視野の第２の領域内に投影するように構成され、第１および第２の領域は、重複しない、上記実施例のいずれかに記載のディスプレイシステム。
実施例１３７：光をユーザの左および右眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を該ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、ユーザの左眼を結像するように構成される、第１の眼追跡カメラと、ユーザの右眼を結像するように構成される、第２の眼追跡カメラと、ディスプレイおよび第１および第２の眼追跡カメラと通信する、処理電子機器であって、該第１および第２の眼追跡カメラを用いて取得された該左および右眼の画像に基づいて、ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
実施例１３７：光をユーザの左および右眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、光を該ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、ユーザの左眼を結像するように構成される、第１の眼追跡カメラと、ユーザの右眼を結像するように構成される、第２の眼追跡カメラと、ディスプレイおよび第１および第２の眼追跡カメラと通信する、処理電子機器であって、該第１および第２の眼追跡カメラを用いて取得された該左および右眼の画像に基づいて、ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0825】
実施例１３８：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を形成する、上記実施例のいずれかに記載のディスプレイシステム。
【0826】
実施例１３９：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0827】
実施例１４０：該１つ以上の光源は、赤外線光エミッタを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0828】
実施例１４１：該１つ以上の光源は、１つ以上の閃光を該眼上に形成し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0829】
実施例１４２：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該角膜球体の曲率中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0830】
実施例１４３：該角膜は、それと関連付けられた、曲率中心を有する、角膜球体を有し、該処理電子機器は、該１つ以上の閃光に基づいて、該角膜球体の曲率中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0831】
実施例１４４：該１つ以上の眼追跡カメラは、該眼の瞳孔を結像するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0832】
実施例１４５：該処理電子機器は、該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0833】
実施例１４６：該処理電子機器は、該虹彩と該瞳孔との間の境界の少なくとも一部を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0834】
実施例１４７：該処理電子機器は、該虹彩と該瞳孔との間の境界の中心を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0835】
実施例１４８：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0836】
実施例１４９：該処理電子機器は、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0837】
実施例１５０：該処理電子機器は、３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0838】
実施例１５１：該処理電子機器は、該角膜の曲率中心に対する３次元空間内の該瞳孔の中心の場所に基づいて、該光学軸の場所および配向を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0839】
実施例１５２：該処理電子機器は、該角膜の曲率中心に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0840】
実施例１５３：該処理電子機器は、該角膜の曲率中心および該光学軸の場所および配向に基づいて、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0841】
実施例１５４：該処理電子機器は、該角膜の曲率中心から該光学軸に沿った特定の距離を平行移動させることによって、該眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0842】
実施例１５５：光をユーザの左および右眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、該眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、該ユーザの眼を結像し、該眼の移動を追跡するように構成される、１つ以上の眼追跡カメラを用いて、該左眼の回転中心の位置および該右眼の回転中心の位置を決定するステップと、１つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該左および右眼の回転中心の決定された位置に基づいて、該ユーザの瞳孔間距離を推定するステップと、１つ以上の眼追跡カメラを用いて、現在の左眼姿勢および現在の右眼姿勢を決定するステップと、処理電子機器を用いて、該推定される瞳孔間距離と該決定された現在の左眼姿勢および該決定された現在の右眼姿勢を比較することによって、該ユーザの現在の輻輳・開散運動距離を推定するステップとを含む、方法。
【0843】
実施例１５６：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該瞳孔の位置および該ユーザの右眼の該瞳孔の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0844】
実施例１５７：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該角膜の位置および該ユーザの右眼の該角膜の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0845】
実施例１５８：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該虹彩の位置および該ユーザの右眼の該虹彩の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0846】
実施例１５９：該現在の左および右眼姿勢を決定するステップは、１つ以上の眼追跡カメラを用いて、該ユーザの左眼の該水晶体の位置および該ユーザの右眼の該水晶体の位置を推定するステップを含む、上記実施例のいずれかに記載の方法。
【0847】
実施例１６０：該ユーザの現在の輻輳・開散運動距離を推定するステップは、処理電子機器を用いて、該ユーザの左および右眼の該虹彩の位置間の距離を推定するステップと、処理電子機器を用いて、該推定される瞳孔間距離と該ユーザの左および右眼の該虹彩の位置間の推定される距離の比較に基づいて、該ユーザの現在の輻輳・開散運動距離を推定するステップとを含む、上記実施例のいずれかに記載の方法。
【0848】
実施例１６１：頭部搭載型ディスプレイを用いて、仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0849】
実施例１６２：該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
【0850】
実施例１６３：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、該１つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の位置推定値を取得するように構成され、該画像に基づいて、該眼の光学軸の方向推定値を取得するように構成される、処理電子機器とを備え、該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に６．０ｍｍ～１３．０ｍｍ離れるように、該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
【0851】
実施例１６４：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に７．０ｍｍ～１２．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0852】
実施例１６５：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に８．０ｍｍ～１１．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0853】
実施例１６６：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に９．０ｍｍ～１０．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0854】
実施例１６７：該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に９．５ｍｍ～１０．０ｍｍ離れて該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0855】
実施例１６８：該処理電子機器は、光学軸に沿って配置され、約９．７ｍｍ該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、上記実施例のいずれかに記載のディスプレイシステム。
【0856】
実施例１６９：該処理電子機器は、該フレーム上の電子機器を含む、上記実施例のいずれかに記載のディスプレイシステム。
【0857】
実施例１７０：該処理電子機器は、該フレーム上の電子機器と、該フレームから遠隔の場所に配置される、電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0858】
実施例１７１：該処理電子機器は、該フレーム上の電子機器と、ベルトパック上の電子機器とを含む、上記実施例のいずれかに記載のディスプレイシステム。
【0859】
実施例１７２：該ディスプレイの少なくとも一部は、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、上記実施例のいずれかに記載のディスプレイシステム。
【0860】
実施例１７３：該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、１つ以上の光源をさらに備え、該１つ以上の眼追跡カメラは、該１つ以上の光源からの光を使用して、該眼の画像を捕捉する、上記実施例のいずれかに記載のディスプレイシステム。
【0861】
実施例１７４：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも２つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0862】
実施例１７５：該１つ以上の光源は、該ユーザの眼に対して該フレーム上に配置され、該ユーザの眼を照明する、少なくとも３つの光源を備える、上記実施例のいずれかに記載のディスプレイシステム。
【0863】
実施例１７６：該１つ以上の光源は、赤外線光エミッタを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0864】
実施例１７７：光をユーザの眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも１つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、ユーザの眼を結像するように構成される、１つ以上の眼追跡カメラと、ディスプレイおよび１つ以上の眼追跡カメラと通信する、処理電子機器であって、眼の瞳孔に位置するかまたは眼の瞳孔と角膜との間に位置する開口を有するレンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、処理電子機器とを備える、ディスプレイシステム。
【0865】
実施例１７８：レンダリングカメラの開口は、該ユーザの眼の該瞳孔の１．０ｍｍ～２．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0866】
実施例１７９：レンダリングカメラの開口は、該ユーザの眼の該瞳孔の約１．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0867】
実施例１８０：レンダリングカメラの開口は、該ユーザの眼の該瞳孔の０．２５ｍｍ～１．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0868】
実施例１８１：レンダリングカメラの開口は、該ユーザの眼の該瞳孔の０．５ｍｍ～１．０ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0869】
実施例１８２：レンダリングカメラの開口は、該ユーザの眼の該瞳孔の０．２５ｍｍ～０．５ｍｍ正面の位置に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0870】
実施例１８３：レンダリングカメラの開口は、眼の瞳孔に位置する、上記実施例のいずれかに記載のディスプレイシステム。
【0871】
実施例１８４：レンダリングカメラの開口は、眼の瞳孔に位置しない、上記実施例のいずれかに記載のディスプレイシステム。
【0872】
実施例１８５：カメラは、ピンホールカメラを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0873】
実施例１８６：開口は、ピンホールカメラのピンホールを備える、上記実施例のいずれかに記載のディスプレイシステム。
【0874】
上記の実施例または付加的実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例または付加的実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例または付加的実施例のいずれかは、単一深度平面および／または１つ以上の可変深度平面を用いて実装されることができる（例えば、経時的に変動する遠近調節キューを提供する、可変集束力を伴う、１つ以上の要素）。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜の曲率中心、瞳孔の中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定されない。本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜の曲率中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の（例えば、解剖学的、光学的、または幾何学的）値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい（例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい）。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「～を決定する」および「～を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜の曲率中心、瞳孔の中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定されない。本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜の曲率中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の（例えば、解剖学的、光学的、または幾何学的）値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい（例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい）。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「～を決定する」および「～を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図5A】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図9G】
【図9H】
【図9I】
【図9J】
【図9K】
【図9L】
【図9M】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図14D】
【図14E】
【図14F】
【図15A】
【図15B】
【図15C】
【図16A】
【図16B】
【図16C】
【図17A】
【図17B】
【図17C】
【図18A】
【図18B】
【図18C】
【図18D】
【図19】
【図20】
【図21A】
【図21B】
【図21C】
【図21D】
【図22】
【図23A】
【図23B】
【図24A】
【図24B】
