(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181496
(43)【公開日】2023-12-21
(54)【発明の名称】眼姿勢を推定するためのシステムおよび技法
(51)【国際特許分類】
A61B 3/113 20060101AFI20231214BHJP
G02B 27/02 20060101ALI20231214BHJP
【ＦＩ】
A61B3/113
G02B27/02 Z
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023188490
(22)【出願日】2023-11-02
(62)【分割の表示】P 2021568889の分割
【原出願日】2020-05-19
(31)【優先権主張番号】62/850,539
(32)【優先日】2019-05-20
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ダニエル ファーマー
(72)【発明者】
【氏名】デイビッド コーエン
(72)【発明者】
【氏名】ブラッドリー ヴィンセント スチュアート
(57)【要約】
【課題】眼姿勢を推定するためのシステムおよび技法の提供。
【解決手段】眼追跡システムは、異なる露光時間または異なるフレームレートにおいて眼の画像を取得するように構成される、眼追跡カメラを含むことができる。例えば、より長い露光時間において撮影された眼のより長い露光画像は、虹彩または瞳孔特徴を示すことができ、より短い露光の閃光画像は、角膜から反射された閃光のピークを示すことができる。より短い露光の閃光画像は、正確な視線予測のために、（より長い露光の画像より）より高いフレームレートにおいて撮影され得る。より短い露光の閃光画像は、サブピクセル正確度まで閃光場所を提供するように分析されることができる。より長い露光の画像は、瞳孔中心または回転中心に関して分析されることができる。
【選択図】図２０
【解決手段】眼追跡システムは、異なる露光時間または異なるフレームレートにおいて眼の画像を取得するように構成される、眼追跡カメラを含むことができる。例えば、より長い露光時間において撮影された眼のより長い露光画像は、虹彩または瞳孔特徴を示すことができ、より短い露光の閃光画像は、角膜から反射された閃光のピークを示すことができる。より短い露光の閃光画像は、正確な視線予測のために、（より長い露光の画像より）より高いフレームレートにおいて撮影され得る。より短い露光の閃光画像は、サブピクセル正確度まで閃光場所を提供するように分析されることができる。より長い露光の画像は、瞳孔中心または回転中心に関して分析されることができる。
【選択図】図２０
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１９年５月２０日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＥＳＴＩＭＡＴＩＮＧ ＥＹＥ ＰＯＳＥ」と題された、米国特許出願第６２／８５０，５３９号の優先権の利益を主張する。
本願は、参照することによってその全体として本明細書に組み込まれる、２０１９年５月２０日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＥＳＴＩＭＡＴＩＮＧ ＥＹＥ ＰＯＳＥ」と題された、米国特許出願第６２／８５０，５３９号の優先権の利益を主張する。
【0002】
本願はまた、参照することによって、以下の特許出願および刊行物、すなわち、２０１６年５月１９日に出願され、２０１６年１１月２４日に米国特許出願公開第２０１６／０３４４９５７号として公開された、米国特許出願第１５／１５９，４９１号、２０１７年９月２７日に出願され、２０１８年４月５日に米国特許出願公開第２０１８／００９６５０３号として公開された、米国特許出願第１５／７１７，７４７号、２０１７年１１月３日に出願され、２０１８年５月１０日に米国特許出願公開第２０１８／０１３１８５３号として公開された、米国特許出願第１５／８０３，３５１号、２０１７年１２月１３日に出願され、２０１８年６月２８日に米国特許出願公開第２０１８／０１８３９８６号として公開された、米国特許出願第１５／８４１，０４３号、２０１８年３月１９日に出願され、２０１８年９月２７日に米国特許出願公開第２０１８／０２７８８４３号として公開された、米国特許出願第１５／９２５，５７７号、２０１８年４月１９日に出願された、米国仮特許出願第６２／６６０，１８０号、２０１８年１２月１３日に出願され、２０１９年６月１３日に米国特許出願公開第２０１９／０１８１１７１号として公開された、米国特許出願第１６／２１９，８２９号、２０１８年１２月１３日に出願され、２０１９年６月１３日に米国特許出願公開第２０１９／０１８１１６９号として公開された、米国特許出願第１６／２１９，８４７号、２０１９年１月１７日に出願され、２０１９年８月８日に米国特許出願公開第２０１９／０２４３４４８号として公開された、米国特許出願第１６／２５０，９３１号、２０１９年１月１７日に出願され、２０１９年７月１８日に米国特許出願公開第２０１９／０２２２８３０号として公開された、米国特許出願第１６／２５１，０１７号、２０１９年１月２５日に出願された、米国仮特許出願第６２／７９７，０７２号、および２０２０年１月２３日に出願された、米国特許出願第１６／７５１，０７６号のそれぞれの全体を組み込む。
【0003】
本開示は、ディスプレイシステム、仮想現実、および拡張現実結像および可視化システムに関し、より具体的には、そのようなシステムにおいてユーザの眼を追跡するための技法に関する。
【背景技術】
【0004】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生産することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【0005】
眼追跡システムは、異なる露光時間または異なるフレームレートにおいて眼の画像を取得するように構成される、眼追跡カメラを含むことができる。例えば、より長い露光時間において撮影された眼の画像は、虹彩または瞳孔特徴を示すことができ、より短い露光時間において撮影された眼の画像（時として、閃光画像とも称される）は、角膜から反射された閃光のピークを示すことができる。より短い露光の閃光画像は、正確な視線予測を提供するために、より長い露光の画像より高いフレームレート（ＨＦＲ）において撮影され得る。より短い露光の閃光画像は、サブピクセル正確度まで閃光場所を提供するように分析されることができる。より長い露光の画像は、瞳孔中心または回転中心に関して分析されることができる。眼追跡システムは、ウェアラブルディスプレイシステム、例えば、ＡＲ、ＶＲ、またはＭＲウェアラブルディスプレイシステムによる中心窩化レンダリングのために使用され得る、将来的視線方向を予測することができる。
【0006】
種々の実施形態では、より長い露光の画像の露光時間は、２００μｓ～１，２００μｓの範囲内、例えば、約７００μｓであってもよい。より長い露光の画像は、１０フレーム／秒（ｆｐｓ）～６０ｆｐｓ（例えば、３０ｆｐｓ）、３０ｆｐｓ～６０ｆｐｓの範囲、またはある他の範囲内のフレームレートにおいて撮影されることができる。より短い露光の閃光画像の露光時間は、５μｓ～１００μｓの範囲内、例えば、約４０μｓ未満であってもよい。閃光画像に関する露光時間に対するより長い露光の画像に関する露光時間の比は、５～５０、１０～２０の範囲、またはある他の範囲内であることができる。閃光画像は、種々の実施形態では、５０ｆｐｓ～１，０００ｆｐｓ（例えば、１２０ｆｐｓ）、２００ｆｐｓ～４００ｆｐｓの範囲、またはある他の範囲内のフレームレートにおいて撮影されることができる。より長い露光の画像に関するフレームレートに対する閃光画像に関するフレームレートの比は、１～１００、１～５０、２～２０、３～１０の範囲内、またはある他の比であることができる。
【0007】
いくつかの実施形態では、より短い露光の画像は、第１のプロセッサ（ウェアラブルディスプレイシステムの頭部搭載型コンポーネント内または上に配置されてもよい）によって分析され、より長い露光の画像は、第２のプロセッサ（例えば、ベルトパック等のウェアラブルディスプレイシステムの非頭部搭載型コンポーネント内または上に配置されてもよい）によって分析される。いくつかの実施形態では、第１のプロセッサは、その中により短い露光の画像の部分が閃光場所を決定するために一時的に記憶される、バッファを備える。
【0008】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下の項目を提供する。
（項目１）
頭部搭載型システムであって、
ユーザの眼の画像を捕捉するように構成される１つ以上のカメラと、
複数の光源であって、前記複数の光源は、閃光を前記１つ以上のカメラによって捕捉された前記ユーザの眼の画像内に生産するような様式において、前記ユーザの眼を照明するように構成され、前記複数の光源内に含まれる光源の総数は、特定の値以上である、複数の光源と、
前記１つ以上のカメラに動作可能に結合される１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
前記ユーザの眼の画像を前記１つ以上のカメラから受信することと、
そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを検出することと、
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が前記特定の値未満であるかどうかを決定することと、
前記１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が前記特定の値未満であることの決定に応答して、
前記１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定することであって、前記１つ以上の閃光場所の推定されるセットは、前記１つ以上の閃光場所の検出されたセットと異なる、ことと、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定することと
を行うように構成される、１つ以上のプロセッサと
を備える、システム。
（項目２）
前記１つ以上のプロセッサはさらに、
そこで前記ユーザの眼の瞳孔の中心が示される前記ユーザの眼の画像内の場所を識別する
ように構成され、
前記１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定するために、前記１つ以上のプロセッサは、
前記ユーザの眼の瞳孔の中心の識別された場所および前記１つ以上の閃光場所の検出されたセットを前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定する
ように構成される、項目１に記載のシステム。
（項目３）
前記１つ以上のプロセッサはさらに、
前記ユーザの眼の瞳孔の中心の識別された場所を前記確率論的統計的モデルに適用し、そこで複数の閃光がそれぞれ示されることが予期される前記ユーザの眼の画像内の複数の領域を識別するように構成され、前記複数の識別された領域内に含まれる領域の総数は、前記特定の値以上であり、
そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを検出するために、前記１つ以上のプロセッサは、
それぞれ、前記複数の識別された領域のうちの１つ以上のもの内の１つ以上の場所のセットを検出する
ように構成される、項目２に記載のシステム。
（項目４）
前記ユーザの眼の瞳孔の中心の識別された場所および前記１つ以上の閃光場所の検出されたセットを前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定するために、前記１つ以上のプロセッサは、
前記ユーザの眼の瞳孔の中心の識別された場所を前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示されることが予期される前記ユーザの眼の画像内の１つ以上の領域を識別することと、
前記１つ以上の閃光場所の検出されたセットを前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像の１つ以上の識別された領域内の１つ以上の場所のセットを推定することと
を行うように構成される、項目２に記載のシステム。
（項目５）
前記１つ以上のプロセッサはさらに、前記ユーザの眼の瞳孔の中心の識別された場所および前記１つ以上の閃光場所の検出されたセットに基づいて、前記確率論的統計的モデルを更新するように構成される、項目２に記載のシステム。
（項目６）
前記特定の値は、２の値に対応する、項目１に記載のシステム。
（項目７）
前記複数の光源内に含まれる光源の総数は、３の値以上である、項目６に記載のシステム。
（項目８）
前記複数の光源は、複数の赤外線光源を備える、項目１に記載のシステム。
（項目９）
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定するために、前記１つ以上のプロセッサは、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の角膜の中心の場所を決定する
ように構成される、項目１に記載のシステム。
（項目１０）
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定するために、前記１つ以上のプロセッサは、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の回転中心の場所を決定する
ように構成される、項目１に記載のシステム。
（項目１１）
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定するために、前記１つ以上のプロセッサは、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の視線方向を決定する
ように構成される、項目１に記載のシステム。
（項目１２）
前記１つ以上のプロセッサはさらに、
前記１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が前記特定の値を上回ることの決定に応答して、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットに基づいて、前記ユーザの眼の姿勢を決定する
ように構成される、項目１に記載のシステム。
本発明は、例えば、以下の項目を提供する。
（項目１）
頭部搭載型システムであって、
ユーザの眼の画像を捕捉するように構成される１つ以上のカメラと、
複数の光源であって、前記複数の光源は、閃光を前記１つ以上のカメラによって捕捉された前記ユーザの眼の画像内に生産するような様式において、前記ユーザの眼を照明するように構成され、前記複数の光源内に含まれる光源の総数は、特定の値以上である、複数の光源と、
前記１つ以上のカメラに動作可能に結合される１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
前記ユーザの眼の画像を前記１つ以上のカメラから受信することと、
そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを検出することと、
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が前記特定の値未満であるかどうかを決定することと、
前記１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が前記特定の値未満であることの決定に応答して、
前記１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定することであって、前記１つ以上の閃光場所の推定されるセットは、前記１つ以上の閃光場所の検出されたセットと異なる、ことと、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定することと
を行うように構成される、１つ以上のプロセッサと
を備える、システム。
（項目２）
前記１つ以上のプロセッサはさらに、
そこで前記ユーザの眼の瞳孔の中心が示される前記ユーザの眼の画像内の場所を識別する
ように構成され、
前記１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定するために、前記１つ以上のプロセッサは、
前記ユーザの眼の瞳孔の中心の識別された場所および前記１つ以上の閃光場所の検出されたセットを前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定する
ように構成される、項目１に記載のシステム。
（項目３）
前記１つ以上のプロセッサはさらに、
前記ユーザの眼の瞳孔の中心の識別された場所を前記確率論的統計的モデルに適用し、そこで複数の閃光がそれぞれ示されることが予期される前記ユーザの眼の画像内の複数の領域を識別するように構成され、前記複数の識別された領域内に含まれる領域の総数は、前記特定の値以上であり、
そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを検出するために、前記１つ以上のプロセッサは、
それぞれ、前記複数の識別された領域のうちの１つ以上のもの内の１つ以上の場所のセットを検出する
ように構成される、項目２に記載のシステム。
（項目４）
前記ユーザの眼の瞳孔の中心の識別された場所および前記１つ以上の閃光場所の検出されたセットを前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像内の１つ以上の場所のセットを推定するために、前記１つ以上のプロセッサは、
前記ユーザの眼の瞳孔の中心の識別された場所を前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示されることが予期される前記ユーザの眼の画像内の１つ以上の領域を識別することと、
前記１つ以上の閃光場所の検出されたセットを前記確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される前記ユーザの眼の画像の１つ以上の識別された領域内の１つ以上の場所のセットを推定することと
を行うように構成される、項目２に記載のシステム。
（項目５）
前記１つ以上のプロセッサはさらに、前記ユーザの眼の瞳孔の中心の識別された場所および前記１つ以上の閃光場所の検出されたセットに基づいて、前記確率論的統計的モデルを更新するように構成される、項目２に記載のシステム。
（項目６）
前記特定の値は、２の値に対応する、項目１に記載のシステム。
（項目７）
前記複数の光源内に含まれる光源の総数は、３の値以上である、項目６に記載のシステム。
（項目８）
前記複数の光源は、複数の赤外線光源を備える、項目１に記載のシステム。
（項目９）
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定するために、前記１つ以上のプロセッサは、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の角膜の中心の場所を決定する
ように構成される、項目１に記載のシステム。
（項目１０）
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定するために、前記１つ以上のプロセッサは、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の回転中心の場所を決定する
ように構成される、項目１に記載のシステム。
（項目１１）
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の姿勢を決定するために、前記１つ以上のプロセッサは、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットおよび前記１つ以上の閃光場所の推定されるセットに基づいて、前記ユーザの眼の視線方向を決定する
ように構成される、項目１に記載のシステム。
（項目１２）
前記１つ以上のプロセッサはさらに、
前記１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が前記特定の値を上回ることの決定に応答して、
少なくとも部分的に、前記１つ以上の閃光場所の検出されたセットに基づいて、前記ユーザの眼の姿勢を決定する
ように構成される、項目１に記載のシステム。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
【発明を実施するための形態】
【0033】
概要
例えば、ＡＲ、ＭＲ、またはＶＲディスプレイシステム等のウェアラブルディスプレイシステムは、仮想コンテンツをユーザが見ている場所に向かって投影するために、ユーザの眼を追跡することができる。眼追跡システムは、内向きに向いた眼追跡カメラと、ユーザの角膜からの反射（閃光と呼ばれる）を提供する、光源（例えば、赤外線発光ダイオード）とを含むことができる。プロセッサは、眼追跡カメラによって撮影されたユーザの眼の画像を分析し、閃光および他の眼特徴（例えば、瞳孔または虹彩）の位置を取得し、眼視線を閃光および眼特徴から決定することができる。
例えば、ＡＲ、ＭＲ、またはＶＲディスプレイシステム等のウェアラブルディスプレイシステムは、仮想コンテンツをユーザが見ている場所に向かって投影するために、ユーザの眼を追跡することができる。眼追跡システムは、内向きに向いた眼追跡カメラと、ユーザの角膜からの反射（閃光と呼ばれる）を提供する、光源（例えば、赤外線発光ダイオード）とを含むことができる。プロセッサは、眼追跡カメラによって撮影されたユーザの眼の画像を分析し、閃光および他の眼特徴（例えば、瞳孔または虹彩）の位置を取得し、眼視線を閃光および眼特徴から決定することができる。
【0034】
閃光だけではなく、また、眼特徴を示すために十分である、眼画像は、比較的に長露光時間（例えば、数百～千μｓ）を伴って撮影され得る。しかしながら、閃光は、そのようなより長い露光の画像では、飽和され得、これは、閃光中心の位置を正確に識別することを困難にし得る。例えば、閃光位置における不確実性は、１０～２０ピクセルであり得、これは、約２０～５０分（ａｒｃｍｉｎｕｔｅ）の視線方向における対応する誤差を導入し得る。
【0035】
故に、本明細書に説明される眼追跡システムの種々の実施形態は、異なる露光時間または異なるフレームレートにおいて、眼の画像を取得する。例えば、より長い露光時間において撮影される、眼のより長い露光の画像は、虹彩または瞳孔特徴を示し得、より短い露光の画像は、角膜から反射された閃光のピークを示し得る。より短い露光の画像は、時として、本明細書では、それらが、画像内の閃光の座標位置を識別するために使用され得るため、閃光画像とも称される。より短い露光の閃光画像は、いくつかの実装では、正確な視線予測のために、高フレームレート（ＨＦＲ）（例えば、より長い露光の画像のためのフレームレートより高いフレームレート）において撮影されてもよい。より短い露光の閃光画像は、（例えば、数分以内まで、またはより良好な）視線方向の正確な予測につながる、サブピクセル正確度までの閃光場所を提供するために分析されることができる。より長い露光の画像は、瞳孔中心または回転中心のために分析されることができる。
【0036】
いくつかの実装では、閃光画像の少なくとも一部は、一時的に、バッファ内に記憶され、閃光画像のその部分は、その部分内に位置し得る、１つ以上の閃光の位置を識別するために分析される。例えば、部分は、閃光画像の比較的に小数のピクセル、行、または列を含み得る。ある場合には、部分は、閃光画像のｎ×ｍ部分を含み得、ｎおよびｍは、約１～２０の範囲内であり得る、整数である。閃光の位置が、識別された後、バッファは、クリアされてもよい。閃光画像の付加的部分が、次いで、閃光画像全体が処理されるか、または全て（一般に、４つ）の閃光が識別されるかのいずれかとなるまで、分析のためにバッファ内に記憶されてもよい。閃光位置（例えば、デカルト座標）が、眼追跡プロセスにおける後続アクションのために使用されてもよく、閃光位置が、記憶された、または好適なプロセッサに通信された後、閃光画像は、メモリ（バッファメモリまたは他の揮発性または不揮発性記憶装置）から削除されてもよい。そのようなバッファは、有利なこととして、閃光位置を識別するための閃光画像の高速処理を可能にする、または閃光画像が使用後に削除され得るため、眼追跡プロセスの記憶の必要性を低減させ得る。
【0037】
故に、ある実施形態では、より短い露光の画像は、眼追跡のために使用される、ハイダイナミックレンジ（ＨＤＲ）画像を取得するために、より長い露光の画像と組み合わせられない。むしろ、いくつかのそのような実施形態では、より短い露光の画像およびより長い露光の画像は、別個に処理され、異なる情報を決定するために使用される。例えば、より短い露光の画像は、閃光位置（例えば、閃光中心の座標）または眼視線方向を識別するために使用されてもよい。より短い露光の画像は、閃光位置が決定された後、メモリ（例えば、バッファ）から削除されてもよい。より長い露光の画像は、瞳孔中心または回転中心を決定する、バイオメトリックセキュリティ用途のための虹彩特徴を抽出する、眼瞼形状または眼瞼による虹彩または瞳孔のオクルージョンを決定する、瞳孔サイズを測定する、レンダリングカメラパラメータを決定する等のために使用されてもよい。いくつかの実装では、異なるプロセッサが、より短いおよびより長い露光の画像の処理を実施する。例えば、頭部搭載型ディスプレイ内のプロセッサは、より短い露光の画像を処理してもよく、非頭部搭載型ユニット（例えば、ベルトパック）内のプロセッサは、より長い露光の画像を処理してもよい。
【0038】
したがって、本明細書に説明される多重露光時間技法の種々の実施形態は、そのような短および長露光の画像をともに（例えば、ＨＤＲ画像として）組み合わせる、合成する、マージする、または別様に処理せずに、集合的に、より短いおよびより長い露光の画像の両方によって提供される、ＨＤＲ光度の利点を得ることができる。したがって、多重露光眼追跡システムの種々の実施形態は、ＨＤＲ画像を生成または別様に取得するために、そのような短および長露光の画像を使用しない。
【0039】
種々の実施形態では、より長い露光の画像の露光時間は、２００μｓ～１，２００μｓの範囲内、例えば、約７００μｓであってもよい。より長い露光の画像は、１０フレーム／秒（ｆｐｓ）～６０ｆｐｓ（例えば、３０ｆｐｓ）、３０ｆｐｓ～６０ｆｐｓの範囲、またはある他の範囲内のフレームレートにおいて撮影されることができる。閃光画像の露光時間は、５μｓ～１００μｓの範囲内、例えば、約４０μｓ未満であってもよい。より短い露光の閃光画像のための露光時間に対するより長い露光の画像のための露光時間の比は、５～５０、１０～２０の範囲、またはある他の範囲内であることができる。閃光画像は、種々の実施形態では、５０ｆｐｓ～１，０００ｆｐｓ（例えば、１２０ｆｐｓ）、２００ｆｐｓ～４００ｆｐｓの範囲、またはある他の範囲内のフレームレートにおいて撮影されることができる。より長い露光の画像のためのフレームレートに対する閃光画像のためのフレームレートの比は、１～１００、１～５０、２～２０、３～１０の範囲内、またはある他の比であることができる。
【0040】
いくつかのウェアラブルシステムは、仮想コンテンツが、主に、ユーザが見ている方向にレンダリングされ得る、中心窩化レンダリング技法を利用してもよい。眼追跡システムの実施形態は、（例えば、将来の約５０ｍｓ先の）将来的視線方向を正確に推定することができ、これは、将来的レンダリングのために仮想コンテンツを準備するためにレンダリングシステムによって使用されることができ、これは、有利なこととして、レンダリング待ち時間を低減させ、ユーザ体験を改良し得る。
【0041】
ウェアラブルシステムの３Ｄディスプレイの実施例
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
【0042】
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
【0043】
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【0044】
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
【0045】
図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、フレーム２３０に結合されてもよく、これは、ユーザ、装着者、または視認者２１０によって装着可能である。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。
【0046】
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
【0047】
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに向いた結像システム４６２（図４に示される）を含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに向いた結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに向いた結像システム４６２は、１つ以上のカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
【0048】
実施例として、ウェアラブルシステム２００は、外向きに向いた結像システム４６４または内向きに向いた結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
【0049】
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
【0050】
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムまたは外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、またはｂ）可能性として、処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０を使用して入手および／または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって、遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
【0051】
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【0052】
ウェアラブルシステムの例示的コンポーネント
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ウェアラブルシステム２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つ以上のものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられた種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ウェアラブルシステム２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つ以上のものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられた種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
【0053】
図３は、例示的ウェアラブルシステム２００を示し、これは、ディスプレイ２２０を含むことができる。ディスプレイ２２０は、ユーザの頭部、またはフレーム２３０に対応する、筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を備えることができる。ディスプレイレンズ２２６は、筐体２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つ以上の透明ミラーを備えてもよく、投影された光３３８を眼３０２、３０４の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３３８の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、２つの広視野マシンビジョンカメラ３１６（世界カメラとも称される）が、筐体２３０に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ３１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであることができる。カメラ３１６は、図４に示される外向きに向いた結像システム４６４の一部であってもよい。世界カメラ３１６によって入手された画像は、姿勢プロセッサ３３６によって処理されることができる。例えば、姿勢プロセッサ３３６は、１つ以上のオブジェクト認識装置７０８（例えば、図７に示される）を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。
【0054】
図３を継続して参照すると、光３３８を眼３０２、３０４の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面（例えば、深度のための）光投影モジュールが、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、光源３２６（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ３２４を示す。光源３２６は、眼３０２、３０４が、ＩＲ光に敏感ではなく、不快となるであろう、ユーザの眼の中に光輝するような光源を知覚しないであろうため、光学スペクトルの赤外線（ＩＲ）部分内の光を放出し得る。カメラ３２４は、図４に示される、内向きに向いた結像システム４６２の一部であってもよい。ウェアラブルシステム２００はさらに、センサアセンブリ３３９を特徴とすることができ、これは、Ｘ、Ｙ、およびＺ軸加速度計能力および磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る。センサアセンブリ３３９は、図２Ａを参照して説明される、ＩＭＵの一部であってもよい。描写されるシステム２００はまた、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）等の頭部姿勢プロセッサ３３６を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス３１６から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ３３６は、ハードウェアプロセッサであることができ、図２に示されるローカル処理およびデータモジュール２６０の一部として実装されることができる。
【0055】
ウェアラブルシステムはまた、１つ以上の深度センサ２３４を含むことができる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ＬＩＤＡＲ）、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ３１６はまた、深度センサ２３４と見なされ得る。
【0056】
また、示されるものは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ３３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ３３２である。プロセッサ３３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。ウェアラブルシステム２００はまた、図３に示されるように、例えば、ＧＰＳ３３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
【0057】
ウェアラブルシステムは、ＧＰＳ３３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲＤ等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられた仮想オブジェクトを含む、世界マップを読み出すことができる（例えば、遠隔処理モジュール２７０と通信することによって）。別の実施例として、ウェアラブルシステム２００は、世界カメラ３１６（図４に示される外向きに向いた結像システム４６４の一部であってもよい）を使用して、環境を監視することができる。世界カメラ３１６によって入手された画像に基づいて、ウェアラブルシステム２００は、環境内のオブジェクトを検出することができる。ウェアラブルシステムはさらに、ＧＰＳ３３７によって入手されたデータを使用して、キャラクタを解釈することができる。
【0058】
ウェアラブルシステム２００はまた、レンダリングエンジン３３４を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３３４は、図６および７を参照して説明される、ライトフィールドレンダリングコントローラ６１８を備えてもよい。レンダリングエンジン３３４は、ウェアラブルシステム２００の他のコンポーネントに通信可能に結合されることができる（例えば、有線または無線リンクを介して）。例えば、レンダリングエンジン３３４は、通信リンク２７４を介して、眼カメラ３２４に結合され、通信リンク２７２を介して、投影サブシステム３１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影することができる）に結合されることができる。レンダリングエンジン３３４はまた、それぞれ、リンク２７６および２９４を介して、例えば、センサ姿勢プロセッサ３３２および画像姿勢プロセッサ３３６等の他の処理ユニットと通信することができる。
【0059】
カメラ３２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（眼の輻輳・開散運動（ｖｅｒｇｅｎｃｅ）を用いて推定されてもよい）を含んでもよい。カメラ３２４および赤外線光源３２６は、本明細書に説明される多重露光時間眼追跡技法のためのデータを提供するために使用されることができる。ＧＰＳ３３７、ジャイロスコープ、コンパス、および加速度計３３９は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つ以上のものは、画像および姿勢を入手することができ、これは、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
【0060】
図３に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ３３６、センサ姿勢プロセッサ３３２、およびレンダリングエンジン３３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム２００のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
【0061】
ユーザの眼３０２、３０４の中への光３３８の投影に関して、いくつかの実施形態では、カメラ３２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルデバイスおよび他のディスプレイシステムの実施例はまた、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0062】
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動移動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。正常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化が、正常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0063】
さらに、約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく分解され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ３２４を用いて追跡されてもよく、レンダリングエンジン３３４および投影サブシステム３１８は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい（例えば、意図的に作成されたぼけを使用して）。好ましくは、システム２２０は、ユーザに、約６０フレーム／秒以上のフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ３２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
【0064】
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、位置特定システムと統合されてもよく、これは、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう）。
【0065】
いくつかの実施形態では、ウェアラブルシステム２００は、ユーザの眼の遠近調節に基づいて、１つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、１ｍの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３ｍに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム２００は、ユーザの眼がより自然な様式において機能することを可能にする。
【0066】
そのようなウェアラブルシステム２００は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム２００の種々の実施形態は、１つ以上の可変焦点要素（ＶＦＥ）を通して、仮想画像を可変焦点距離に投影するように構成される。１つ以上の実施形態では、３Ｄ知覚は、画像をユーザから固定された焦点面に投影する、多面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動される。
【0067】
多面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を１つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
【0068】
導波管スタックアセンブリ
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応し得、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応し得、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
【0069】
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、空気間隙を形成するためのクラッディング層または構造）であってもよい。
【0070】
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送出するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。
【0071】
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８はそれぞれ、対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つ以上の光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
【0072】
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
【0073】
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。
【0074】
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【0075】
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂが、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。（補償レンズ層４３０およびスタックされた導波管アセンブリ４８０は、全体として、世界４７０から生じる光が、最初にスタックされた導波管アセンブリ４８０によって受光されたときに光が有していたものと実質的に同一レベルの発散（またはコリメーション）で眼４１０に伝達されるように構成され得る。）そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
【0076】
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から外に再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管が、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0077】
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交点で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となり得る。
【0078】
いくつかの実施形態では、１つ以上のＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。
【0079】
いくつかの実施形態では、深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第１の深度面および第２の深度面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。
【0080】
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられる２つの深度面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
【0081】
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
【0082】
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに向いた結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視認者２１０より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに向いた結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
【0083】
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに向いた結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名前または他の人口統計情報）を決定することができる。
【0084】
ウェアラブルシステム４００はまた、眼移動（例えば、眼追跡のため）および顔移動等のユーザの移動を観察する、内向きに向いた結像システム４６６（例えば、デジタルカメラを備える）を含むことができる。内向きに向いた結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに向いた結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。内向きに向いた結像システム４２６は、本明細書に説明される多重露光時間眼追跡技法のための入力画像および情報を提供するために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径または配向が、（例えば、対の眼あたり単一カメラのみを使用して）決定され、ユーザの両眼に関して類似すると仮定された。内向きに向いた結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。内向きに向いた結像システム４２６は、図３を参照して説明される、カメラ３２４および光源３２６（例えば、ＩＲ ＬＥＤ）を備えることができる。
【0085】
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
【0086】
眼画像の実施例
図５は、眼瞼５０４と、強膜５０８（「白眼」）と、虹彩５１２と、瞳孔５１６とを伴う、眼５００の画像を図示する。曲線５１６ａは、瞳孔５１６と虹彩５１２との間の瞳孔境界を示し、曲線５１２ａは、虹彩５１２と強膜５０８との間の辺縁境界を示す。眼瞼５０４は、上側眼瞼５０４ａと、下側眼瞼５０４ｂとを含む。眼５００は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される）に図示される。眼５００の自然静置姿勢は、自然静置姿勢（例えば、図５に示される眼５００に関しては、すぐ面外）にあって、本実施例では、瞳孔５１６内に心合されるときの眼５００の表面に直交する方向である、自然静置方向５２０によって示され得る。
図５は、眼瞼５０４と、強膜５０８（「白眼」）と、虹彩５１２と、瞳孔５１６とを伴う、眼５００の画像を図示する。曲線５１６ａは、瞳孔５１６と虹彩５１２との間の瞳孔境界を示し、曲線５１２ａは、虹彩５１２と強膜５０８との間の辺縁境界を示す。眼瞼５０４は、上側眼瞼５０４ａと、下側眼瞼５０４ｂとを含む。眼５００は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される）に図示される。眼５００の自然静置姿勢は、自然静置姿勢（例えば、図５に示される眼５００に関しては、すぐ面外）にあって、本実施例では、瞳孔５１６内に心合されるときの眼５００の表面に直交する方向である、自然静置方向５２０によって示され得る。
【0087】
眼５００が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向５２０に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する（かつ瞳孔５１６内に心合される）方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向５２４を参照して決定されることができる。図５Ａに示される例示的座標系を参照すると、眼５００の姿勢は、両方とも眼の自然静置方向５２０に対する、眼の眼姿勢方向５２４の方位角偏向および天頂偏向を示す、２つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ（基点方位角から決定される、方位角偏向）およびφ（時として、極性偏向とも称される、天頂偏向）として表され得る。いくつかの実装では、眼姿勢方向５２４の周囲の眼の角度ロールが、眼姿勢の決定に含まれることができ、角度ロールは、眼追跡に含まれることができる。他の実装では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。したがって、眼姿勢は、２ＤＯＦまたは３ＤＯＦ配向として提供されることができる。
【0088】
光源３２６は、眼５００を（例えば、ＩＲ内で）照明することができ、眼からの（典型的には、角膜からの）光源の反射は、閃光と称される。図５は、４つの閃光５５０が存在する、実施例を図式的に示す。閃光５５０の位置、数、明度等は、光源３２６の位置および数、眼の姿勢等に依存し得る。下記にさらに説明されるであろうように、眼追跡カメラ３２４は、眼画像を取得することができ、プロセッサは、眼追跡のために、眼画像を分析し、閃光の位置および移動を決定することができる。いくつかの実施形態では、異なる露光時間または異なるフレームレートを伴う、複数の眼画像が、高正確度眼追跡を提供するために使用されることができる。
【0089】
眼画像は、任意の適切なプロセスを使用して、例えば、画像を１つ以上のシーケンシャルフレーム（または非シーケンシャルフレーム）から抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。図４の内向きに向いた結像システム４２６または図３のカメラ３２４および光源３２６は、眼の一方または両方のビデオまたは画像を提供するために利用されることができる。眼の姿勢は、種々の眼追跡技法、例えば、本明細書に説明される、正確な角膜閃光検出のための多重露光時間技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されることができる。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼姿勢を決定するために使用されることができる。
【0090】
眼追跡システムの実施例
図６は、眼追跡システム６０１を含む、ウェアラブルシステム６００の概略図を図示する。ウェアラブルシステム６００は、図２－４を参照して説明される、ウェアラブルシステム２００および４００の実施形態であってもよい。ウェアラブルシステム６００は、少なくともいくつかの実施形態では、頭部搭載型ユニット６０２内に位置するコンポーネントと、非頭部搭載型ユニット６０４内に位置するコンポーネントとを含む。非頭部搭載型ユニット６０４は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム６００のコンポーネントのうちのいくつかを非頭部搭載型ユニット６０４内に組み込むことは、頭部搭載型ユニット６０２のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット６０２および／または非頭部搭載型ユニット６０４の１つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム６００内のいずれかに含まれる１つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット６０２のＣＰＵ６１２と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット６０４のＣＰＵ６１６を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム６００の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図２を参照して上記に説明されたものに類似する様式において、１つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
図６は、眼追跡システム６０１を含む、ウェアラブルシステム６００の概略図を図示する。ウェアラブルシステム６００は、図２－４を参照して説明される、ウェアラブルシステム２００および４００の実施形態であってもよい。ウェアラブルシステム６００は、少なくともいくつかの実施形態では、頭部搭載型ユニット６０２内に位置するコンポーネントと、非頭部搭載型ユニット６０４内に位置するコンポーネントとを含む。非頭部搭載型ユニット６０４は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム６００のコンポーネントのうちのいくつかを非頭部搭載型ユニット６０４内に組み込むことは、頭部搭載型ユニット６０２のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット６０２および／または非頭部搭載型ユニット６０４の１つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム６００内のいずれかに含まれる１つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット６０２のＣＰＵ６１２と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット６０４のＣＰＵ６１６を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム６００の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図２を参照して上記に説明されたものに類似する様式において、１つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
【0091】
図６に示されるように、ウェアラブルシステム６００は、ユーザの眼６１０の画像を捕捉する、カメラ３２４を含む、眼追跡システム６０１を含むことができる。所望に応じて、眼追跡システムはまた、光源３２６ａおよび３２６ｂ（発光ダイオード「ＬＥＤ」等）を含んでもよい。光源３２６ａおよび３２６ｂは、閃光（例えば、カメラ３２４によって捕捉された眼の画像内に現れる、ユーザの眼からの反射）を生成し得る。閃光５５０の概略実施例は、図５に示される。カメラ３２４に対する光源３２６ａおよび３２６ｂの位置は、既知であり得、その結果、カメラ３２４によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されることができる（下記により詳細に説明されるであろうように）。少なくとも一実施形態では、１つの光源３２６と、ユーザの眼６１０の片方と関連付けられた１つのカメラ３２４とが存在してもよい。別の実施形態では、１つの光源３２６と、ユーザの眼６１０のそれぞれと関連付けられた１つのカメラ３２４とが存在してもよい。さらに他の実施形態では、１つ以上のカメラ３２４と、ユーザの眼６１０の一方またはそれぞれと関連付けられた１つ以上の光源３２６とが存在してもよい。具体的実施例として、２つの光源３２６ａおよび３２６ｂと、ユーザの眼６１０のそれぞれと関連付けられた１つ以上のカメラ３２４とが存在してもよい。別の実施例として、光源３２６ａおよび３２６ｂ等の３つ以上の光源と、ユーザの眼６１０のそれぞれと関連付けられた１つ以上のカメラ３２４とが存在してもよい。
【0092】
眼追跡モジュール６１４は、画像を眼追跡カメラ３２４から受信してもよく、画像を分析し、種々の情報を抽出してもよい。本明細書に説明されるように、眼追跡カメラからの画像は、より短い露光（閃光）画像と、より長い露光の画像とを含んでもよい。実施例として、眼追跡モジュール６１４は、ユーザの眼姿勢、眼追跡カメラ３２４（および頭部搭載型ユニット６０２）に対するユーザの眼の３次元位置、合焦されているユーザの眼６１０の一方または両方の方向、ユーザの輻輳・開散運動深度（例えば、ユーザが合焦しているユーザからの深度）、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、またはユーザの眼のそれぞれの目線中心を検出してもよい。図６に示されるように、眼追跡モジュール６１４は、頭部搭載型ユニット６０２内のＣＰＵ６１２を使用して実装される、ソフトウェアモジュールであってもよい。
【0093】
眼追跡モジュール６１４からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、ライトフィールドレンダリングコントローラ６１８および位置合わせオブザーバ６２０のためのソフトウェアモジュールを含む、ＣＰＵ６１６等の非頭部搭載型ユニット６０４内のコンポーネントに伝送されてもよい。
【0094】
本明細書にさらに説明されるように、多重露光時間眼追跡技術のいくつかの実装では、機能性は、例証的であって、限定することを意図するものではない、図６（または図７）に示されるものと異なるように実施されてもよい。例えば、いくつかの実装では、より短い露光の閃光画像は、頭部搭載型ユニット６０２内のＣＰＵ６１２（カメラ３２４内に配置されてもよい）によって処理されることができ、より長い露光の画像は、非頭部搭載型ユニット６０４内の（例えば、ベルトパック内の）ＣＰＵ６１６（またはＧＰＵ６２１）によって処理されることができる。いくつかのそのような実装では、眼追跡モジュール６１４によって実施される眼追跡機能性のうちのいくつかは、非頭部搭載型ユニット６０４（例えば、ベルトパック）内のプロセッサ（例えば、ＣＰＵ６１６またはＧＰＵ６２１）によって実施されてもよい。これは、眼追跡機能性のうちのいくつかが、ＣＰＵ集約的であり得、ある場合には、非頭部搭載型ユニット６０４内に配置されるより強力なプロセッサによって、より効率的または迅速に実施され得るため、有利であり得る。
【0095】
レンダリングコントローラ６１８は、レンダリングエンジン６２２（例えば、ＧＰＵ６２０内のソフトウェアモジュールであり得、画像をディスプレイ２２０に提供し得る、レンダリングエンジン）によって、眼追跡モジュール６１４からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ６１８は、ユーザの回転中心または目線中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ６１８は、ユーザの目線中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく（例えば、ユーザの目線からの画像の収集をシミュレートする）、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「ＭＥＴＨＯＤＳ ＡＮＤ
ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＲＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題された、米国特許出願公開第２０１７／００９１９９６号として公開された米国特許出願第１５／２７４，８２３号（参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。
ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＲＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題された、米国特許出願公開第２０１７／００９１９９６号として公開された米国特許出願第１５／２７４，８２３号（参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。
【0096】
いくつかの実施例では、システム６００の１つ以上のモジュール（またはコンポーネント）（例えば、ライトフィールドレンダリングコントローラ６１８、レンダリングエンジン６２０等）は、ユーザの頭部および眼の位置および配向（例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように）に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。例えば、システム６００は、事実上、ユーザの頭部および眼の位置および配向を３Ｄ仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを３Ｄ仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉されるであろうにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界／仮想世界マッピングプロセスについて議論するさらなる詳細は、「ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ Ａ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された、米国特許出願公開第２０１７／０１０９９３６号として公開された米国特許出願第１５／２９６，８６９号（参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。実施例として、レンダリングコントローラ６１８は、画像が、画像を表示するために任意の所与の時間に利用される深度面（または複数の深度面）を選択することによって表示される、深度を調節してもよい。いくつかの実装では、そのような深度面切替は、１つ以上の固有のレンダリングカメラパラメータの調節を通して、行われてもよい。
【0097】
位置合わせオブザーバ６２０は、眼追跡モジュール６１４からの情報を使用して、頭部搭載型ユニット６０２がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール６１４は、カメラ３２４に対するユーザの眼の３次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット６０２および眼追跡モジュール６１４は、場所情報を使用して、ディスプレイ２２０がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット６０２（またはヘッドセット）が滑脱している、または別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ２２０をユーザの眼から離れさせ、そこから下方に移動させている（望ましくあり得ない）かどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ２２０をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット６０２が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ６２０は、一般に、頭部搭載型ユニット６０２、特に、ディスプレイ２２０が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。換言すると、位置合わせオブザーバ６２０は、ディスプレイシステム２２０内の左ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム２２０内の右ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの眼に対する位置および／または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット６０２が適切に位置付けられているかどうかを決定してもよい。位置合わせオブザーバ６２０によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、２０１７年９月２７日に出願され、「ＰＥＲＩＯＣＵＬＡＲ ＴＥＳＴ ＦＯＲ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＣＡＬＩＢＲＡＴＩＯＮ」と題された、米国特許出願公開第２０１８／００９６５０３号として公開された米国特許出願第１５／７１７，７４７号、および２０１９年１月１７日に出願され、「ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ
ＲＥＧＩＳＴＲＡＴＩＯＮ ＢＥＴＷＥＥＮ Ａ ＤＩＳＰＬＡＹ ＡＮＤ Ａ ＵＳＥＲ’Ｓ ＥＹＥＳ」と題された、米国特許出願公開第２０１９／０２２２８３０号として公開された米国特許出願第１６／２５１，０１７号（その両方とも、参照することによってその全体として本明細書に組み込まれる）に説明される。
ＲＥＧＩＳＴＲＡＴＩＯＮ ＢＥＴＷＥＥＮ Ａ ＤＩＳＰＬＡＹ ＡＮＤ Ａ ＵＳＥＲ’Ｓ ＥＹＥＳ」と題された、米国特許出願公開第２０１９／０２２２８３０号として公開された米国特許出願第１６／２５１，０１７号（その両方とも、参照することによってその全体として本明細書に組み込まれる）に説明される。
【0098】
レンダリングコントローラ６１８は、眼追跡情報を眼追跡モジュール６１４から受信することができ、出力をレンダリングエンジン６２２に提供してもよく、これは、ウェアラブルシステム６００のユーザによって視認するために表示されるべき画像を生成することができる。実施例として、レンダリングコントローラ６１８は、輻輳・開散運動深度、左および右眼回転中心（および／または目線中心）、および瞬目データ、サッカードデータ等の他の眼データを受信してもよい。そのようなデータに基づく、輻輳・開散運動深度情報および他の眼データは、レンダリングエンジン６２２に、（例えば、特定の遠近調節または焦点距離における）特定の深度面を伴うコンテンツをユーザに伝達させることができる。図４に関連して議論されるように、ウェアラブルシステムは、それぞれ、可変レベルの波面曲率を伴う画像情報を伝達する、複数の導波管によって形成される、複数の離散深度面を含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、経時的に変動するレベルの波面曲率を伴う画像情報を伝達する、光学要素等の１つ以上の可変深度面を含んでもよい。レンダリングエンジン６２２は、部分的に、ユーザの輻輳・開散運動深度に基づいて、選択された深度において、コンテンツをユーザに伝達することができる（例えば、レンダリングエンジン６２２に、ディスプレイ２２０に深度面を切り替えるように指示させる）。
【0099】
レンダリングエンジン６２２は、ユーザの左および右眼の位置におけるカメラをシミュレートし、シミュレートされたカメラの目線に基づいて、コンテンツを生成することによって、コンテンツを生成することができる。上記に議論されるように、レンダリングカメラは、可能性として、仮想世界内のオブジェクトのデータベースから仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。レンダリングカメラは、眼に提示されるための仮想オブジェクトのデータベースに基づいて仮想画像をレンダリングするために、レンダリングエンジン内に含まれてもよい。仮想画像は、ユーザまたは装着者の目線から撮影されたかのようにレンダリングされてもよい。例えば、仮想画像は、仮想世界内のオブジェクトを視認する、開口、レンズ、および検出器を有する、カメラ（「レンダリングカメラ」に対応する）によって捕捉されたかのようにレンダリングされてもよい。仮想画像は、「レンダリングカメラ」の位置を有する、そのようなカメラの目線から撮影される。例えば、仮想画像は、ユーザまたは装着者の目線からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの目線から捕捉されたかのようにレンダリングされてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所（本明細書に議論されるような目線中心または回転中心または他の場所等）に開口を有する、カメラ目線から捕捉されたかのようにレンダリングされる。
【0100】
眼追跡モジュールの実施例
例示的眼追跡モジュール６１４の詳細なブロック図が、図７に示される。図７に示されるように、眼追跡モジュール６１４は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール６１４は、光源３２６および頭部搭載型ユニット６０２に対する眼追跡カメラ３２４の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約４．７ｍｍの典型的距離またはユーザの回転中心と目線中心との間の典型的距離等の仮定された眼寸法７０４、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ７０６等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール６１４によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、２０１７年４月２６日に出願され、米国特許出願公開第２０１８／００１８５１５号として公開され、「ＩＲＩＳ ＢＯＵＮＤＡＲＹ ＥＳＴＩＭＡＴＩＯＮ ＵＳＩＮＧ ＣＯＲＮＥＡ ＣＵＲＶＡＴＵＲＥ」と題された、米国特許出願第１５／４９７，７２６号（参照することによってその全体として本明細書に組み込まれる）に説明される。眼追跡モジュール６１４として実装される、または別様に眼追跡モジュール６１４によって利用され得る、例示的眼追跡モジュールおよび技法は、２０１９年１月１７日に出願され、米国特許出願公開第２０１９／０２４３４４８号として公開され、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題された、米国特許出願第１６／２５０，９３１号（参照することによってその全体として本明細書に組み込まれる）に説明される。
例示的眼追跡モジュール６１４の詳細なブロック図が、図７に示される。図７に示されるように、眼追跡モジュール６１４は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール６１４は、光源３２６および頭部搭載型ユニット６０２に対する眼追跡カメラ３２４の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約４．７ｍｍの典型的距離またはユーザの回転中心と目線中心との間の典型的距離等の仮定された眼寸法７０４、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ７０６等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール６１４によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、２０１７年４月２６日に出願され、米国特許出願公開第２０１８／００１８５１５号として公開され、「ＩＲＩＳ ＢＯＵＮＤＡＲＹ ＥＳＴＩＭＡＴＩＯＮ ＵＳＩＮＧ ＣＯＲＮＥＡ ＣＵＲＶＡＴＵＲＥ」と題された、米国特許出願第１５／４９７，７２６号（参照することによってその全体として本明細書に組み込まれる）に説明される。眼追跡モジュール６１４として実装される、または別様に眼追跡モジュール６１４によって利用され得る、例示的眼追跡モジュールおよび技法は、２０１９年１月１７日に出願され、米国特許出願公開第２０１９／０２４３４４８号として公開され、「ＥＹＥ ＣＥＮＴＥＲ ＯＦ ＲＯＴＡＴＩＯＮ ＤＥＴＥＲＭＩＮＡＴＩＯＮ， ＤＥＰＴＨ ＰＬＡＮＥ ＳＥＬＥＣＴＩＯＮ， ＡＮＤ ＲＥＮＤＥＲ ＣＡＭＥＲＡ ＰＯＳＩＴＩＯＮＩＮＧ ＩＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題された、米国特許出願第１６／２５０，９３１号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0101】
画像前処理モジュール７１０は、画像を眼カメラ３２４等の眼カメラから受信してもよく、１つ以上の前処理（例えば、調整）動作を受信された画像上に実施してもよい。実施例として、画像前処理モジュール７１０は、ガウスぼけを画像に適用してもよい、画像をより低い分解能にダウンサンプリングしてもよい、アンシャープマスクを適用してもよい、縁シャープニングアルゴリズムを適用してもよい、または後の検出、位置特定、および眼カメラ３２４からの画像内の閃光、瞳孔、または他の特徴の標識化を補助する、他の好適なフィルタを適用してもよい。画像前処理モジュール７１０は、高周波数雑音を瞳孔境界５１６ａ（図５参照）等から除去し、それによって瞳孔および閃光決定を妨害し得る、雑音を除去し得る、オープンフィルタ等の低域通過フィルタまたは形態学的フィルタを適用してもよい。画像前処理モジュール７１０は、前処理された画像を瞳孔識別モジュール７１２および閃光検出および標識化モジュール７１４に出力してもよい。
【0102】
瞳孔識別モジュール７１２は、前処理された画像を画像前処理モジュール７１０から受信してもよく、ユーザの瞳孔を含む、それらの画像の領域を識別してもよい。瞳孔識別モジュール７１２は、いくつかの実施形態では、カメラ３２４からの眼追跡画像内のユーザの瞳孔の位置の座標、すなわち、中心または重心の座標を決定してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール７１２は、眼追跡画像内の輪郭（例えば、瞳孔虹彩境界の輪郭）を識別し、輪郭モーメント（例えば、質量中心）を識別し、スターバースト瞳孔検出および／またはＣａｎｎｙ縁検出アルゴリズムを適用し、強度値に基づいて外れ値を除外し、サブピクセル境界点を識別し、眼カメラ歪曲（例えば、眼カメラ３２４によって捕捉された画像内の歪曲）を補正し、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）反復アルゴリズムを適用し、楕円形を眼追跡画像内の境界に適合させ、追跡フィルタを画像に適用し、ユーザの瞳孔重心のサブピクセル画像座標を識別してもよい。瞳孔識別モジュール７１２は、ユーザの瞳孔を示すと識別された前処理画像モジュール７１２の領域を示し得る、瞳孔識別データを、閃光検出および標識化モジュール７１４に出力してもよい。瞳孔識別モジュール７１２は、各眼追跡画像内のユーザの瞳孔の２Ｄ座標（例えば、ユーザの瞳孔の重心の２Ｄ座標）を閃光検出モジュール７１４に提供してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール７１２はまた、同一種類の瞳孔識別データを座標系正規化モジュール７１８に提供してもよい。
【0103】
瞳孔識別モジュール７１２によって利用され得る、瞳孔検出技法は、２０１７年２月２３日に公開された米国特許公開第２０１７／００５３１６５号および２０１７年２月２３日に公開された米国特許公開第２０１７／００５３１６６号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に説明される。
【0104】
閃光検出および標識化モジュール７１４は、前処理された画像をモジュール７１０から、瞳孔識別データをモジュール７１２から受信してもよい。閃光検出モジュール７１４は、本データを使用して、閃光（例えば、光源３２６からの光のユーザの眼からの反射）をユーザの瞳孔を示す前処理された画像の領域内で検出および／または識別してもよい。実施例として、閃光検出モジュール７１４は、ユーザの瞳孔または虹彩の近傍にある、時として、本明細書では、「ブロブ」または局所強度最大値とも称される、眼追跡画像内の明るい領域を検索してもよい。少なくともいくつかの実施形態では、閃光検出モジュール７１４は、瞳孔楕円形を再スケーリング（例えば、拡大）し、付加的閃光を包含してもよい。閃光検出モジュール７１４は、サイズまたは強度によって、閃光をフィルタリングしてもよい。閃光検出モジュール７１４はまた、眼追跡画像内の閃光のそれぞれの２Ｄ位置を決定してもよい。少なくともいくつかの実施例では、閃光検出モジュール７１４は、瞳孔－閃光ベクトルとも称され得る、ユーザの瞳孔に対する閃光の２Ｄ位置を決定してもよい。閃光検出および標識化モジュール７１４は、閃光を標識化し、標識された閃光を伴う前処理画像を３Ｄ角膜中心推定モジュール７１６に出力してもよい。閃光検出および標識化モジュール７１４はまた、モジュール７１０からの前処理された画像およびモジュール７１２からの瞳孔識別データ等のデータを伝えてもよい。いくつかの実装では、閃光検出および標識化モジュール７１４は、各識別された閃光を生産した（例えば、赤外線光源３２６ａおよび３２６ｂを含む、システムの複数の光源の中の）光源を決定してもよい。これらの実施例では、閃光検出および標識化モジュール７１４は、閃光を関連付けられた光源を識別する情報で標識化し、標識された閃光を伴う前処理画像を３Ｄ角膜中心推定モジュール７１６に出力してもよい。
【0105】
モジュール７１２および７１４等のモジュールによって実施されるような瞳孔および閃光検出は、任意の好適な技法を使用することができる。実施例として、縁検出が、眼画像に適用され、閃光、瞳孔、または虹彩を識別することができる。縁検出は、種々の縁検出器、縁検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Ｃａｎｎｙ縁検出器が、画像に適用され、画像の線等の縁を検出することができる。縁は、局所最大導関数に対応する、線に沿って位置する点を含んでもよい。例えば、瞳孔境界５１６ａまたは虹彩（角膜輪部）境界５１２ａ（図５参照）が、Ｃａｎｎｙ縁検出器を使用して、位置特定されることができる。瞳孔または虹彩の場所が決定されると、種々の画像処理技法が、瞳孔１１６の「姿勢」を検出するために使用されることができる。姿勢は、視線、向いている方向、または眼の配向とも称され得る。例えば、瞳孔は、オブジェクトに向かって左を見ている場合があり、瞳孔の姿勢は、左向き姿勢として分類され得る。他の方法も、瞳孔または閃光の場所を検出するために使用されることができる。例えば、同心リングが、Ｃａｎｎｙ縁検出器を使用した眼画像内に位置し得る。別の実施例として、積分微分演算子が、瞳孔または虹彩の角膜輪部境界を見出すために使用されることができる。例えば、Ｄａｕｇｍａｎ積分微分演算子、Ｈｏｕｇｈ変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する、曲線を返すために使用されることができる。モジュール７１２、７１４は、異なる露光時間または異なるフレームレートを用いて捕捉された複数の眼画像を使用し得る、本明細書に説明される閃光検出技法に適用することができる。
【0106】
３Ｄ角膜中心推定モジュール７１６は、検出された閃光データおよび瞳孔（または虹彩）識別データを含む、前処理された画像を、モジュール７１０、７１２、７１４から受信してもよい。３Ｄ角膜中心推定モジュール７１６は、これらのデータを使用して、ユーザの角膜の３Ｄ位置を推定してもよい。いくつかの実施形態では、３Ｄ角膜中心推定モジュール７１６は、眼の角膜曲率の中心またはユーザの角膜球面、例えば、概して、ユーザの角膜と同延の表面部分を有する、想像上の球面の中心の３Ｄ位置を推定してもよい。３Ｄ角膜中心推定モジュール７１６は、角膜球面および／またはユーザの角膜の推定された３Ｄ座標を示すデータを、座標系正規化モジュール７１８、光学軸決定モジュール７２２、および／またはライトフィールドレンダリングコントローラ６１８に提供してもよい。３Ｄ角膜中心推定モジュール７１６および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、角膜または角膜球面等の眼特徴の位置を推定するための技法は、２０１７年４月２６日に出願された、米国特許出願公開第２０１８／００１８５１５号として公開された米国特許出願第１５／４９７，７２６号（参照することによってその全体として本明細書に組み込まれる）に議論される。
【0107】
座標系正規化モジュール７１８は、随意に、（その破線輪郭によって示されるように）眼追跡モジュール６１４内に含まれてもよい。座標系正規化モジュール７１８は、ユーザの角膜の中心（および／またはユーザの角膜球面の中心）の推定された３Ｄ座標を示すデータを、３Ｄ角膜中心推定モジュール７１６から受信してもよく、また、データを他のモジュールから受信してもよい。座標系正規化モジュール７１８は、眼カメラ座標系を正規化してもよく、これは、ウェアラブルデバイスの滑脱（例えば、位置合わせオブザーバ６２０によって識別され得る、ユーザの頭部上のその正常静置位置からの頭部搭載型コンポーネントの滑脱）を補償することに役立ち得る。座標系正規化モジュール７１８は、座標系を回転させ、座標系のｚ－軸（例えば、輻輳・開散運動深度軸）と角膜中心（例えば、３Ｄ角膜中心推定モジュール７１６によって示されるように）を整合させてもよく、カメラ中心（例えば、座標系の原点）を３０ｍｍ等の角膜中心から離れた所定の距離に平行移動させてもよい（例えば、モジュール７１８は、眼カメラ３２４が所定の距離より近くまたは遠くにあるように決定されるかどうかに応じて、眼追跡画像を拡大または収縮し得る）。本正規化プロセスを用いることで、眼追跡モジュール６１４は、比較的に、ユーザの頭部上に位置付けられるヘッドセットの変動から独立して、眼追跡データ内の一貫した配向および距離を確立することが可能であり得る。座標系正規化モジュール７１８は、角膜（および／または角膜球面）の中心の３Ｄ座標、瞳孔識別データ、および前処理された眼追跡画像を３Ｄ瞳孔中心ロケータモジュール７２０に提供してもよい。
【0108】
３Ｄ瞳孔中心ロケータモジュール７２０は、正規化または非正規化座標系内において、ユーザの角膜（および／または角膜球面）の中心の３Ｄ座標、瞳孔場所データ、および前処理された眼追跡画像を含む、データを受信してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、そのようなデータを分析して、正規化または非正規化眼カメラ座標系内のユーザの瞳孔中心の３Ｄ座標を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔重心の２Ｄ位置（モジュール７１２によって決定されるように）、角膜中心の３Ｄ位置（モジュール７１６によって決定されるように）、典型的ユーザの角膜球面のサイズおよび角膜中心から瞳孔中心までの典型的距離等の仮定された眼寸法７０４、および角膜の屈折率（空気の屈折率に対する）等の眼の光学性質、または任意のこれらの組み合わせに基づいて、３次元におけるユーザの瞳孔の場所を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、瞳孔等の眼特徴の位置を推定するための技法は、２０１７年４月２６日に出願された、米国特許出願公開第２０１８／００１８５１５号として公開された米国特許出願第１５／４９７，７２６号（参照することによってその全体として本明細書に組み込まれる）に議論される。
【0109】
光学軸決定モジュール７２２は、ユーザの角膜およびユーザの瞳孔中心の３Ｄ座標を示すデータを、モジュール７１６および７２０から受信してもよい。そのようなデータに基づいて、光学軸決定モジュール７２２は、角膜中心の位置から（例えば、角膜球面の中心から）、ユーザの眼の光学軸を定義し得る、ユーザの瞳孔中心までのベクトルを識別してもよい。光学軸決定モジュール７２２は、実施例として、ユーザの光学軸を規定する出力をモジュール７２４、７２８、７３０、および７３２に提供してもよい。
【0110】
回転中心（ＣｏＲ）推定モジュール７２４は、ユーザの眼の光学軸のパラメータ（例えば、頭部搭載型ユニット６０２に対して既知の関係を伴う座標系内の光学軸の方向を示すデータ）を含むデータを、モジュール７２２から受信してもよい。ＣｏＲ推定モジュール７２４は、ユーザの眼の回転中心（例えば、ユーザの眼が左、右、上、および／または下に回転するとき、その周囲でユーザの眼が回転する、点）を推定し得る。眼が、単点の周囲で完璧に回転し得ない場合でも、単点が十分であり得ると仮定する。少なくともいくつかの実施形態では、ＣｏＲ推定モジュール７２４は、瞳孔中心（モジュール７２０によって識別される）または角膜の曲率中心（モジュール７１６によって識別されるように）を網膜に向かって光学軸（モジュール７２２によって識別される）に沿って特定の距離だけ移動させることによって、眼の回転中心を推定し得る。本特定の距離は、仮定された眼寸法７０４であってもよい。一実施例として、角膜の曲率中心とＣｏＲとの間の特定の距離は、約４．７ｍｍであってもよい。本距離は、ユーザの年齢、性別、視覚処方箋、他の関連特性等を含む、任意の関連データに基づいて、特定のユーザのために変動され得る。
【0111】
少なくともいくつかの実施形態では、ＣｏＲ推定モジュール７２４は、ユーザの眼のそれぞれの回転中心のその推定値を経時的に精緻化してもよい。実施例として、時間が経過するにつれて、ユーザは、最終的に、その眼を回転させ（他の場所、より近く、より遠くの何らかのもの、またはある時に左、右、上、または下を見るため）、その眼のそれぞれの光学軸において偏移させるであろう。ＣｏＲ推定モジュール７２４は、次いで、モジュール７２２によって識別される２つ（以上の）光学軸を分析し、それらの光学軸の交点の３Ｄ点を位置特定してもよい。ＣｏＲ推定モジュール７２４は、次いで、その交点の３Ｄ点にある回転中心を決定してもよい。そのような技法は、経時的に改良する正確度を伴う、回転中心の推定値を提供し得る。種々の技法が、ＣｏＲ推定モジュール７２４および左および右眼の決定されたＣｏＲ位置の正確度を増加させるために採用されてもよい。実施例として、ＣｏＲ推定モジュール７２４は、種々の異なる眼姿勢に関して経時的に決定された光学軸の交点の平均点を見出すことによって、ＣｏＲを推定してもよい。付加的実施例として、モジュール７２４は、推定されたＣｏＲ位置を経時的にフィルタリングまたは平均化してもよく、推定されたＣｏＲ位置の移動平均を経時的に計算してもよく、および／またはカルマンフィルタおよび眼および眼追跡システムの既知の動態を適用し、ＣｏＲ位置を経時的に推定してもよい。具体的実施例として、モジュール７２４は、決定されたＣｏＲが、ユーザに関する眼追跡データが取得されるにつれて、仮定されたＣｏＲ位置（例えば、眼の角膜曲率の中心の４．７ｍｍ背後）からユーザの眼内の若干異なる場所に経時的にゆっくりと移り、それによって、ＣｏＲ位置のユーザ毎精緻化を可能にし得るように、光学軸交点の決定された点および仮定されたＣｏＲ位置（眼の角膜曲率の中心から４．７ｍｍ等）の加重平均を計算してもよい。
【0112】
瞳孔間距離（ＩＰＤ）推定モジュール７２６は、ユーザの左および右眼の回転中心の推定された３Ｄ位置を示すデータを、ＣｏＲ推定モジュール７２４から受信してもよい。ＩＰＤ推定モジュール７２６は、次いで、ユーザの左および右眼の回転中心間の３Ｄ距離を測定することによって、ユーザのＩＰＤを推定してもよい。一般に、ユーザの左眼の推定されたＣｏＲとユーザの右眼の推定されたＣｏＲとの間の距離は、ユーザが光学無限遠を見ている（例えば、ユーザの眼の光学軸が相互に略平行である）とき、ユーザの瞳孔中心間の距離と概ね等しくあり得、これは、瞳孔間距離（ＩＰＤ）の典型的定義である。ユーザのＩＰＤは、ウェアラブルシステム内の種々のコンポーネントおよびモジュールによって使用されてもよい。実施例として、ユーザのＩＰＤは、位置合わせオブザーバ６２０に提供され、ウェアラブルデバイスがユーザの眼と整合されている程度（例えば、左および右ディスプレイレンズが、ユーザのＩＰＤに従って適切に離間されているかどうか）を査定する際に使用されてもよい。別の実施例として、ユーザのＩＰＤは、輻輳・開散運動深度推定モジュール７２８に提供され、ユーザの輻輳・開散運動深度を決定する際に使用されてもよい。モジュール７２６は、ＣｏＲ推定モジュール７２４に関連して議論されるもの等の種々の技法を採用し、推定されたＩＰＤの正確度を増加させてもよい。実施例として、ＩＰＤ推定モジュール７２４は、正確な様式におけるユーザのＩＰＤの推定の一部として、フィルタリング、経時的に平均、仮定されたＩＰＤ距離を含む、加重平均、カルマンフィルタ等を適用してもよい。
【0113】
いくつかの実施形態では、ＩＰＤ推定モジュール７２６は、ユーザの瞳孔および／または角膜の推定される３Ｄ位置を示す、データを３Ｄ瞳孔中心ロケータモジュールおよび／または３Ｄ角膜中心推定モジュール７１６から受信してもよい。ＩＰＤ推定モジュール７２６は、次いで、瞳孔と角膜との間の距離を参照することによって、ユーザのＩＰＤを推定してもよい。一般に、これらの距離は、ユーザがその眼を回転させ、その輻輳・開散運動の深度を変化させるにつれて、経時的に変動するであろう。ある場合には、ＩＰＤ推定モジュール７２６は、ユーザが光学無限遠の近傍を見ている間に生じ得、概して、ユーザの瞳孔間距離に対応する、瞳孔および／または角膜間の最大測定距離を探し得る。他の場合では、ＩＰＤ推定モジュール７２６は、ユーザの瞳孔（および／または角膜）間の測定された距離を人物の瞳孔間距離がその輻輳・開散運動深度の関数として変化する程度の数学的関係に適合させ得る。いくつかの実施形態では、これらまたは他の類似技法を使用して、ＩＰＤ推定モジュール７２６は、ユーザが光学無限遠を見ていることの観察を伴わなくても（例えば、ユーザが光学無限遠より近い距離において輻輳・開散運動していたという１つ以上の観察から外挿することによって）、ユーザのＩＰＤを推定することが可能であり得る。
【0114】
輻輳・開散運動深度推定モジュール７２８は、データを眼追跡モジュール６１４内の種々のモジュールおよびサブモジュール（図７に関連して示されるように）から受信してもよい。特に、輻輳・開散運動深度推定モジュール７２８は、瞳孔中心の推定された３Ｄ位置（例えば、上記に説明されるモジュール７２０によって提供されるように）、光学軸の１つ以上の決定されたパラメータ（例えば、上記に説明されるモジュール７２２によって提供されるように）、回転中心の推定された３Ｄ位置（例えば、上記に説明されるモジュール７２４によって提供されるように）、推定されたＩＰＤ（例えば、回転中心の推定された３Ｄ位置間のユークリッド距離）（例えば、上記に説明されるモジュール７２６によって提供されるように）、および／または光学軸および／または視軸の１つ以上の決定されたパラメータ（例えば、下記に説明されるモジュール７２２および／またはモジュール７３０によって提供されるように）を示すデータを採用してもよい。輻輳・開散運動深度推定モジュール７２８は、ユーザの眼が合焦されるユーザからの距離であり得る、ユーザの輻輳・開散運動深度の測定値を検出または別様に取得してもよい。実施例として、ユーザが、彼らの正面から３フィートのオブジェクトを見ているとき、ユーザの左および右眼は、３フィートの輻輳・開散運動深度を有する一方、ユーザが遠距離の景観を見ている（例えば、ユーザの眼の光学軸が、ユーザの瞳孔中心間の距離が、ユーザの左および右眼の回転中心間の距離と概ね等しくあり得るように、相互に略平行である）とき、ユーザの左および右眼は、無限遠の輻輳・開散運動深度を有する。いくつかの実装では、輻輳・開散運動深度推定モジュール７２８は、ユーザの瞳孔の推定された中心（例えば、モジュール７２０によって提供されるように）を示すデータを利用し、ユーザの瞳孔の推定された中心間の３Ｄ距離を決定してもよい。輻輳・開散運動深度推定モジュール７２８は、瞳孔中心間のそのような決定された３Ｄ距離と推定されたＩＰＤ（例えば、回転中心の推定された３Ｄ位置間のユークリッド距離）（例えば、上記に説明されるモジュール７２６によって示されるように）を比較することによって、輻輳・開散運動深度の測定値を取得してもよい。瞳孔中心間の３Ｄ距離および推定されたＩＰＤに加え、輻輳・開散運動深度推定モジュール７２８は、既知の、仮定された、推定された、および／または決定された幾何学形状を利用して、輻輳・開散運動深度を計算してもよい。実施例として、モジュール７２８は、瞳孔中心間の３Ｄ距離、推定されたＩＰＤ、および三角法計算における３ＤＣｏＲ位置を組み合わせて、ユーザの輻輳・開散運動深度を推定（例えば、決定）してもよい。実際、推定されたＩＰＤに対する瞳孔中心間のそのような決定された３Ｄ距離の評価は、光学無限遠に対するユーザの現在の輻輳・開散運動深度の測定値を示す役割を果たし得る。いくつかの実施例では、輻輳・開散運動深度推定モジュール７２８は、単に、輻輳・開散運動深度のそのような測定値を取得する目的のために、ユーザの瞳孔の推定された中心間の推定された３Ｄ距離を示すデータを受信する、またはそれにアクセスしてもよい。いくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、ユーザの左および右光学軸を比較することによって、輻輳・開散運動深度を推定してもよい。特に、輻輳・開散運動深度推定モジュール７２８は、ユーザの左および右光学軸が交差する（または水平平面等の平面上のユーザの左および右光学軸の投影が交差する）、ユーザからの距離を位置特定することによって、輻輳・開散運動深度を推定してもよい。モジュール７２８は、ゼロ深度をユーザの左および右光学軸がユーザのＩＰＤによって分離される深度であると設定することによって、本計算において、ユーザのＩＰＤを利用してもよい。少なくともいくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、眼追跡データを、既知のまたは導出された空間関係とともに三角測量することによって、輻輳・開散運動深度を決定してもよい。
【0115】
いくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、ユーザが合焦している距離のより正確なインジケーションを提供し得る、ユーザの視軸の交点に基づいて（その光学軸の代わりに）、ユーザの輻輳・開散運動深度を推定してもよい。少なくともいくつかの実施形態では、眼追跡モジュール６１４は、光学軸／視軸マッピングモジュール７３０を含んでもよい。図１０に関連してさらに詳細に議論されるように、ユーザの光学軸および視軸は、概して、整合されない。視軸は、それに沿って人物が見ている軸である一方、光学軸は、その人物の水晶体および瞳孔の中心によって定義され、人物の網膜の中心を通して進み得る。特に、ユーザの視軸は、概して、ユーザの網膜の中心からオフセットされ、それによって、異なる光学軸および視軸をもたらし得る、ユーザの中心窩の場所によって定義される。これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュール６１４は、光学軸／視軸マッピングモジュール７３０を含んでもよい。光学軸／視軸マッピングモジュール７３０は、ユーザの光学軸と視軸との間の差異を補正し、輻輳・開散運動深度推定モジュール７２８およびライトフィールドレンダリングコントローラ６１８等のウェアラブルシステム内の他のコンポーネントに対するユーザの視軸に関する情報を提供してもよい。いくつかの実施例では、モジュール７３０は、光学軸と視軸との間の内向きの（鼻側に、ユーザの鼻に向かって）約５．２°の典型的オフセットを含む、仮定された眼寸法７０４を使用してもよい。換言すると、モジュール７３０は、ユーザの左および右光学軸の方向を推定するために、ユーザの左光学軸を５．２°鼻に向かって（鼻側に）右に、ユーザの右光学軸を５．２°鼻に向かって（鼻側に）左に偏移させ得る。他の実施例では、モジュール７３０は、光学軸（例えば、上記に説明されるモジュール７２２によって示されるように）を視軸にマッピングする際、ユーザ毎較正データ７０６を利用してもよい。付加的実施例として、モジュール７３０は、ユーザの光学軸を鼻側に４．０°～６．５°、４．５°～６．０°、５．０°～５．４°等、またはこれらの値のいずれかによって形成される任意の範囲だけ偏移させてもよい。いくつかの配列では、モジュール７３０は、少なくとも部分的に、その年齢、性別、視覚処方箋、または他の関連特性等の特定のユーザの特性に基づいて、偏移を適用してもよく、および／または少なくとも部分的に、特定のユーザのための較正プロセス（例えば、特定のユーザの光学軸－視軸オフセットを決定するため）に基づいて、偏移を適用してもよい。少なくともいくつかの実施形態では、モジュール７３０はまた、左および右光学軸の原点を偏移させ、ユーザのＣｏＲの代わりに、ユーザのＣｏＰ（モジュール７３２によって決定されるように）に対応させてもよい。
【0116】
随意の目線中心（ＣｏＰ）推定モジュール７３２が、提供されるとき、ユーザの左および右目線中心（ＣｏＰ）の場所を推定してもよい。ＣｏＰは、ウェアラブルシステムのための有用な場所であって、少なくともいくつかの実施形態では、瞳孔の真正面の位置であり得る。少なくともいくつかの実施形態では、ＣｏＰ推定モジュール７３２は、ユーザの瞳孔中心の３Ｄ場所、ユーザの角膜曲率の中心の３Ｄ場所、またはそのような好適なデータ、またはそれらの任意の組み合わせに基づいて、ユーザの左および右目線中心の場所を推定してもよい。実施例として、ユーザのＣｏＰは、角膜曲率の中心の正面の約５．０１ｍｍ（例えば、角膜球面中心から、眼の角膜に向かい、光学軸に沿った方向に５．０１ｍｍ）にあり得、光学または視軸に沿ってユーザの角膜の外面の約２．９７ｍｍ背後にあり得る。ユーザの目線中心は、その瞳孔中心の真正面にあり得る。実施例として、ユーザのＣｏＰは、ユーザの瞳孔から約２．０ｍｍ未満、ユーザから瞳孔の約１．０ｍｍ未満、またはユーザの瞳孔から約０．５ｍｍ未満、またはこれらの値のいずれかの間の任意の範囲であり得る。別の実施例として、目線中心は、眼の前房内の場所に対応し得る。他の実施例として、ＣｏＰは、１．０ｍｍ～２．０ｍｍ、約１．０ｍｍ、０．２５ｍｍ～１．０ｍｍ、０．５ｍｍ～１．０ｍｍ、または０．２５ｍｍ～０．５ｍｍにあり得る。
【0117】
（レンダリングカメラのピンホールの潜在的に望ましい位置およびユーザの眼内の解剖学的位置としての）本明細書に説明される目線中心は、望ましくない視差偏移を低減および／または排除する役割を果たす、位置であり得る。特に、ユーザの眼の光学系は、レンズの正面のピンホールが画面上に投影することによって形成される理論的システムにほぼ概ね匹敵し、ピンホール、レンズ、および画面は、それぞれ、ユーザの瞳孔／虹彩、水晶体、および網膜に概ね対応する。さらに、ユーザの眼から異なる距離における２つの点光源（またはオブジェクト）が、ピンホールの開口部を中心として厳密に回転する（例えば、ピンホールの開口部からのその個別の距離と等しい曲率半径に沿って回転される）とき、殆どまたは全く視差偏移が存在しないことが望ましくあり得る。したがって、ＣｏＰは、眼の瞳孔中心に位置するはずであると考えられるであろう（およびそのようなＣｏＰが、いくつかの実施形態では、使用されてもよい）。しかしながら、ヒトの眼は、水晶体および瞳孔のピンホールに加え、付加的屈折力を網膜に向かって伝搬する光に付与する、角膜を含む。したがって、本段落に説明される理論的システム内のピンホールの解剖学的均等物は、ユーザの眼の角膜の外面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域であり得る。例えば、ピンホールの解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。本明細書で議論される種々の理由から、ＣｏＰをユーザの眼の前房内のそのような位置に設定することが所望され得る。
【0118】
上記に議論されるように、眼追跡モジュール６１４は、左および右眼回転中心（ＣｏＲ）の推定された３Ｄ位置、輻輳・開散運動深度、左および右眼光学軸、ユーザの眼の３Ｄ位置、ユーザの角膜曲率の左および右中心の３Ｄ位置、ユーザの左および右瞳孔中心の３Ｄ位置、ユーザの左および右目線中心の３Ｄ位置、ユーザのＩＰＤ等のデータを、ウェアラブルシステム内のライトフィールドレンダリングコントローラ６１８および位置合わせオブザーバ６２０等の他のコンポーネントに提供してもよい。眼追跡モジュール６１４はまた、ユーザの眼の他の側面と関連付けられたデータを検出および生成する、他のサブモジュールを含んでもよい。実施例として、眼追跡モジュール６１４は、ユーザが瞬目する度に、フラグまたは他のアラートを提供する、瞬目検出モジュールと、ユーザの眼がサッカードする（例えば、焦点を別の点に迅速に偏移させる）度に、フラグまたは他のアラートを提供する、サッカード検出モジュールとを含んでもよい。
【0119】
眼追跡システムを用いた閃光の位置特定の実施例
図８Ａは、眼の角膜８２０、虹彩８２２、水晶体８２４、および瞳孔８２６を示す、眼の断面の概略図である。強膜（眼の白眼）が、虹彩８２２を囲繞する。角膜は、角膜球面８０２によって示される、略球状形状を有することができ、これは、中心８０４を有する。眼光学軸は、瞳孔中心８０６および角膜中心８０４を通して通過する、線（実線８３０によって示される）である。ユーザの視線方向（破線８３２によって示され、時として、視線ベクトルとも称される）は、ユーザの視軸であって、概して、眼光学軸からの小オフセット角度にある。各特定の眼に特有である、オフセットは、眼画像からのユーザ較正によって決定されることができる。ユーザ測定オフセットは、ウェアラブルディスプレイシステムによって記憶され、視線方向を眼光学軸の測定から決定するために使用されることができる。
図８Ａは、眼の角膜８２０、虹彩８２２、水晶体８２４、および瞳孔８２６を示す、眼の断面の概略図である。強膜（眼の白眼）が、虹彩８２２を囲繞する。角膜は、角膜球面８０２によって示される、略球状形状を有することができ、これは、中心８０４を有する。眼光学軸は、瞳孔中心８０６および角膜中心８０４を通して通過する、線（実線８３０によって示される）である。ユーザの視線方向（破線８３２によって示され、時として、視線ベクトルとも称される）は、ユーザの視軸であって、概して、眼光学軸からの小オフセット角度にある。各特定の眼に特有である、オフセットは、眼画像からのユーザ較正によって決定されることができる。ユーザ測定オフセットは、ウェアラブルディスプレイシステムによって記憶され、視線方向を眼光学軸の測定から決定するために使用されることができる。
【0120】
光源３２６ａおよび３２６ｂ（発光ダイオード、ＬＥＤ等）が、眼を照明し、カメラ３２４ａによって結像される、閃光（例えば、ユーザの眼からの鏡面反射）を生成することができる。閃光５５０の概略実施例は、図５に示される。カメラ３２４に対する光源３２６ａおよび３２６ｂの位置は、既知であって、その結果、カメラ３２４によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡し、かつ角膜球面８０２をモデル化し、その中心８０４を決定する際に使用されることができる。図８Ｂは、（本例示的写真に関しては）４つの光源によって生産される、４つの閃光５５０の実施例を示す、眼の写真である。概して、光源３２６ａ、３２６ｂは、ユーザに、注意を逸らし得る、光源が見えないように、赤外線（ＩＲ）光を生産する。
【0121】
いくつかの眼追跡システムでは、眼の単一画像が、瞳孔（例えば、その中心を決定するため）および閃光（例えば、眼画像内のその位置）についての情報を決定するために使用される。下記にさらに説明されるであろうように、単一露光からの瞳孔情報および閃光情報の両方の測定は、例えば、閃光の画像が、瞳孔情報を抽出するために十分な詳細もまた示す画像内では、飽和され得るため、眼光学軸または視線の決定における誤差につながり得る。
【0122】
そのような誤差の実施例は、図９Ａ－９Ｃに図式的に図示される。図９Ａ－９Ｃでは、実視線ベクトルは、瞳孔中心８０６および角膜球面８０２の中心８０４を通して通過する、実線８３０として示され、眼画像から抽出された視線ベクトルは、破線９３０として示される。図９Ａは、瞳孔中心の測定された位置のみに小誤差９００ａが存在するときの、抽出された視線ベクトルにおける誤差の実施例を示す。図９Ｂは、角膜中心の測定された位置のみに小誤差９００ｂが存在するときの、抽出された視線ベクトルにおける誤差の実施例を示す。図９Ｃは、瞳孔中心の測定された位置における小誤差９００ａと、角膜中心の測定された位置における小誤差９００ｂとが存在するときの、抽出された視線ベクトルにおける誤差の実施例を示す。ウェアラブルシステム２００のいくつかの実施形態では、視線決定における誤差は、眼画像内の閃光の決定におけるピクセル毎に約２０分の誤差となり得る一方、本明細書に説明される多重露光時間眼追跡技法のいくつかの実施形態を用いると、誤差は、ピクセルあたり約３分未満まで低減されることができる。
【0123】
異なる露光時間を用いた複数の画像を使用した眼結像
図１０Ａは、閃光が単一の長露光眼画像１００２ａから取得されるときの、閃光位置における不確実性の実施例を示す。本実施例では、眼画像１００２ａのための露光時間は、約７００μｓであった。画像１００２ａ内の閃光のうちの１つは、拡大画像１００６ａに示され、等高線プロット１００８ａは、閃光の強度輪郭を示す。拡大画像１００６ａは、閃光が飽和され、閃光強度のピークが欠けていることを示す。画像１００６ａ内の強度のダイナミックレンジは、より低い強度の瞳孔および虹彩特徴およびより高い強度の閃光の両方を捕捉するために比較的に高くあり得る。閃光が、画像１００６ａ内の多くのピクセルを網羅し、これは、特に、閃光のピーク強度が欠けているとき、閃光の中心を正確に決定することを困難にし得る。閃光１００６ａの半値全幅（ＦＷＨＭ）は、約１５ピクセルである。ウェアラブルシステム２００のいくつかの実施形態に関して、閃光の中心（または重心）を決定する際の各ピクセルの誤差は、視線方向または眼光学軸の方向を決定する際の約２０分の誤差に対応する。異なる露光時間を用いて捕捉された複数の眼画像を使用した眼結像の実施形態は、有利なこととして、閃光位置をより正確に識別することができ、有利なこととして、視線方向または光学軸方向における誤差を数分またはそれ未満まで低減させることができる。
図１０Ａは、閃光が単一の長露光眼画像１００２ａから取得されるときの、閃光位置における不確実性の実施例を示す。本実施例では、眼画像１００２ａのための露光時間は、約７００μｓであった。画像１００２ａ内の閃光のうちの１つは、拡大画像１００６ａに示され、等高線プロット１００８ａは、閃光の強度輪郭を示す。拡大画像１００６ａは、閃光が飽和され、閃光強度のピークが欠けていることを示す。画像１００６ａ内の強度のダイナミックレンジは、より低い強度の瞳孔および虹彩特徴およびより高い強度の閃光の両方を捕捉するために比較的に高くあり得る。閃光が、画像１００６ａ内の多くのピクセルを網羅し、これは、特に、閃光のピーク強度が欠けているとき、閃光の中心を正確に決定することを困難にし得る。閃光１００６ａの半値全幅（ＦＷＨＭ）は、約１５ピクセルである。ウェアラブルシステム２００のいくつかの実施形態に関して、閃光の中心（または重心）を決定する際の各ピクセルの誤差は、視線方向または眼光学軸の方向を決定する際の約２０分の誤差に対応する。異なる露光時間を用いて捕捉された複数の眼画像を使用した眼結像の実施形態は、有利なこととして、閃光位置をより正確に識別することができ、有利なこととして、視線方向または光学軸方向における誤差を数分またはそれ未満まで低減させることができる。
【0124】
図１０Ｂは、異なる露光時間において撮影される複数の画像を使用した技法が使用されるときの、閃光位置の不確実性の実施例を示す。本実施例では、２つの順次画像、すなわち、第１のより長い露光の画像１００２ｂと、第２のより短い露光の画像１００４とが、眼追跡カメラによって捕捉される。２つの画像１００２ｂ、１００４のための総捕捉時間は、約１．５ｍｓである。画像１００２ｂおよび１００４に適用されるような標識「第１」および「第２」は、画像が撮影された時間的順序を示すことを意図するものではなく、単に、２つの画像のそれぞれを指すための便宜的方法としてのものである。故に、第１の画像１００２ｂは、第２の画像１００４の前、第２の画像１００４の後に撮影されることができる、または２つの露光は、少なくとも部分的に重複してもよい。
【0125】
より長い露光の画像１００２ｂは、図１０Ａに示される画像１００２ａに類似する、露光時間を有し得、これは、本実施例では、約７００μｓである。第１のより長い露光の画像１００２ｂは、瞳孔（または虹彩）特徴を決定するために使用されることができる。例えば、より長い露光の画像１００２ｂは、瞳孔中心または回転中心（ＣｏＲ）を決定する、バイオメトリックセキュリティ用途のために虹彩特徴を抽出する、眼瞼形状または眼瞼による虹彩または瞳孔のオクルージョンを決定する、瞳孔サイズを測定する、レンダリングカメラパラメータを決定する等のために分析されることができる。しかしながら、図１０Ａを参照して説明されるように、閃光は、そのようなより長い露光の画像では、飽和され得、これは、閃光位置における比較的に大誤差につながり得る。
【0126】
いくつかの実装では、より長い露光の画像内の瞳孔コントラストは、より良好な変調伝達関数（ＭＴＦ）、例えば、回折限界ＭＴＦにより近いＭＴＦを有する、眼追跡カメラを使用することによって、増加されることができる。例えば、結像センサのためのより良好なＭＴＦまたはカメラの結像レンズのためのより良好なＭＴＦが、ピクセルコントラストを改良するために選択されることができる。そのようなＭＴＦを有する眼追跡カメラとして実装される、または別様に本明細書に説明される眼追跡システムのうちの１つ以上のものにおいて採用され得る、例示的結像感知デバイスおよび技法は、２０１８年１２月１３日に出願され、「ＧＬＯＢＡＬ ＳＨＵＴＴＥＲ ＰＩＸＥＬ ＣＩＲＣＵＩＴ ＡＮＤ
ＭＥＴＨＯＤ ＦＯＲ ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＡＰＰＬＩＣＡＴＩＯＮＳ」と題された、米国特許出願公開第２０１９／０１８１１７１号として公開された米国特許出願第１６／２１９，８２９号、および２０１８年１２月１３日に出願され、「ＤＩＦＦＥＲＥＮＴＩＡＬ ＰＩＸＥＬ ＣＩＲＣＵＩＴ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＡＰＰＬＩＣＡＴＩＯＮＳ」と題された、米国特許出願公開第２０１９／０１８１１６９号として公開された米国特許出願第１６／２１９，８４７号（その両方とも、参照することによってその全体として本明細書に組み込まれる）に説明される。種々の実施形態では、眼追跡カメラ３２４は、５～６ピクセル、１～４ピクセル等の瞳孔コントラスト（例えば、瞳孔と虹彩との間の遷移において測定される）を伴う、画像を生産することができる。眼追跡カメラ３２４として実装される、または、いくつかの実施形態において、別様に本明細書に説明される眼追跡システムのうちの１つ以上のものにおいて採用され得る、付加的例示的結像感知デバイスおよび技法は、２０１６年５月１９日に出願され、「ＳＥＭＩ－ＧＬＯＶＡＬ ＳＨＵＴＴＥＲ ＩＭＡＧＥＲ」と題された、米国特許出願公開第２０１６／０３４４９５７号として公開された米国特許出願第１５／１５９，４９１号（参照することによってその全体として本明細書に組み込まれる）に説明される。
ＭＥＴＨＯＤ ＦＯＲ ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＡＰＰＬＩＣＡＴＩＯＮＳ」と題された、米国特許出願公開第２０１９／０１８１１７１号として公開された米国特許出願第１６／２１９，８２９号、および２０１８年１２月１３日に出願され、「ＤＩＦＦＥＲＥＮＴＩＡＬ ＰＩＸＥＬ ＣＩＲＣＵＩＴ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＡＰＰＬＩＣＡＴＩＯＮＳ」と題された、米国特許出願公開第２０１９／０１８１１６９号として公開された米国特許出願第１６／２１９，８４７号（その両方とも、参照することによってその全体として本明細書に組み込まれる）に説明される。種々の実施形態では、眼追跡カメラ３２４は、５～６ピクセル、１～４ピクセル等の瞳孔コントラスト（例えば、瞳孔と虹彩との間の遷移において測定される）を伴う、画像を生産することができる。眼追跡カメラ３２４として実装される、または、いくつかの実施形態において、別様に本明細書に説明される眼追跡システムのうちの１つ以上のものにおいて採用され得る、付加的例示的結像感知デバイスおよび技法は、２０１６年５月１９日に出願され、「ＳＥＭＩ－ＧＬＯＶＡＬ ＳＨＵＴＴＥＲ ＩＭＡＧＥＲ」と題された、米国特許出願公開第２０１６／０３４４９５７号として公開された米国特許出願第１５／１５９，４９１号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0127】
第２のより短い露光の画像１００４のための露光時間は、実質的に、第１の画像１００２ｂの露光時間未満であって、閃光５５０を飽和させる（例えば、画像内の閃光ピークを欠けさせる）尤度を低減させることができる。上記に述べられたように、第２のより短い露光の画像１００４は、時として、本明細書では、閃光位置を正確に識別するために使用され得るため、閃光画像とも称される。本実施例では、第２の画像１００４の露光時間は、４０μｓ未満であった。閃光は、第２の画像１００４内で知覚可能であるが、瞳孔（または虹彩）特徴は、容易に知覚可能ではなく、これは、より長い露光第１の画像１００２ｂが、瞳孔中心抽出またはＣｏＲ決定のために使用され得る理由であることに留意されたい。画像１００６ｂは、第２の画像１００４内の閃光のうちの１つの拡大図である。画像１００６ｂ内の閃光のより小さいサイズ（画像１００６ａ内のサイズと比較して）は、容易に明白であって、これは、閃光が、画像１００６ｂ内で飽和されていないことを実証する。等高線プロット１００８ｂは、閃光に関するはるかに小さい輪郭パターン（等高線プロット１００８ａに示される輪郭と比較して）を示す。本実施例では、閃光の中心の場所は、サブピクセル正確度、例えば、ピクセルの約１／１０まで決定されることができる（本実施例では、視線または光学軸方向におけるわずか約２分の誤差に対応する）。いくつかの実装では、ピクセル中心の場所は、例えば、２次元（２Ｄ）ガウス（または他の釣鐘形状の曲線）を閃光ピクセル値に適合させることによって、第２のより短い露光の画像１００４から非常に正確に決定されることができる。いくつかの実施形態では、閃光の質量中心の場所が、閃光の中心の場所のものに類似するキャパシティにおいて決定され、依拠され得る。閃光場所を決定するために使用される閃光画像の露光時間は、閃光のピークを結像するためにのみ十分な長さであるように選択されることができる。
【0128】
眼結像技法は、したがって、より長い露光の画像（瞳孔性質の抽出のために使用され得る）およびより短い露光の閃光画像（閃光位置の抽出のために使用され得る）の捕捉を利用し得る。上記に述べられたように、より長いおよびより短い画像は、任意の順序において撮影されることができる、または露光時間は、少なくとも部分的に重複することができる。第１の画像のための露光時間は、２００μｓ～１，２００μｓの範囲内であってもよい一方、第２の画像のための露光時間は、５μｓ～１００μｓの範囲内であってもよい。第２の画像のための露光時間に対する第１の画像のための露光時間の比は、５～５０、１０～２０の範囲、またはある他の範囲内であることができる。より長いおよびより短い露光の画像が捕捉され得る、フレームレートは、図１１を参照して説明される。
【0129】
閃光位置を第２のより短い露光の画像から決定することの潜在的利点は、閃光が比較的に小数のピクセルを網羅し（例えば、画像１００６ｂと画像１００６ａを比較して）、閃光中心を見出すことが、算出上迅速かつ効率的に実施され得ることである。例えば、閃光に関する検索面積は、いくつかの実施形態では、わずか約２～１０ピクセルの直径を有し得る。さらに、閃光がより小数のピクセルを網羅するため、画像の比較的に小部分のみが、分析または（例えば、バッファ内に）記憶され得、これは、実質的メモリ節約を提供することができる。加えて、閃光画像のダイナミックレンジは、周囲の環境光源（例えば、室内灯、空等）の画像が、短露光時間に起因して、知覚可能ではないほど十分に低くあり得、これは、有利なこととして、そのような周囲光源が、閃光に干渉しない、またはそのように間違えられないであろうことを意味する。
【0130】
さらに、比較的に短露光時間を使用することはまた、サッカードまたは別様に高速移動に従事する眼の画像内のモーションブラーの存在を低減させる役割を果たし得る。例示的眼追跡およびサッカード検出システムおよび技法およびそれと関連付けられる露光時間切替および調節スキームは、２０１８年４月１９日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ
ＭＥＴＨＯＤＳ ＦＯＲ ＡＤＪＵＳＴＩＮＧ ＯＰＥＲＡＴＩＯＮＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ Ａ ＨＥＡＤ－ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＵＳＥＲ ＳＡＣＣＡＤＥＳ」と題された、米国仮特許出願第６２／６６０，１８０号、および２０１９年４月１９日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＯＰＥＲＡＴＩＮＧ Ａ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＵＳＥＲ ＰＥＲＣＥＰＴＩＢＩＬＩＴＹ」と題された、米国特許出願公開第２０１９／０３２４２７６号として公開された米国特許出願第１６／３８９，５２９号（参照することによってその全体として本明細書に組み込まれる）に説明される。いくつかの実装では、そのような例示的システム、技法、およびスキームのうちの１つ以上のものは、本明細書に説明されるシステムおよび技法のうちの１つ以上のものとして実装される、または別様に活用されてもよい（例えば、眼追跡モジュール６１４によって）。より短い時間の露光とより長い時間の露光との間の切替の付加的詳細は、図１１を参照して下記に説明される。
ＭＥＴＨＯＤＳ ＦＯＲ ＡＤＪＵＳＴＩＮＧ ＯＰＥＲＡＴＩＯＮＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ Ａ ＨＥＡＤ－ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＵＳＥＲ ＳＡＣＣＡＤＥＳ」と題された、米国仮特許出願第６２／６６０，１８０号、および２０１９年４月１９日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＯＰＥＲＡＴＩＮＧ Ａ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＵＳＥＲ ＰＥＲＣＥＰＴＩＢＩＬＩＴＹ」と題された、米国特許出願公開第２０１９／０３２４２７６号として公開された米国特許出願第１６／３８９，５２９号（参照することによってその全体として本明細書に組み込まれる）に説明される。いくつかの実装では、そのような例示的システム、技法、およびスキームのうちの１つ以上のものは、本明細書に説明されるシステムおよび技法のうちの１つ以上のものとして実装される、または別様に活用されてもよい（例えば、眼追跡モジュール６１４によって）。より短い時間の露光とより長い時間の露光との間の切替の付加的詳細は、図１１を参照して下記に説明される。
【0131】
上記に説明されるように、いくつかの実装では、閃光画像の少なくとも一部は、バッファ内に一時的に記憶され、閃光画像のその部分は、その部分内に位置し得る、１つ以上の閃光の位置を識別するために分析される。例えば、部分は、比較的に小数のピクセル、行、または列の閃光画像を含み得る。ある場合には、部分は、閃光画像のｎ×ｍ部分を含み得、ｎおよびｍは、約１～２０の範囲内である。例えば、閃光画像の５×５部分が、バッファ内に記憶されてもよい。
【0132】
閃光の位置が、識別された後、バッファは、クリアされてもよい。閃光画像の付加的部分が、次いで、閃光画像全体が、処理されるか、または全て（一般に、４つ）の閃光が、識別されるかのいずれかとなるまで、分析のためにバッファ内に記憶されてもよい。ある場合には、画像の閃光の１つを上回るものが、処理のために同時にバッファ内にある。ある場合には、画像の閃光の大部分が、処理のために同時にバッファ内にある。ある場合には、画像の全ての閃光が、処理のために同時にバッファ内にある。閃光位置（例えば、デカルト座標）が、眼追跡プロセスにおける後続アクションのために使用されてもよく、閃光位置が、記憶された、または好適なプロセッサに通信された後、閃光画像は、メモリ（バッファメモリまたは他の揮発性または不揮発性記憶装置）から削除されてもよい。そのようなバッファは、有利なこととして、閃光位置を識別するための閃光画像の高速処理を可能にする、または閃光画像が使用後に削除され得るため、眼追跡プロセスの記憶の必要性を低減させ得る。
【0133】
いくつかの実装では、より短い露光の閃光画像は、ウェアラブルシステム２００、４００、または６００内のハードウェアプロセッサによって処理される。例えば、閃光画像は、図６を参照して説明される、頭部搭載型ユニット６０２のＣＰＵ６１２によって処理されてもよい。ＣＰＵ６１２は、バッファ６１５を含み、またはそれと通信してもよく、これは、処理する（例えば、閃光位置を識別する）ための閃光画像の少なくとも一部を一時的に記憶するために使用され得る。ＣＰＵ６１２は、いくつかの実装では、識別された閃光の位置を、より長い露光の画像を分析する、別のプロセッサ（例えば、図６を参照して説明される、ＣＰＵ６１６またはＧＰＵ６２０）に出力してもよい。本他のプロセッサは、いくつかの実装では、頭部搭載型ディスプレイユニットから遠隔にあってもよい。他のプロセッサは、例えば、ベルトパック内にあってもよい。故に、いくつかの実装では、ＣＰＵ６１２等のハードウェアプロセッサは、識別された閃光の位置（例えば、閃光ピークのデカルト座標）を、可能性として、識別された閃光の強度（例えば、閃光のピーク強度）を示すデータとともに、別のプロセッサ（例えば、図６を参照して説明される、ＣＰＵ６１６またはＧＰＵ６２０）に出力してもよい。いくつかの実施形態では、ＣＰＵ６１２およびバッファ６１５は、眼追跡カメラ３２４内にある、またはそれと関連付けられる、ハードウェアプロセッサ内にある。そのような配列は、より短い露光の閃光画像が、カメラ回路網によって処理されることができ、（頭部搭載型ユニット６０２上または外のいずれかにある）別の処理ユニットに通信される必要がないため、増加された効率を提供することができる。カメラ３２４が、単に、閃光位置（例えば、閃光ピークのデカルト座標）を別の処理ユニット（例えば、ＣＰＵ６１２、６１６またはＧＰＵ６２０等のより長い露光の画像を分析する、ハードウェアプロセッサ）に出力してもよい。故に、いくつかの実施形態では、カメラ３２４内にある、またはそれと関連付けられる、ハードウェアプロセッサが、識別された閃光の位置（例えば、閃光ピークのデカルト座標）を、可能性として、識別された閃光のそれぞれの強度（例えば、閃光のピーク強度）を示すデータとともに、別のプロセッサ（例えば、図６を参照して説明される、ＣＰＵ６１２、６１６またはＧＰＵ６２０）に出力してもよい。いくつかの実装では、より短い露光の閃光画像は、ハードウェアプロセッサ（例えば、ＣＰＵ６１２）によって処理され、本ハードウェアプロセッサは、潜在的に、閃光画像であり得る、識別された閃光候補の位置（例えば、閃光ピークのデカルト座標）を、可能性として、識別された閃光候補の強度（例えば、閃光のピーク強度）を示すデータとともに、別のプロセッサに出力してもよい。本他のプロセッサは、識別された閃光候補のサブセットを閃光として識別してもよい。本他のプロセッサはまた、識別された閃光候補のサブセット（例えば、他のプロセッサによって閃光と見なされる識別された閃光候補のサブセット）に基づいて、１つ以上の動作（例えば、視線方向を決定するための１つ以上の動作）を実施してもよい。故に、いくつかの実装では、より短い露光の閃光画像は、ハードウェアプロセッサ（例えば、ＣＰＵ６１２、カメラ３２４内にある、またはそれと関連付けられる、ハードウェアプロセッサ等）によって処理され、本ハードウェアプロセッサは、識別された閃光候補の位置（例えば、閃光ピークのデカルト座標）を、可能性として、識別された閃光候補の強度（例えば、閃光のピーク強度）を示すデータとともに、別のプロセッサ（例えば、図６を参照して説明される、ＣＰＵ６１６またはＧＰＵ６２０）に出力してもよく、本他のプロセッサ（例えば、図６を参照して説明される、ＣＰＵ６１６またはＧＰＵ６２０）は、識別された閃光候補のサブセット（例えば、他のプロセッサによって閃光と見なされる識別された閃光候補のサブセット）に基づいて、１つ以上の動作（例えば、視線方向を決定するための１つ以上の動作）を実施してもよい。いくつかの実装では、より短い露光の閃光画像を処理する、ハードウェアプロセッサはさらに、異なる識別された閃光候補の強度（例えば、閃光のピーク強度）を示すデータを他のプロセッサ（例えば、図６を参照して説明される、ＣＰＵ６１６またはＧＰＵ６２０）に出力してもよく、いくつかの実施例では、本他のプロセッサは、識別された閃光候補の位置および識別された閃光候補の強度の一方または両方に基づいて、識別された閃光候補のサブセットを選択してもよく、可能性として、識別された閃光候補の選択されたサブセットに基づいて、１つ以上の動作（例えば、視線方向を決定するための１つ以上の動作）をさらに実施してもよい。例えば、これらの実装のうちの少なくともいくつかでは、他のプロセッサ（例えば、図６を参照して説明される、ＣＰＵ６１６またはＧＰＵ６２０）は、少なくとも部分的に、識別された閃光候補の選択されたサブセットおよび該眼の瞳孔中心（例えば、１つ以上のより長い露光の画像に基づいて、他のプロセッサによって決定されるように）に基づいて、眼の視線方向を決定してもよい。いくつかの実装では、他のプロセッサによって選択された識別された閃光候補のサブセットは、システムによって採用される赤外線光源毎に、１つの閃光候補のみを含んでもよい一方、識別され、他のプロセッサに通信される、閃光候補の量は、システムによって採用される、赤外線光源の量を超えてもよい。他の構成およびアプローチも、可能性として考えられる。
【0134】
種々の実装では、より長い露光の画像は、ＣＰＵ６１２によって処理されてもよい、または、例えば、ＣＰＵ６１６またはＧＰＵ６２１によって処理するために、非頭部搭載型ユニット６０４に通信されてもよい。記載されるように、いくつかの実装では、ＣＰＵ６１６またはＧＰＵ６２１は、バッファ６１５によって記憶された閃光画像を分析するようにプログラムされる、別のプロセッサ（例えば、ＣＰＵ６１２）からのより短い露光の画像から識別された閃光位置を取得してもよい。
【0135】
多重露光時間眼結像のためのフレームレート
上記に説明されるように、異なる露光時間を用いて複数の眼画像を捕捉することは、有利なこととして、閃光中心の正確な決定（例えば、より短い露光の画像から）および瞳孔中心の正確な決定（例えば、より長い露光の画像から）を提供することができる。閃光中心の位置は、角膜の姿勢を決定するために使用されることができる。
上記に説明されるように、異なる露光時間を用いて複数の眼画像を捕捉することは、有利なこととして、閃光中心の正確な決定（例えば、より短い露光の画像から）および瞳孔中心の正確な決定（例えば、より長い露光の画像から）を提供することができる。閃光中心の位置は、角膜の姿勢を決定するために使用されることができる。
【0136】
ユーザの眼が、移動するにつれて、閃光も、対応して移動するであろう。眼移動を追跡するために、複数の短閃光露光が、閃光の運動を捕捉するために撮影されることができる。故に、眼追跡システムの実施形態は、例えば、約１００フレーム／秒（ｆｐｓ）～５００ｆｐｓの範囲内の比較的に高フレームレート（例えば、より長い露光の画像のフレームレートと比較して）において、閃光露光を捕捉することができる。したがって、連続短閃光露光間の時間周期は、種々の実施形態では、約１～２ｍｓから最大約５～１０ｍｓの範囲内であってもよい。
【0137】
瞳孔中心決定のためのより長い露光の画像は、閃光画像のためのフレームレートより低いフレームレートにおいて捕捉されてもよい。例えば、より長い露光の画像のためのフレームレートは、種々の実施形態では、約１０ｆｐｓ～６０ｆｐｓの範囲内であることができる。これは、要件ではなく、いくつかの実施形態では、より短いおよびより長い露光の画像の両方のフレームレートは、同一である。
【0138】
図１１は、より長い露光の画像は、５０ｆｐｓ（例えば、連続画像間が２０ｍｓ）のフレームレートにおいて撮影され、閃光画像が、２００ｆｐｓ（例えば、連続画像間が５ｍｓ）のフレームレートにおいて撮影される、組み合わせられた動作モードの実施例を示す。組み合わせられた動作モードは、図６および７を参照して説明される、眼追跡モジュール６１４によって実施されてもよい。図１１における水平軸は、時間（ｍｓ単位）である。図１１の上の行は、（例えば、ＩＲ光源による）眼の照明と、例えば、眼追跡カメラ３２４による、対応する画像の捕捉とを図式的に図示する。閃光画像１００４は、先鋭の三角形として図示される一方、より長い露光の画像は、より広い平坦な上部の台形として図示される。本実施例では、閃光画像は、後続の長露光の画像の前に捕捉されるが、順序は、他の実装では、逆転されることができる。本実施例では、閃光画像１００４のためのフレームレートは、より長い露光の画像１００２のためのフレームレートより高い（例えば、本実施例では、４倍高い）ため、図１１は、次のより長い露光の画像が撮影される前（例えば、最初のより長い露光の画像が捕捉されてから２０ｍｓ後）に捕捉される、４つの閃光画像（約５ｍｓずつ分離される）を示す。
【0139】
他の実装では、閃光画像フレームレートまたはより長い露光の画像フレームレートは、図１１に図示されるものと異なり得る。例えば、閃光画像フレームレートは、約１００ｆｐｓ～約１０００ｆｐｓの範囲内であることができ、より長い露光の画像フレームレートは、約１０ｆｐｓ～約１００ｆｐｓの範囲内であることができる。種々の実施形態では、閃光画像フレームレート対より長い露光フレームレートの比は、約１～２０、４～１０の範囲、またはある他の範囲内であることができる。
【0140】
図１１の中央行は、閃光およびより長い露光の画像データの読取（読取は、画像が捕捉された後に生じる）を図式的に図示し、図１１の下の行は、眼追跡システムの動作（例えば、閃光画像を使用した閃光優先、またはより長い露光の画像を使用した瞳孔優先）モードを示す。したがって、本実施例では、閃光位置は、短露光の閃光画像から５ｍｓ毎に決定され、瞳孔中心（またはＣｏＲ）は、より長い露光の画像から２０ｍｓ毎に決定される。より長い露光の画像の露光時間は、瞳孔および虹彩特徴を捕捉するために十分に長く、かつ十分なダイナミックレンジを有するが、眼が、露光の間、実質的に移動しないように十分な短さであり得る（例えば、画像内のぼけの尤度を低減させるために）。上記に述べられたように、より長い露光の画像の露光時間は、いくつかの実施形態では、約７００μｓであることができ、閃光画像の露光時間は、約４０μｓ未満であることができる。
【0141】
いくつかの実施形態では、眼追跡モジュール６１４は、例えば、より短い露光時間とより長い露光時間との間の露光時間を動的に調節してもよい。例えば、露光時間は、ディスプレイシステムによって、決定されている情報のタイプに基づいて、（例えば、ある範囲の露光時間から）選択されてもよい。実施例として、眼追跡モジュール６１４は、サッカードの発生を決定してもよい。しかしながら、他の実施例では、ウェアラブルディスプレイシステム２００は、１つ以上の画像を取得し、ユーザの眼と関連付けられる視線を決定してもよい。例えば、ディスプレイシステムは、図８Ａを参照して説明される、ユーザの眼の幾何学形状を利用して、ユーザの中心窩または眼光学軸から延在するベクトルを決定してもよい。ディスプレイシステムは、したがって、より短い露光時間を選択し、モーションブラーの存在を低減させてもよい。加えて、ディスプレイシステムは、ユーザの眼の画像に基づいて、バイオメトリック認証プロセスを実施してもよい。例えば、ディスプレイシステムは、ユーザの眼の既知の眼特徴と画像内で識別されたユーザの眼特徴を比較してもよい。したがって、ディスプレイシステムは、同様に、より短い露光時間を選択し、モーションブラーの存在を低減させてもよい。
【0142】
露光時間を動的に調節するとき、眼追跡モジュール６１４は、第１の露光時間（例えば、長露光）における画像の取得と、第２の露光時間（例えば、短露光）における画像の取得との間で交互してもよい。例えば、眼追跡モジュールは、第１の露光時間において、画像を取得し、ユーザがサッカードを実施しているかどうかを決定し、次いで、続いて、第２の露光時間において、画像を取得してもよい。加えて、ウェアラブルディスプレイシステム２００の特定の動作条件は、画像が第１または第２の露光時間において取得されるべきかどうかの知識を与え得る。
【0143】
いくつかの実施形態では、眼追跡モジュール６１４は、露光時間のうちの１つ以上のものを動的に調節してもよい。例えば、眼追跡モジュールは、サッカード検出または閃光位置のために使用される、露光時間を増加または減少させてもよい。本実施例では、眼追跡モジュールは、モーションブラーと関連付けられる測定値が、高すぎる、または低すぎることを決定してもよい。すなわち、測定値は、露光時間に起因して、サッカードを正確に検出していない、または過剰に検出している場合がある。例えば、眼追跡モジュールは、モーションブラー検出および連続的に捕捉された画像フレーム間の比較の両方を使用して、サッカード検出を実施するように構成されてもよい。画像フレーム間の比較が、サッカードの発生のより正確な決定を提供すると仮定すると、複数の画像を比較することによって提供される結果は、基準として使用されてもよく、モーションブラー検出は、所望の（例えば、高）レベルの一致がサッカード検出のための２つのスキームの結果間で到達されるまで調節されてもよい。画像フレーム比較が、サッカードが過小検出されていることを示す場合、眼追跡モジュールは、露光時間を増加させるように構成されてもよい。逆に言えば、サッカードが、誤って検出されている場合、露光時間は、減少されてもよい。
【0144】
眼追跡モジュールは、加えて、または代替として、瞳孔または虹彩性質（例えば、瞳孔中心、ＣｏＲ等）を決定するために使用される、より長い露光の画像のための露光時間を動的に調節してもよい。例えば、より長い露光の画像が、虹彩詳細が飽和されるようなハイダイナミックレンジを有する場合、眼追跡モジュールは、露光時間を減少させてもよい。
【0145】
いくつかの実施形態では、バイオメトリック認証プロセスを実施するとき、またはユーザの視線を決定するとき、眼追跡モジュールはまた、露光時間を調節してもよい。例えば、ディスプレイシステムは、露光時間を動的に低減させ、モーションブラーを低減させてもよい、または眼追跡モジュールは、取得される画像が適切に露光されていない場合（例えば、画像が暗すぎる場合）、露光時間を増加させてもよい。
【0146】
いくつかの実施形態では、眼追跡モジュールは、ユーザの眼から取得される画像毎に、同一カメラ（例えば、カメラ３２４）を利用してもよい。すなわち、眼追跡モジュールは、特定のユーザの眼に向いているカメラを利用してもよい。ユーザが、サッカードを実施するとき、両眼は、対応する様式（例えば、類似速度および振幅）において移動し得る。したがって、眼追跡モジュールは、同一の眼の画像を利用して、サッカードが実施されているかどうかを確実に決定し得る。随意に、眼追跡モジュールは、ユーザの各眼に向いているカメラを利用してもよい。そのような実施形態では、眼追跡モジュールは、随意に、同一カメラを利用して、同一の眼の画像を取得してもよい、または利用するためのカメラを選択してもよい。例えば、眼追跡モジュールは、現在利用されていない、カメラを選択してもよい。眼追跡モジュールは、サッカードの発生を決定する以外の目的のために、ユーザの眼の画像を取得してもよい。実施例として、眼追跡モジュールは、視線検出等を実施してもよい（例えば、眼追跡モジュールは、ユーザが固視している、３次元点、将来的視線方向の予測（例えば、中心窩化レンダリングのために）、バイオメトリック認証（例えば、眼追跡モジュールは、ユーザの眼が既知の眼と合致するどうかを決定してもよい）を決定してもよい）。いくつかの実施形態では、眼追跡モジュールが、画像が撮影されるべきであることのコマンドを提供するとき、カメラのうちの１つは、使用中である場合がある。したがって、眼追跡モジュールは、サッカード検出、視線方向決定、閃光識別、バイオメトリック認証等のために使用されるための画像を取得するために、使用中ではないカメラを選択してもよい。
【0147】
随意に、眼追跡モジュールは、両方のカメラをトリガし、画像を同時に取得してもよい。例えば、各カメラは、画像を個別の露光時間において取得してもよい。このように、眼追跡モジュールは、第１の眼の第１の画像を取得し、モーションブラーの測定値、閃光位置等を決定する一方、第２の眼の第２の画像を取得し、他の情報（例えば、視線検出、瞳孔中心決定、認証等のために使用されるための情報）を決定してもよい。随意に、両方の画像が、ユーザがサッカードを実施しているかどうかを決定するために利用されてもよい。例えば、眼追跡モジュールは、第２の画像に示されるような同一特徴と比較して、第１の画像に示される特徴（例えば、ユーザの眼、閃光等）の変形を決定してもよい。随意に、眼追跡モジュールは、各カメラに、例えば、相互から位相がずれるように、２つの露光値間で交互させてもよい。例えば、第１のカメラは、第１の露光値（例えば、より短い露光時間）において、画像を取得してもよく、同時に、第２のカメラは、第２の露光値（例えば、より長い露光時間）において、画像を取得してもよい。続いて、第１のカメラは、第２の露光値において、画像を取得してもよく、第２のカメラは、第１の露光値において、画像を取得してもよい。
【0148】
閃光運動検出器
図１２は、比較的に高フレームレートにおいて捕捉される短露光の閃光画像の使用が、眼が移動するにつれて、ロバストな閃光検出および追跡を提供し得る様子の実施例を図式的に図示する。フレーム＃１では、４つの例示的閃光が、示される。フレーム＃２は、フレーム＃１後間もなく撮影された、閃光画像であって（例えば、２００ｆｐｓレートにおいて、約５ｍｓ後）、初期閃光位置（＃１として標識される）が＃２によって標識された位置に移動した程度を図示する。同様に、フレーム＃３は、フレーム＃２後間もなく撮影された、別の閃光画像であって（例えば、２００ｆｐｓレートにおいて、約５ｍｓ後）、初期閃光位置が＃３によって標識された位置に移動し続けた程度を図示する。フレーム＃２では、＃２によって標識された位置における閃光のみが、画像内に現れ、＃１によって標識された位置における閃光は、参照のために示され、フレーム＃３に関しても同様であることに留意されたい。故に、図１２は、閃光の例示的コンステレーションまたはパターンがフレーム毎に移動した程度を図式的に示す。
図１２は、比較的に高フレームレートにおいて捕捉される短露光の閃光画像の使用が、眼が移動するにつれて、ロバストな閃光検出および追跡を提供し得る様子の実施例を図式的に図示する。フレーム＃１では、４つの例示的閃光が、示される。フレーム＃２は、フレーム＃１後間もなく撮影された、閃光画像であって（例えば、２００ｆｐｓレートにおいて、約５ｍｓ後）、初期閃光位置（＃１として標識される）が＃２によって標識された位置に移動した程度を図示する。同様に、フレーム＃３は、フレーム＃２後間もなく撮影された、別の閃光画像であって（例えば、２００ｆｐｓレートにおいて、約５ｍｓ後）、初期閃光位置が＃３によって標識された位置に移動し続けた程度を図示する。フレーム＃２では、＃２によって標識された位置における閃光のみが、画像内に現れ、＃１によって標識された位置における閃光は、参照のために示され、フレーム＃３に関しても同様であることに留意されたい。故に、図１２は、閃光の例示的コンステレーションまたはパターンがフレーム毎に移動した程度を図式的に示す。
【0149】
閃光画像は、比較的に高フレームレートにおいて捕捉され得るため、より早期のフレームにおける閃光位置の決定は、比較的に高フレームレートにおいて撮影されるとき、閃光がフレーム間で著しく移動しないため、後続フレーム内の閃光の予期される位置を決定することを補助することができる（例えば、図１２に描写される閃光移動参照）。そのような閃光結像は、眼追跡システムが、フレーム毎検索領域を前の閃光位置の周囲の小数のピクセル（例えば、２～１０のピクセル）に限定することを可能にし、これは、有利なこととして、処理速度および効率を改良し得る。例えば、上記に説明されるように、閃光画像の一部のみ（例えば、ピクセルの５×５グループ）が、関連付けられるＣＰＵ６１２によって処理するために、一時的メモリバッファ６１５内に記憶されてもよい。画像部分内に存在する、閃光は、迅速かつ効率的に識別され、その位置が、決定され得る。閃光位置は、（例えば、より長い露光の画像を用いた）後続処理のために使用され、閃光画像は、メモリから削除されてもよい。
【0150】
そのような閃光結像のさらなる利点は、眼追跡システムがフレーム毎の閃光のわずかな移動に追従し得るため、閃光のそれぞれの標識化が、誤差をもたらす（例えば、左上閃光を右上閃光または左下閃光として誤標識化する）可能性が低いことであり得る。例えば、図１２に描写される４つの閃光の「コンステレーション」は、眼が移動するにつれて、フレーム毎に実質的に共通速度において移動する傾向にあり得る。共通速度は、コンステレーションの代表速度または平均速度を表し得る。したがって、本システムは、全ての識別された閃光がほぼ同一速度で移動していることをチェックすることができる。「コンステレーション」内の閃光のうちの１つ（以上のもの）が、実質的に異なる速度（例えば、共通速度から閾値量を上回って異なる）で移動する場合、その閃光は、誤識別されている場合がある、または閃光は、角膜の非球状部分から反射されている場合がある。
【0151】
したがって、フレーム毎の閃光位置のわずかな変化は、例えば、全４つの閃光が匹敵する位置の変化を呈する場合、比較的に高信頼度を伴って依拠され得るということになる。したがって、いくつかの実装では、眼追跡モジュール６１４は、わずか２つの画像フレームに基づいて、比較的に高信頼度を伴って、サッカードおよびマイクロサッカード移動を検出することが可能であり得る。例えば、これらの実装では、眼追跡モジュールは、あるフレームから次のフレームの閃光位置の大域的変化が閾値を超えるかどうかを決定し、そのようなグローバル変化が実際に閾値を超えないことの決定に応答して、ユーザの眼がサッカード（またはマイクロサッカード）移動に従事していることを決定するように構成されてもよい。これは、有利なこととして、例えば、２０１８年４月１９日に出願された、上記に組み込まれる米国特許出願第６２／６６０，１８０号および米国特許出願公開第Ｎｏ．２０１９／０３２４２７６号に説明されるように、深度面切替を実施するために利用されてもよい。
【0152】
概して、図８Ａに類似する、図１３Ａは、閃光のうちの１つが、角膜の非球状部分から反射される状況を図示する。眼追跡システムが、角膜球面１４０２の角膜モデル化中心を光源３２６ａおよび３２６ｂからの閃光から決定し得る。例えば、光源３２６ａ、３２６ｂからの反射は、両方の破線１３０２が共通点において衝合する、角膜モデル化中心８０４に戻るように投影され得る（破線１３０２として示される）。しかしながら、システムが、光源３２６ｃからの閃光を中心に向かって投影する場合、破線１３０４は、角膜モデル化中心８０４において衝合しない。眼追跡システムが、光源３２６ｃからの閃光を使用して、角膜球面８０２の中心８０４を見出すように試みることになる場合、誤差が、中心位置に導入されるであろう（線１３０４が中心８０４と交差しないため）。故に、閃光画像内の閃光位置を追跡することによって、本システムは、閃光が角膜の非球状領域から反射された可能性が高い、状況を識別し（例えば、閃光速度がコンステレーションの共通速度と異なるため）、閃光を角膜球面モデル化計算から除去する（またはその閃光に割り当てられる加重を低減させる）ことができる。非球状角膜領域内の閃光の閃光速度は、多くの場合、球状領域に関する閃光速度よりはるかに高速であって、本速度の増加は、少なくとも部分的に、閃光が非球状角膜領域から生じるときを識別するために使用されることができる。
【0153】
ユーザが、瞬目すると、ユーザの眼瞼は、少なくとも部分的に、光源がそこから反射されるであろう、角膜の一部を被覆し得る。本領域から生じる閃光は、より低い強度を有する、または実質的に非球状である、画像形状を有し得る（その位置を決定する際に誤差を導入し得る）。図１３Ｂは、部分的オクルージョンが存在する、閃光５５０ａの実施例を示す、画像である。閃光結像はまた、画像内の閃光の強度を監視することによって、閃光が少なくとも部分的にオクルードされた状態になるときを識別するために使用されることができる。オクルージョンがない場合、各閃光は、フレーム毎にほぼ同一強度を有し得る一方、少なくとも部分的オクルージョンが存在する場合、閃光の強度は、急速に減少するであろう。したがって、眼追跡システムは、時間の関数として（例えば、フレーム毎に）閃光強度を監視し、部分的または完全オクルージョンが生じるときを決定し、閃光を眼追跡分析から除去する（またはその閃光に割り当てられる加重を低減させる）ことができる。さらに、閃光のコンステレーションは、ほぼ類似強度を有し得、したがって、本システムは、コンステレーションの共通強度からの特定の閃光強度の差異が存在するかどうかを監視することができる。そのような決定に応答して、眼追跡システムは、閃光を眼追跡分析から除去する（またはその閃光に割り当てられる加重を低減させる）ことができる。代替として、図２０を参照して下記にさらに詳細に説明されるように、いくつかの実装では、眼追跡システムは、部分的または全体的にオクルードされた閃光の場所を推定してもよい。
【0154】
図７を参照して説明される、閃光検出および標識化モジュール７１４は、したがって、有利なこととして、閃光運動検出器を含み、閃光結像におけるフレーム毎の閃光速度または閃光強度を監視し、閃光位置のよりロバストな決定を提供することができ、これは、（例えば、図７の３Ｄ角膜中心推定モジュール７１６によって決定される）角膜球面の中心のよりロバストな決定を提供することができる。
【0155】
例示的閃光－瞳孔運動関係
本出願人は、眼画像内の閃光の移動と瞳孔の移動との間には、ある関係が存在することを決定した。図１４Ａおよび１４Ｂは、デカルト（ｘ，ｙ）座標系内の閃光移動対瞳孔移動の実施例のグラフであって、ｘ－軸は、水平であって、ｙ－軸は、垂直である。図１４Ａは、閃光ｘ－場所（ピクセル単位）対瞳孔ｘ－場所（ピクセル単位）を示し、図１４Ｂは、閃光ｙ－場所（ピクセル単位）対瞳孔ｙ－場所（ピクセル単位）を示す。これらの実施例では、４つの閃光（Ａ、Ｂ、Ｃ、およびＤ）が、追跡され、測定の間、眼追跡（ＥＴ）システムに対するユーザの頭部の移動は、存在しなかった。図１４Ａおよび１４Ｂから分かるように、閃光移動と瞳孔移動との間には、強い線形関係が存在する。例えば、閃光移動は、瞳孔移動の速度の約２分の１を有する。図１４Ａおよび１４Ｂにおける線形関係および傾きの特定の値は、測定のために使用される眼追跡システムの幾何学形状に起因し得、閃光移動と瞳孔移動との間の類似関係は、他の眼追跡システムのためにも存在するであろう（および眼追跡画像の分析によって決定されることができる）ことが予期される。上記に述べられたように、いくつかの実装では、眼追跡システムは、部分的または全体的にオクルードされた閃光の場所を推定してもよい。図２０を参照して下記にさらに詳細に説明される、これらの実装では、眼追跡システムは、１つ以上の部分的または全体的にオクルードされた閃光の場所を推定するように、そのような閃光－瞳孔関係の確率論的統計的モデルを活用してもよい。
本出願人は、眼画像内の閃光の移動と瞳孔の移動との間には、ある関係が存在することを決定した。図１４Ａおよび１４Ｂは、デカルト（ｘ，ｙ）座標系内の閃光移動対瞳孔移動の実施例のグラフであって、ｘ－軸は、水平であって、ｙ－軸は、垂直である。図１４Ａは、閃光ｘ－場所（ピクセル単位）対瞳孔ｘ－場所（ピクセル単位）を示し、図１４Ｂは、閃光ｙ－場所（ピクセル単位）対瞳孔ｙ－場所（ピクセル単位）を示す。これらの実施例では、４つの閃光（Ａ、Ｂ、Ｃ、およびＤ）が、追跡され、測定の間、眼追跡（ＥＴ）システムに対するユーザの頭部の移動は、存在しなかった。図１４Ａおよび１４Ｂから分かるように、閃光移動と瞳孔移動との間には、強い線形関係が存在する。例えば、閃光移動は、瞳孔移動の速度の約２分の１を有する。図１４Ａおよび１４Ｂにおける線形関係および傾きの特定の値は、測定のために使用される眼追跡システムの幾何学形状に起因し得、閃光移動と瞳孔移動との間の類似関係は、他の眼追跡システムのためにも存在するであろう（および眼追跡画像の分析によって決定されることができる）ことが予期される。上記に述べられたように、いくつかの実装では、眼追跡システムは、部分的または全体的にオクルードされた閃光の場所を推定してもよい。図２０を参照して下記にさらに詳細に説明される、これらの実装では、眼追跡システムは、１つ以上の部分的または全体的にオクルードされた閃光の場所を推定するように、そのような閃光－瞳孔関係の確率論的統計的モデルを活用してもよい。
【0156】
閃光－瞳孔関係は、閃光結像によって提供される閃光決定のロバスト性とともに、ロバスト性を瞳孔中心（または回転中心、ＣｏＲ）の決定に提供するために使用されることができる。さらに、閃光－瞳孔関係を活用して、瞳孔位置を決定することは、有利なこととして、モジュール７１２またはモジュール７２０等の図７のモジュールのうちの１つ以上のものを参照して上記に説明される、瞳孔識別および位置決定技法の算出節約を提供し得る。例えば、閃光位置は、閃光画像からロバストに決定されることができ（例えば、サブピクセル正確度まで）、瞳孔中心（またはＣｏＲ）の位置の推定値が、少なくとも部分的に、閃光－瞳孔関係（例えば、図１４Ａおよび１４Ｂ参照）に基づいて予測されることができる。閃光画像が捕捉される、比較的に短時間周期にわたって（例えば、２～１０ｍｓ毎に）、瞳孔中心（またはＣｏＲ）は、著しく変化しない。閃光位置は、複数の閃光フレーム捕捉（例えば、１～１０フレーム）にわたって、追跡および平均されることができる。閃光－瞳孔関係を使用すると、平均閃光位置は、瞳孔位置（またはＣｏＲ）の推定値を提供する。いくつかの実施形態では、本推定値は、次いで、より長い露光の画像の分析において使用され、より正確かつ確実に、瞳孔中心（またはＣｏＲ）を決定することができる。他の実施形態では、本推定値は、単独で、システムに瞳孔中心の知識を与える役割を果たし得る。したがって、これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュールは、瞳孔中心（またはＣｏＲ）を決定するために、より長い露光の画像に依拠する必要はない。むしろ、そのような実施形態では、眼追跡モジュールは、他の目的のために、より長い露光の画像に依拠し得る、またはいくつかの実施例では、そのようなより長い露光の画像の捕捉を完全に省いてもよい。
【0157】
中心窩化レンダリングのための視線予測
図６を参照して説明されるように、レンダリングコントローラ６１８は、眼追跡モジュール６１４からの情報を使用して、レンダリングエンジン６２２（例えば、ＧＰＵ６２０内のソフトウェアモジュールであり得、画像をウェアラブルシステム２００のディスプレイ２２０に提供し得る、レンダリングエンジン）によって、ユーザに表示される画像を調節することができる。実施例として、レンダリングコントローラ６１８は、ユーザの回転中心または目線中心に基づいて、ユーザに表示される画像を調節してもよい。
図６を参照して説明されるように、レンダリングコントローラ６１８は、眼追跡モジュール６１４からの情報を使用して、レンダリングエンジン６２２（例えば、ＧＰＵ６２０内のソフトウェアモジュールであり得、画像をウェアラブルシステム２００のディスプレイ２２０に提供し得る、レンダリングエンジン）によって、ユーザに表示される画像を調節することができる。実施例として、レンダリングコントローラ６１８は、ユーザの回転中心または目線中心に基づいて、ユーザに表示される画像を調節してもよい。
【0158】
いくつかのシステムでは、ディスプレイ２２０内のピクセルは、視線方向の近くでは、視線方向から離れたディスプレイ２２０の領域内（ある場合には、全くレンダリングされなくてもよい）より高い分解能またはフレームレートにおいてレンダリングされる。これは、時として、中心窩化レンダリングとも称され、主に、実質的に視線方向内のピクセルのみが、レンダリングされ得るため、実質的算出性能利得を提供し得る。中心窩化レンダリングは、レンダリング帯域幅の増加およびシステム２００による電力消費の減少を提供し得る。中心窩化レンダリングを利用する、ウェアラブルシステム２００の実施例は、「Ｄｅｐｔｈ Ｂａｓｅｄ Ｆｏｖｅａｔｅｄ Ｒｅｎｄｅｒｉｎｇ ｆｏｒ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍｓ」と題された、米国特許公開第２０１８／０２７５４１０号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【0159】
図１５は、中心窩化レンダリングの実施例を図式的に図示する。視線方向のオリジナル場所（中心窩とも称される）を伴う、ディスプレイ（例えば、ディスプレイ２２０）の視野（ＦｏＶ）は、円形１５０２として示される。矢印１５０４は、眼の高速サッカード（例えば、約３００分／秒）を表す。破線円形１５０６は、視線方向が高速サッカードの場合であり得る、不確実性の領域を表す。領域１５０６内のディスプレイのピクセルは、レンダリングされてもよい一方、ディスプレイ領域１５０６の外側のディスプレイのピクセルは、レンダリングされなくてもよい（またはより低いフレームレートまたは分解能においてレンダリングされる）。領域１５０６の面積は、視線が新しい方向に移動するときと、画像がレンダリングパイプラインによって実際にレンダリングされ得るときとの間の時間（時として、運動から画像描画までのタイムスケールとも称される）の約二乗として増加する。ウェアラブルシステム２００の種々の実施形態では、運動から画像描画までのタイムスケールは、約１０ｍｓ～１００ｍｓの範囲内である。故に、眼追跡システムが、レンダリングパイプラインが、ユーザの眼が将来的視線方向に移動するとき、表示のために、画像データの生成を開始し得るように、（表示のために、運動から画像描画までのおよその時間分先の）将来的視線方向を予測することが可能であることが有利であり得る。中心窩化レンダリングのための将来的視線方向のそのような予測は、例えば、ディスプレイの増加された見掛け応答性、画像生成における低減された待ち時間等、ユーザに利点を提供することができる。
【0160】
図１６は、眼追跡のための多重露光時間眼結像の実施形態を利用する、レンダリングパイプラインのための例示的タイミング図１６００を図式的に図示する。レンダリングパイプラインは、最初に、アイドル１６０２であって（次の閃光露光を待機している）、次いで、閃光露光１６０４が、捕捉される（露光時間は、５０μｓ未満であってもよい）。閃光画像は、カメラスタックによって読み取られ１６０６、読取時間は、閃光画像のピークのみを読み取ることによって、減少されることができる。閃光および閃光位置が、１６０８において、抽出され、眼追跡システムが、１６１０において、視線を決定する。レンダラ（例えば、レンダリングコントローラ６１８およびレンダリングエンジン６２２）が、表示のために、１６１２において、画像をレンダリングする。
【0161】
図１７は、中心窩化レンダリングのための例示的視線予測システム１７００のブロック図である。システム１７００は、例えば、図６および７を参照して説明される、システム６００の一部として実装されることができる。システム１７００は、２つのパイプライン、すなわち、閃光画像を取得するための画像パイプラインと、閃光を処理し、視線予測時間分先の将来的視線方向を予測するための閃光パイプラインとを有する。上記に説明されるように、中心窩化レンダリングのための視線予測時間は、システム６００のための運動から画像描画までの時間（例えば、種々の実装では、１０ｍｓ～１００ｍｓ）に匹敵してもよい。いくつかのレンダリング用途に関して、視線予測時間は、約２０ｍｓ～５０ｍｓ、例えば、約２５ｍｓ～３０ｍｓの範囲内である。図１７に示されるブロックは、例証的であって、他の実施形態では、ブロックのうちの１つ以上のものは、組み合わせられる、再編成される、省略される、または付加的ブロックが、システム１７００に追加されることができる。
【0162】
ブロック１７０２では、システム１７００は、閃光画像を受信する。閃光画像の実施例は、閃光のピークが結像される、図１０Ｂに示される画像１００４である。ブロック１７０６では、本システムは、画像を閾値処理する、例えば、最低画像ピクセル値の強度値をより低い閾値（例えば、ゼロ）に設定することができる。ブロック１７１０では、閃光画像内の非最大値は、抑制または除去され、これは、閃光ピークのみを見出すことを補助することができる。例えば、システム１７００は、画像の行（または列）を横断して走査し、最大値を見出すことができる。ブロック１７１０に進むと、近最大値は、緊密に離間された最大値のグループのより低い最大値（例えば、相互から閾値ピクセル距離、例えば、２～２０ピクセル内の最大値）を除去するように処理されることができる。例えば、ユーザは、コンタクトレンズを装着し得る。光源の反射３２６は、コンタクトレンズの正面および角膜の両方において生じ、２つの緊密に離間された閃光をもたらし得る。ブロック１７１０における非最大値抑制は、一次または第１の鏡面反射のみがさらなる処理のために保たれるように、より低い最大値を排除することができる。
【0163】
閃光パイプラインは、処理された閃光画像を画像パイプラインから受信する。閃光追跡および分類（例えば、標識化）が、ブロック１７１４において実施されることができる。図１２を参照して説明されるように、以前に識別された閃光に関する情報（例えば、位置、強度等）が、ブロック１７１６から受信されることができ、ブロック１７１４は、本情報を使用して、閃光のそれぞれが見出される可能性が高い、閃光画像内の検索領域を識別することができる（検索時間を低減させ、処理効率を増加させ得る）。ブロック１７１６からの前の閃光情報もまた、閃光が、少なくとも部分的に、オクルードされている、または閃光が、角膜の非球状部分から生じているかどうかを識別する際に有用であり得る。そのような閃光は、ブロック１７１４において、閃光追跡から除去されてもよい。代替として、図１３Ｂおよび１４Ａ－１４Ｂを参照して上記に述べられたように、いくつかの実装では、眼追跡システムは、部分的または全体的にオクルードされた閃光の場所を推定してもよい。付加的詳細は、図２０を参照して下記に提供される。
【0164】
ブロック１７１８では、システム１７００は、現在の視線（例えば、眼光学軸または視線ベクトル）をブロック１７１４から受信された閃光情報から算出する。ブロック１７２０では、前の視線情報（例えば、前の閃光画像から決定される）は、ブロック１７２２に入力され、そこで、将来的視線方向が、算出される。例えば、システム１７００は、現在の視線（ブロック１７１８）および１つ以上の前の視線（ブロック１７２０）から外挿し、将来的視線時間における（例えば、将来の１０ｍｓ～１００ｍｓ先の）視線を予測することができる。ブロック１７２２から予測される視線は、レンダリングエンジンに提供され、中心窩化レンダリングを可能にすることができる。
【0165】
いくつかの実施形態では、システム１７００内のパイプラインは、閃光結像を高フレームレート（例えば、１００ｆｐｓ～４００ｆｐｓ）において起動する。
【0166】
図１８Ａ－１８Ｄは、視線予測システム１７００の実施形態を使用して将来的視線を予測する実験の結果を図示する。本例示的実験では、閃光画像フレームレートは、１６０ｆｐｓであった。図１８Ａは、ユーザの眼が、約４０分×２０分であった視野にわたって移動していたときの、４つの閃光毎の閃光経路を示す。４つの閃光の経路は、異なる塗り潰された点によって示され、これらの閃光の平均値の経路は、塗り潰されていない正方形によって示される。図１８Ｂは、視線予測（短実線）対閃光の平均値（本実験に関しては、グラウンドトゥルースと見なされる）の（塗り潰されていない正方形内の）経路の比較を示す。将来的予測時間は、３７．５ｍｓであって、１８．７５ｍｓに遡った過去からの閃光が、予測のために使用された。図１８Ｂから分かるように、予測の大部分ではないにしても、その多くが、眼の平均経路を正確に追跡する。図１８Ｃは、眼角速度（度／秒単位）対フレームのプロットであって、速度ヒストグラム１８２０を図の左側に伴う。図１８Ｃは、眼移動の大部分が比較的に低角速度（例えば、約２５度／秒を下回る）で生じることを示し、持続的であるが、幾分、最大約２００度／秒の散発的またはランダムな移動を伴う。図１８Ｄは、受信者動作特性（ＲＯＣ）プロットであって、予測パーセンタイル対予測とグラウンドトゥルース（ＧＴ）との間の誤差を示す。異なる線は、６．２５ｍｓ～６０ｍｓの異なる将来的予測時間に関するものである。線が垂直に近いほど（左に向かって）、予測がより正確である。約６．２５ｍｓの予測時間（本実験に関しては、フレームレートの逆数）に関して、誤差は、非常に小さい。誤差は、予測時間がより長くなるにつれて増加するが、５０ｍｓの予測時間でも、視線予測の９０パーセント超は、５ピクセル未満の誤差を有する。
【0167】
眼追跡のための例示的方法
図１９は、眼追跡のための例示的方法１９００を図示する、フローチャートである。方法１９００は、例えば、図６および７を参照して説明される、眼追跡システム６０１を使用して、ウェアラブルディスプレイシステム２００、４００、または６００の実施形態によって実施されることができる。方法１９００の種々の実施形態では、下記に説明されるブロックは、任意の好適な順序またはシーケンスで実施されることができ、ブロックは、組み合わせられる、または再配列されることができる、または他のブロックが、追加されることができる。
図１９は、眼追跡のための例示的方法１９００を図示する、フローチャートである。方法１９００は、例えば、図６および７を参照して説明される、眼追跡システム６０１を使用して、ウェアラブルディスプレイシステム２００、４００、または６００の実施形態によって実施されることができる。方法１９００の種々の実施形態では、下記に説明されるブロックは、任意の好適な順序またはシーケンスで実施されることができ、ブロックは、組み合わせられる、または再配列されることができる、または他のブロックが、追加されることができる。
【0168】
ブロック１９０４では、方法１９００は、例えば、眼追跡カメラ３２４を使用して、眼のより長い露光の画像を捕捉する。より長い露光の画像の露光時間は、２００μｓ～１，２００μｓの範囲内、例えば、約７００μｓであってもよい。より長い露光の画像のための露光時間は、眼追跡カメラ３２４の性質に依存し得、他の実施形態では、異なり得る。より長い露光の画像のための露光時間は、瞳孔または虹彩の特徴を捕捉するために十分なダイナミックレンジを有するべきである。より長い露光の画像は、種々の実施形態では、１０ｆｐｓ～６０ｆｐｓの範囲内のフレームレートにおいて撮影されることができる。
【0169】
ブロック１９０８では、方法１９００は、例えば、眼追跡カメラ３２４を使用して、眼のより短い露光（閃光）の画像を捕捉する。閃光画像の露光時間は、５μｓ～１００μｓの範囲内、例えば、約４０μｓ未満であってもよい。より短い露光の閃光画像のための露光時間は、ブロック１９０４において捕捉されるより長い露光の画像のための露光時間未満であってもよい。閃光画像のための露光時間は、眼追跡カメラ３２４の性質に依存し得、他の実施形態では、異なり得る。閃光画像のための露光時間は、光源３２６からの閃光のピークを結像するために十分であるべきである。露光時間は、閃光中心のサブピクセル場所を可能にするために、閃光が、飽和されず、数（例えば、１～５）ピクセルの幅を有するために十分であり得る。閃光画像のための露光時間に対するより長い露光の画像のための露光時間の比は、５～５０、１０～２０の範囲、またはある他の範囲内であることができる。閃光画像は、種々の実施形態では、１００ｆｐｓ～１，０００ｆｐｓの範囲内のフレームレートにおいて撮影されることができる。より長い露光の画像のためのフレームレートに対する閃光画像のためのフレームレートの比は、１～１００、１～５０、２～２０、３～１０の範囲内、またはある他の比であることができる。
【0170】
ブロック１９１２では、方法１９００（例えば、ＣＰＵ６１２を使用する）は、瞳孔中心（または回転中心、ＣｏＲ）をブロック１９０４において取得されるより長い露光の画像から決定することができる。方法１９００は、他のバイオメトリック用途のために、他の眼特徴（例えば、虹彩コード）に関してより長い露光の画像を分析することができる。
【0171】
ブロック１９１６では、方法１９００（例えば、ＣＰＵ６１２を使用する）は、閃光位置をブロック１９０８において取得される閃光画像から決定することができる。例えば、方法１９００は、２－Ｄガウスを閃光画像に適合させ、閃光位置を決定することができる。他の機能性は、ブロック１９１６において実施されることができる。例えば、図１７を参照して説明されるように、方法１９００は、閃光画像を閾値処理し、非最大値または近最大値を閃光画像等から除去することができる。方法１９００は、閃光の「コンステレーション」を追跡し、コンステレーションの平均速度を使用して、推定される閃光位置、閃光が、角膜の非球状領域から反射されている、少なくとも部分的オクルージョンを被っているかどうか等を識別することを補助することができる。ブロック１９１６では、方法１９００は、（例えば、前の閃光画像内の）閃光の以前に決定された位置を利用して、現在の閃光画像内の閃光を位置特定または標識化することを補助することができる。
【0172】
ブロック１９２０では、方法１９００（例えば、ＣＰＵ６１２を使用する）は、より長い露光の画像およびより短い露光の閃光画像から決定される情報を使用して、現在の視線を決定することができる。例えば、閃光画像から取得される閃光位置およびより長い露光の画像から取得される瞳孔中心は、視線方向を決定するために使用されることができる。視線方向は、図５Ａを参照して説明される、２つの角度、例えば、θ（基点方位角から決定される、方位角偏向）およびφ（時として、極性偏向とも称される、天頂偏向）として表され得る。
【0173】
ブロック１９２４では、方法１９００（例えば、ＣＰＵ６１２を使用する）は、将来的視線を現在の視線および１つ以上の前の視線から予測することができる。図１５－１７を参照して説明されるように、将来的視線は、有利なこととして、中心窩化レンダリングのために使用されることができる。将来的視線は、外挿技法を介して予測されることができる。ブロック１９２４は、将来的視線時間における（例えば、現在の視線が算出された時間から１０ｍｓ～１００ｍｓ後の）将来的視線を予測することができる。
【0174】
ブロック１９２８では、方法１９００（例えば、レンダリングコントローラ６１８またはレンダリングエンジン６２２を使用する）は、ウェアラブルディスプレイシステムのユーザへの提示のために、仮想コンテンツをレンダリングすることができる。上記に説明されるように、中心窩化レンダリングのために、ユーザの将来的視線方向の知識が、ユーザが将来的視線方向を見ているときのレンダリングのための仮想コンテンツの準備をより効率的に開始するために使用されることができ、これは、有利なこととして、待ち時間を低減させ、レンダリング性能を改良し得る。
【0175】
いくつかの実施形態では、ウェアラブルディスプレイシステムは、中心窩化レンダリング技法を利用しなくてもよく、方法１９００は、将来的視線方向を予測しなくてもよい。そのような実施形態では、ブロック１９２４は、随意である。
【0176】
図１３Ｂ、１４Ａ－１４Ｂ、および１７を参照して上記に述べられたように、いくつかの状況では、１つ以上の閃光は、部分的または全体的に、ユーザの眼瞼、睫毛、および同等物によってオクルードされ得る。いくつかの実装では、眼追跡システムは、部分的または全体的にオクルードされた閃光の場所を推定してもよい。図２０を参照して下記にさらに詳細に説明される、これらの実装では、眼追跡システムは、１つ以上の部分的または全体的にオクルードされた閃光の場所を推定するように、閃光－瞳孔関係の確率論的統計的モデルを活用してもよい。そのような閃光－瞳孔関係は、いくつかの実施例では、図１４Ａ－１４Ｂを参照して上記に説明される閃光－瞳孔関係のうちの１つ以上のものに類似し得る。いくつかの実施例では、眼追跡システムは、閃光の所定の最小閾値量（例えば、２つの閃光）未満が検出されたことの決定に応答して、１つ以上の部分的または全体的にオクルードされた閃光の場所を推定し得る。いくつかの実装では、眼追跡システムは、検出された閃光場所、決定された瞳孔場所、または両方を閃光－瞳孔関係の確率論的統計的モデルに適用し、その中に閃光が示されることが予期される、画像内の領域を識別し、そこで閃光が示されることが予期される、画像内の場所を推定してもよい。いくつかの実施例では、眼追跡システムは、検出された閃光場所を推定される閃光場所とともに使用して、眼姿勢を決定し、および／または１つ以上の下流モジュールへの出力のために、推定される閃光場所を検出された閃光場所とともに提供してもよい。
【0177】
いくつかの実装では、閃光場所推定のための眼追跡システムによって活用される、確率論的統計的モデルは、各ユーザのために生成および／または適合されてもよい。すなわち、いくつかの実装では、眼追跡システムは、ある時間周期にわたって所与のユーザに関して取得された眼追跡データ（例えば、決定された瞳孔場所および決定された閃光場所）に基づいて、そのユーザに関する瞳孔場所の関数として、閃光場所のモデルを展開してもよい。図１４Ａ－１４Ｂを参照して上記に説明されるように、瞳孔と閃光場所との間には、略線形関係が存在する。したがって、眼追跡システムは、線形回帰を所与のユーザに関して取得された眼追跡データ上で実施することによって、そのユーザに関する閃光－瞳孔関係のそのような確率論的統計的モデルを展開してもよい。いくつかの実装では、眼追跡システムは、新しい眼追跡データが到着するにつれて、例えば、最小二乗アプローチを使用して、線形適合を経時的に再帰的に更新してもよい。いくつかの実施例では、眼追跡システムは、１つ以上のカルマンフィルタリング技法を採用して、モデルを経時的に更新してもよい。
【0178】
図２０は、閃光推定のための例示的方法２０００を図示する、フローチャートである。方法２０００は、例えば、図６および７を参照して説明される眼追跡システム６０１を使用して、ウェアラブルディスプレイシステム２００、４００、または６００の実施形態によって実施されることができる。方法２０００の種々の実施形態では、下記に説明されるブロックは、任意の好適な順序またはシーケンスで実施されることができる、ブロックは、組み合わせられる、または並べ替えられることができる、または他のブロックは、追加または除去されることができる、またはそれらの任意の組み合わせであることができる。
【0179】
いくつかの実装では、方法２０００は、ユーザの眼の画像を捕捉するように構成される、１つ以上のカメラと、閃光を１つ以上のカメラによって捕捉されたユーザの眼の画像内に生産するような様式において、ユーザの眼を照明するように構成される、複数の光源（例えば、赤外線光源）と、１つ以上のカメラに結合される、１つ以上のプロセッサとを含む、頭部搭載型システムによって実施されてもよい。そのような実装のうちの少なくともいくつかでは、方法２０００の動作のいくつかまたは全ては、少なくとも部分的に、システムの１つ以上のプロセッサによって実施されてもよい。いくつかの実施例では、複数の光源は、３つ以上の光源を含んでもよい。
【0180】
ブロック２００２では、方法２０００は、ユーザの眼の画像を受信するステップを含んでもよい。これは、例えば、１つ以上のプロセッサが画像を１つ以上のカメラから受信するステップに対応してもよい。ブロック２００４では、方法２０００は、画像内の１つ以上の閃光のセットを検出するステップを含んでもよい。例えば、ブロック２００４では、本明細書に説明される閃光検出技法のうちの１つ以上のものが、そこで閃光が示される、画像内の場所を検出するために採用されてもよい。
【0181】
ブロック２００６では、方法２０００は、１つ以上の閃光の検出されたセットが、最小量未満の閃光を含むかどうかを決定するステップを含んでもよい。例えば、これは、１つ以上の閃光の検出されたセットが２つ未満の閃光を含むかどうかを決定するステップを含んでもよい。
【0182】
ブロック２００６における、１つ以上の閃光の検出されたセットが最小量未満の閃光を含むことの決定に応答して、ブロック２００８と関連付けられる動作が、実施されてもよい。例えば、１つ以上の閃光の検出されたセットは、１つ以上の閃光の部分的または全体的オクルージョンの結果として、最小量未満の閃光を含み得る。ブロック２００８では、方法２０００は、１つ以上の閃光の検出されたセットをモデルに適用し、画像内の１つ以上の閃光のセットを推定するステップを含んでもよい。例えば、そのようなモデルは、閃光－瞳孔関係の確率論的統計的モデルに対応し得る。いくつかの実装では、そのようなモデルは、各ユーザのために生成および／または適合されてもよい。例えば、１つ以上の閃光場所の推定されるセットは、部分的または全体的にオクルードされていない場合、そこで１つ以上の閃光が示され得る、画像内の場所に対応し得る。
【0183】
ブロック２０１０では、方法２０００は、１つ以上の閃光の検出されたセットおよび１つ以上の閃光の推定されるセットに基づいて、眼の姿勢を決定するステップを含んでもよい。ブロック２０１０に続いて、ブロック２０１２では、方法２０００は、少なくとも部分的に、１つ以上の閃光の検出されたセットに基づいて、モデルを更新するステップを含んでもよい。例えば、これは、例えば、最小二乗アプローチを使用して、線形適合を経時的に更新するステップを含んでもよい。
【0184】
ブロック２００６における、１つ以上の閃光の検出されたセットが少なくとも最小量の閃光を含むことの決定に応答して、ブロック２０１１と関連付けられる動作が、実施されてもよい。ブロック２０１１では、方法２０００は、１つ以上の閃光の検出されたセットに基づいて、眼の姿勢を決定するステップを含んでもよい。ブロック２０１１に続いて、ブロック２０１２では、方法２０００は、少なくとも部分的に、１つ以上の閃光の検出されたセットに基づいて、モデルを更新するステップを含んでもよい。
【0185】
いくつかの実装では、方法２０００はさらに、そこでユーザの眼の瞳孔の中心が示される、ユーザの眼の画像内の場所を識別するステップを含んでもよい。これらの実装では、ブロック２００８において、方法２０００は、瞳孔の中心の識別された場所および１つ以上の閃光の検出されたセットをモデルに適用し、画像内の１つ以上の閃光のセットを推定するステップを含んでもよい。
【0186】
ブロック２０１２に続いて、ブロック２００２では、方法２０００は、ユーザの眼の別の画像を受信するステップを含んでもよい。ブロック２００４に続いて、ブロック２００６における、１つ以上の閃光の検出されたセットが最小量未満の閃光を含むことの決定に応答して、ブロック２００８と関連付けられる動作が、実施されてもよい。しかしながら、本分岐では、ブロック２００８と関連付けられるそのような動作は、１つ以上の閃光の検出されたセットを、ブロック２０１２において更新されたようなモデルに適用し、画像内の１つ以上の閃光のセットを推定するステップを含む。方法２０００における本再帰は、確率論的統計的モデルが可能性として所与のユーザに関して経時的に更新され得る方法を実証する。
【0187】
加えて、これらの実装のうちの少なくともいくつかでは、方法２０００はさらに、ユーザの眼の瞳孔の中心の識別された場所をモデルに適用し、そこで複数の閃光がそれぞれ示されることが予期される、ユーザの眼の画像内の複数の領域を識別するステップを含んでもよい。いくつかの実施例では、画像内のそのような識別された領域は、本明細書に説明される「検索」エリアまたは領域のうちの１つ以上のものに類似し得る。そのような実装では、ブロック２００４において、方法２０００は、それぞれ、複数の識別された領域のうちの１つ以上のもの内の１つ以上の場所のセットを検出するステップを含んでもよい。
【0188】
これらの実装のうちのいくつかでは、ブロック２００８において、方法２０００は、（ｉ）それぞれ、ユーザの眼の瞳孔の中心の識別された場所を確率論的統計的モデルに適用し、そこで１つ以上の閃光が示されることが予期される、ユーザの眼の画像内の１つ以上の領域を識別するステップと、（ｉｉ）１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像の１つ以上の識別された領域内の１つ以上の場所のセットを推定するステップを含んでもよい。
【0189】
これらの実装のうちのいくつかでは、ブロック２０１２において、方法２０００は、ユーザの眼の瞳孔の中心の識別された場所および１つ以上の閃光場所の検出されたセットに基づいて、確率論的統計的モデルを更新するステップを含んでもよい。
【0190】
いくつかの実施例では、２０１０において、方法２０００は、少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の角膜の中心の場所、ユーザの眼の回転中心の場所、および／またはユーザの眼の視線方向を決定するステップを含んでもよい。故に、種々の実施例では、２０１０において、方法２０００は、少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、眼またはユーザの眼の視覚（例えば、目線中心）と関連付けられる１つ以上の数を決定するステップを含んでもよい。
【実施例0191】
実施例
実施例１．頭部搭載型システムであって、
ユーザの眼の画像を捕捉するように構成される、１つ以上のカメラと、
閃光を１つ以上のカメラによって捕捉されたユーザの眼の画像内に生産するような様式において、ユーザの眼を照明するように構成される、複数の光源であって、複数の光源内に含まれる光源の総数は、特定の値以上である、複数の光源と、
１つ以上のカメラに動作可能に結合される、１つ以上のプロセッサであって、
ユーザの眼の画像を１つ以上のカメラから受信し、
そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを検出し、
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が特定の値未満であるかどうかを決定し、
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が特定の値未満であることの決定に応答して、
１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定し、１つ以上の閃光場所の推定されるセットは、１つ以上の閃光場所の検出されたセットと異なり、
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の姿勢を決定する、
ように構成される、１つ以上のプロセッサと、
を備える、システム。
実施例１．頭部搭載型システムであって、
ユーザの眼の画像を捕捉するように構成される、１つ以上のカメラと、
閃光を１つ以上のカメラによって捕捉されたユーザの眼の画像内に生産するような様式において、ユーザの眼を照明するように構成される、複数の光源であって、複数の光源内に含まれる光源の総数は、特定の値以上である、複数の光源と、
１つ以上のカメラに動作可能に結合される、１つ以上のプロセッサであって、
ユーザの眼の画像を１つ以上のカメラから受信し、
そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを検出し、
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が特定の値未満であるかどうかを決定し、
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が特定の値未満であることの決定に応答して、
１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定し、１つ以上の閃光場所の推定されるセットは、１つ以上の閃光場所の検出されたセットと異なり、
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の姿勢を決定する、
ように構成される、１つ以上のプロセッサと、
を備える、システム。
【0192】
実施例２．１つ以上のプロセッサはさらに、
そこでユーザの眼の瞳孔の中心が示される、ユーザの眼の画像内の場所を識別するように構成され、
１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定するために、１つ以上のプロセッサは、
ユーザの眼の瞳孔の中心の識別された場所および１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定するように構成される、実施例１に記載のシステム。
そこでユーザの眼の瞳孔の中心が示される、ユーザの眼の画像内の場所を識別するように構成され、
１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定するために、１つ以上のプロセッサは、
ユーザの眼の瞳孔の中心の識別された場所および１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定するように構成される、実施例１に記載のシステム。
【0193】
実施例３．１つ以上のプロセッサはさらに、
ユーザの眼の瞳孔の中心の識別された場所を確率論的統計的モデルに適用し、そこで複数の閃光がそれぞれ示されることが予期される、ユーザの眼の画像内の複数の領域を識別するように構成され、複数の識別された領域内に含まれる領域の総数は、特定の値以上であり、
そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを検出するために、１つ以上のプロセッサは、
それぞれ、複数の識別された領域のうちの１つ以上のもの内の１つ以上の場所のセットを検出するように構成される、実施例２に記載のシステム。
ユーザの眼の瞳孔の中心の識別された場所を確率論的統計的モデルに適用し、そこで複数の閃光がそれぞれ示されることが予期される、ユーザの眼の画像内の複数の領域を識別するように構成され、複数の識別された領域内に含まれる領域の総数は、特定の値以上であり、
そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを検出するために、１つ以上のプロセッサは、
それぞれ、複数の識別された領域のうちの１つ以上のもの内の１つ以上の場所のセットを検出するように構成される、実施例２に記載のシステム。
【0194】
実施例４．ユーザの眼の瞳孔の中心の識別された場所および１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定するために、１つ以上のプロセッサは、
ユーザの眼の瞳孔の中心の識別された場所を確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示されることが予期される、ユーザの眼の画像内の１つ以上の領域を識別し、
１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像の１つ以上の識別された領域内の１つ以上の場所のセットを推定する、
ように構成される、実施例２または３に記載のシステム。
ユーザの眼の瞳孔の中心の識別された場所を確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示されることが予期される、ユーザの眼の画像内の１つ以上の領域を識別し、
１つ以上の閃光場所の検出されたセットを確率論的統計的モデルに適用し、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像の１つ以上の識別された領域内の１つ以上の場所のセットを推定する、
ように構成される、実施例２または３に記載のシステム。
【0195】
実施例５．１つ以上のプロセッサはさらに、ユーザの眼の瞳孔の中心の識別された場所および１つ以上の閃光場所の検出されたセットに基づいて、確率論的統計的モデルを更新するように構成される、実施例２－４のいずれかに記載のシステム。
【0196】
実施例６．特定の値は、２の値に対応する、上記実施例のいずれかに記載のシステム。
【0197】
実施例７．複数の光源内に含まれる光源の総数は、３の値以上である、実施例６に記載のシステム。
【0198】
実施例８．複数の光源は、複数の赤外線光源を備える、上記実施例のいずれかに記載のシステム。
【0199】
実施例９．少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の姿勢を決定するために、１つ以上のプロセッサは、
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の角膜の中心の場所を決定するように構成される、上記実施例のいずれかに記載のシステム。
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の角膜の中心の場所を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0200】
実施例１０．少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の姿勢を決定するために、１つ以上のプロセッサは、
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のシステム。
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0201】
実施例１１．少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の姿勢を決定するために、１つ以上のプロセッサは、
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の視線方向を決定するように構成される、上記実施例のいずれかに記載のシステム。
少なくとも部分的に、１つ以上の閃光場所の検出されたセットおよび１つ以上の閃光場所の推定されるセットに基づいて、ユーザの眼の視線方向を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0202】
実施例１２．１つ以上のプロセッサはさらに、
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が特定の値を上回ることの決定に応答して、
少なくとも部分的に、１つ以上の閃光場所の検出されたセットに基づいて、ユーザの眼の姿勢を決定するように構成される、上記実施例のいずれかに記載のシステム。
１つ以上の閃光場所の検出されたセット内に含まれる場所の総数が特定の値を上回ることの決定に応答して、
少なくとも部分的に、１つ以上の閃光場所の検出されたセットに基づいて、ユーザの眼の姿勢を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0203】
付加的実施例
実施例１．頭部搭載型システムであって、
ユーザの眼の画像を捕捉するように構成される、１つ以上のカメラと、
複数の閃光を１つ以上のカメラによって捕捉されたユーザの眼の画像内に生産するような様式において、ユーザの眼を照明するように構成される、１つ以上の光源と、
１つ以上のカメラに動作可能に結合される、１つ以上のプロセッサであって、
ユーザの眼の１つ以上の画像を１つ以上のカメラから受信し、
１つ以上の閃光を検出し、該１つ以上の検出された閃光と関連付けられる、個別の場所を決定し、
１つ以上の検出された閃光内に含まれる閃光の総数が予期される閃光の数未満であるかどうかを決定し、
１つ以上の検出された閃光内の閃光の総数が予期される閃光の数未満であることの決定に応答して、
該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光に関する１つ以上の場所を推定し、推定される１つ以上の閃光場所は、検出された１つ以上の閃光と関連付けられる場所と異なり、
少なくとも部分的に、該１つ以上の検出された閃光と関連付けられる場所および推定される１つ以上の閃光場所に基づいて、ユーザの眼の姿勢を決定する、
ように構成される、１つ以上のプロセッサと、
を備える、システム。
実施例１．頭部搭載型システムであって、
ユーザの眼の画像を捕捉するように構成される、１つ以上のカメラと、
複数の閃光を１つ以上のカメラによって捕捉されたユーザの眼の画像内に生産するような様式において、ユーザの眼を照明するように構成される、１つ以上の光源と、
１つ以上のカメラに動作可能に結合される、１つ以上のプロセッサであって、
ユーザの眼の１つ以上の画像を１つ以上のカメラから受信し、
１つ以上の閃光を検出し、該１つ以上の検出された閃光と関連付けられる、個別の場所を決定し、
１つ以上の検出された閃光内に含まれる閃光の総数が予期される閃光の数未満であるかどうかを決定し、
１つ以上の検出された閃光内の閃光の総数が予期される閃光の数未満であることの決定に応答して、
該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光に関する１つ以上の場所を推定し、推定される１つ以上の閃光場所は、検出された１つ以上の閃光と関連付けられる場所と異なり、
少なくとも部分的に、該１つ以上の検出された閃光と関連付けられる場所および推定される１つ以上の閃光場所に基づいて、ユーザの眼の姿勢を決定する、
ように構成される、１つ以上のプロセッサと、
を備える、システム。
【0204】
実施例２：該１つ以上の光源は、複数の光源を備える、実施例１に記載のシステム。
【0205】
実施例３．該光源の個別のものは、対応する閃光を形成する、実施例２に記載のシステム。
【0206】
実施例４．１つ以上の光源は、１つ以上の赤外線光源を備える、実施例１－３のいずれかに記載のシステム。
【0207】
実施例５．該１つ以上の検出された閃光内に含まれる閃光の総数を決定することは、該１つ以上の検出された閃光と関連付けられる１つ以上の決定された場所内に含まれる閃光場所の総数を決定することを含む、上記実施例のいずれかに記載のシステム。
【0208】
実施例６．該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光に関する１つ以上の場所を推定することは、検出された１つ以上の閃光と関連付けられる個別の場所を確率論的統計的モデルに適用することを含む、上記実施例のいずれかに記載のシステム。
【0209】
実施例７．１つ以上のプロセッサはさらに、ユーザの眼の瞳孔の中心と関連付けられる場所を識別するように構成される、上記実施例のいずれかに記載のシステム。
【0210】
実施例８．該１つ以上のプロセッサは、ユーザの眼の瞳孔の中心と関連付けられる識別された場所および１つ以上の検出された閃光と関連付けられる個別の閃光場所を使用して、該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光に関する該推定される１つ以上の場所を提供するように構成される、実施例７に記載のシステム。
【0211】
実施例９．該１つ以上のプロセッサは、ユーザの眼の瞳孔の中心と関連付けられる識別された場所および１つ以上の検出された閃光と関連付けられる個別の閃光場所を確率論的統計的モデルに適用し、該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光に関する該推定される１つ以上の場所を提供するように構成される、実施例７または８に記載のシステム。
【0212】
実施例１０．該１つ以上のプロセッサはさらに、そこで複数の個別の閃光が示されることが予期される、ユーザの眼の画像内の複数の領域を識別するように構成される、上記実施例のいずれかに記載のシステム。
【0213】
実施例１１．該複数の識別された領域内に含まれる領域の総数は、予期される閃光の数以上である、実施例１０に記載のシステム。
【0214】
実施例１２．該１つ以上の検出された閃光と関連付けられる個別の場所を決定するために、１つ以上のプロセッサは、複数の識別された領域のうちの１つ以上のもの内の１つ以上の個別の場所を決定するように構成される、実施例１０または１１に記載のシステム。
【0215】
実施例１３．該１つ以上の検出された閃光と関連付けられる個別の場所を決定するために、１つ以上のプロセッサは、眼の瞳孔の中心の識別された場所を使用するように構成される、実施例１２に記載のシステム。
【0216】
実施例１４．該１つ以上の検出された閃光と関連付けられる個別の場所を決定するために、１つ以上のプロセッサは、ユーザの眼の瞳孔の中心の識別された場所を確率論的統計的モデルに適用するように構成される、実施例１２に記載のシステム。
【0217】
実施例１５．ユーザの眼の瞳孔の中心の識別された場所および１つ以上の検出された閃光と関連付けられる個別の場所を使用して、該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光に関する１つ以上の場所を推定するために、１つ以上のプロセッサは、瞳孔の中心の識別された場所を使用して、１つ以上の個別の閃光が予期される、１つ以上の領域を識別し、１つ以上の識別された領域内の、該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光の１つ以上の場所を推定するように構成される、実施例７－９のいずれかに記載のシステム。
【0218】
実施例１６．ユーザの眼の瞳孔の中心の識別された場所および１つ以上の検出された閃光と関連付けられる個別の場所は、確率論的統計的モデルに適用され、該１つ以上の検出された閃光と異なる、１つ以上の個別の閃光に関する１つ以上の場所を推定し、１つ以上のプロセッサは、ユーザの眼の瞳孔の中心の識別された場所を確率論的統計的モデルに適用し、１つ以上の個別の閃光が予期される、１つ以上の領域を識別し、１つ以上の検出された閃光と関連付けられる１つ以上の個別の場所を確率論的統計的モデルに適用し、１つ以上の識別された個別の領域内の１つ以上の場所を推定するように構成される、実施例７－９および１５のいずれかに記載のシステム。
【0219】
実施例１７．１つ以上のプロセッサはさらに、１つ以上の検出された閃光と関連付けられる個別の場所に基づいて、確率論的統計的モデルを更新するように構成される、実施例６、９、１４、および１６のいずれかに記載のシステム。
【0220】
実施例１８．１つ以上のプロセッサはさらに、ユーザの眼の瞳孔の中心の識別された場所に基づいて、確率論的統計的モデルを更新するように構成される、実施例６、９、１４、１６、および１７のいずれかに記載のシステム。
【0221】
実施例１９．複数の光源内に含まれる光源の総数は、２を備える、上記実施例のいずれかに記載のシステム。
【0222】
実施例２０．複数の光源内に含まれる光源の総数は、３の値以上である、上記実施例のいずれかに記載のシステム。
【0223】
実施例２１．検出された閃光の数は、２である、上記実施例のいずれかに記載のシステム。
【0224】
実施例２２．予期される閃光の数は、３の値以上である、上記実施例のいずれかに記載のシステム。
【0225】
実施例２３．少なくとも部分的に、１つ以上の検出された閃光と関連付けられる個別の場所および該１つ以上の検出された閃光と異なる１つ以上の個別の閃光に関する推定される１つ以上の場所に基づいて、ユーザの眼の姿勢を決定するために、１つ以上のプロセッサは、少なくとも部分的に、１つ以上の検出された閃光と関連付けられる個別の場所および推定される１つ以上の閃光場所に基づいて、ユーザの眼の角膜の中心の場所を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0226】
実施例２４．少なくとも部分的に、１つ以上の検出された閃光と関連付けられる個別の場所および該１つ以上の検出された閃光と異なる１つ以上の個別の閃光に関する推定される１つ以上の場所に基づいて、ユーザの眼の姿勢を決定するために、１つ以上のプロセッサは、少なくとも部分的に、１つ以上の検出された閃光と関連付けられる個別の場所および推定される１つ以上の閃光場所に基づいて、ユーザの眼の回転中心の場所を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0227】
実施例２５．少なくとも部分的に、１つ以上の検出された閃光と関連付けられる個別の場所および該１つ以上の検出された閃光と異なる１つ以上の個別の閃光に関する推定される１つ以上の場所に基づいて、ユーザの眼の姿勢を決定するために、１つ以上のプロセッサは、少なくとも部分的に、１つ以上の検出された閃光と関連付けられる場所および推定される１つ以上の閃光場所に基づいて、ユーザの眼の視線方向を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0228】
実施例２６．１つ以上のプロセッサはさらに、該１つ以上の検出された閃光と関連付けられる決定された場所内に含まれる閃光場所の総数が特定の値を上回ることの決定に応答して、少なくとも部分的に、該１つ以上の検出された閃光と関連付けられる決定された場所に基づいて、ユーザの眼の姿勢を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0229】
実施例２７．該１つ以上の検出された閃光と関連付けられる個別の場所を決定することは、そこで１つ以上の個別の閃光が示される、ユーザの眼の画像内の１つ以上の場所を決定することを含む、上記実施例のいずれかに記載のシステム。
【0230】
実施例２８．１つ以上の個別の閃光に関する１つ以上の場所を推定することは、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所を推定することを含む、上記実施例のいずれかに記載のシステム。
【0231】
実施例２９．該１つ以上の検出された閃光と関連付けられる個別の場所を決定することは、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを決定することを含む、上記実施例のいずれかに記載のシステム。
【0232】
実施例３０．１つ以上の個別の閃光に関する１つ以上の場所を推定することは、そこで１つ以上の閃光がそれぞれ示される、ユーザの眼の画像内の１つ以上の場所のセットを推定することを含む、上記実施例のいずれかに記載のシステム。
【0233】
実施例３１．ユーザの眼の瞳孔の中心と関連付けられる場所を識別することは、そこでユーザの眼の瞳孔の中心が示される、ユーザの眼の画像内の場所を識別することを含む、上記実施例のいずれかに記載のシステム。
【0234】
実施例３２．少なくとも部分的に、１つ以上の検出された閃光と関連付けられる個別の場所および該１つ以上の検出された閃光と異なる１つ以上の個別の閃光に関する推定される１つ以上の場所に基づいて、ユーザの眼の姿勢を決定するために、１つ以上のプロセッサは、少なくとも部分的に、１つ以上の検出された閃光と関連付けられる個別の場所および推定される１つ以上の閃光場所に基づいて、ユーザの眼の目線中心の場所を決定するように構成される、上記実施例のいずれかに記載のシステム。
【0235】
実施例３３．該１つ以上の検出された閃光と関連付けられる場所は、該１つ以上の検出された閃光の場所を備える、上記実施例のいずれかに記載のシステム。
【0236】
実施例３４．該１つ以上の検出された閃光と関連付けられる場所は、ユーザの眼の１つ以上の画像内の該１つ以上の検出された閃光の場所を備える、上記実施例のいずれかに記載のシステム。
【0237】
実施例３５．頭部搭載型システムは、光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイを備える、上記実施例のいずれかに記載のシステム。
【0238】
実施例３６．頭部搭載型システムは、拡張現実頭部搭載型ディスプレイを備える、上記実施例のいずれかに記載のシステム。
【0239】
実施例３７．予期される閃光の数は、光源の数に対応する、上記実施例のいずれかに記載のシステム。
【0240】
米国特許出願第１６／７５１０７６号（弁護士整理番号：第ＭＬＥＡＰ．２２４Ａ／ＭＬ－０５９２ＵＳ号）に関連する実施例
実施例１．ウェアラブルディスプレイシステムであって、
光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
光を装着者の眼に向かって指向するように構成される、光源と、
第１のフレームレートおよび第１の露光時間において捕捉された装着者の眼の第１の画像と、
第１のフレームレート以上である第２のフレームレートにおいて、かつ第１の露光時間未満の第２の露光時間において捕捉された装着者の眼の第２の画像と、
を捕捉するように構成される、眼追跡カメラと、
頭部搭載型ディスプレイおよび眼追跡カメラに通信可能に結合される、ハードウェアプロセッサであって、
第１の画像を分析し、眼の瞳孔の中心を決定し、
第２の画像を分析し、眼からの光源の反射の位置を決定し、
瞳孔中心および反射の位置から、眼の視線方向を決定し、
視線方向および前の視線方向データから、将来的視線時間における眼の将来的視線方向を推定し、
頭部搭載型ディスプレイに、少なくとも部分的に、将来的視線方向に基づいて、将来的視線時間において、仮想コンテンツを提示させる、
ようにプログラムされる、ハードウェアプロセッサと、
を備える、ウェアラブルディスプレイシステム。
実施例１．ウェアラブルディスプレイシステムであって、
光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
光を装着者の眼に向かって指向するように構成される、光源と、
第１のフレームレートおよび第１の露光時間において捕捉された装着者の眼の第１の画像と、
第１のフレームレート以上である第２のフレームレートにおいて、かつ第１の露光時間未満の第２の露光時間において捕捉された装着者の眼の第２の画像と、
を捕捉するように構成される、眼追跡カメラと、
頭部搭載型ディスプレイおよび眼追跡カメラに通信可能に結合される、ハードウェアプロセッサであって、
第１の画像を分析し、眼の瞳孔の中心を決定し、
第２の画像を分析し、眼からの光源の反射の位置を決定し、
瞳孔中心および反射の位置から、眼の視線方向を決定し、
視線方向および前の視線方向データから、将来的視線時間における眼の将来的視線方向を推定し、
頭部搭載型ディスプレイに、少なくとも部分的に、将来的視線方向に基づいて、将来的視線時間において、仮想コンテンツを提示させる、
ようにプログラムされる、ハードウェアプロセッサと、
を備える、ウェアラブルディスプレイシステム。
【0241】
実施例２．光源は、赤外線光源を備える、実施例１に記載のウェアラブルディスプレイシステム。
【0242】
実施例３．ハードウェアプロセッサは、第１の画像または第２の画像を分析し、装着者の眼の回転中心または目線中心を決定するようにプログラムされる、実施例１または実施例２に記載のウェアラブルディスプレイシステム。
【0243】
実施例４．第２の画像を分析するために、ハードウェアプロセッサは、閾値を第２の画像に適用し、第２の画像内の非最大値を識別する、または第２の画像内の非最大値を抑制または除去するようにプログラムされる、実施例１－３のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0244】
実施例５．第２の画像を分析するために、ハードウェアプロセッサは、少なくとも部分的に、第２の画像からの前の画像内の光源の反射の位置に基づいて、第２の画像からの現在の画像内の光源の反射に関する検索領域を識別するようにプログラムされる、実施例１－４のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0245】
実施例６．第２の画像を分析するために、ハードウェアプロセッサは、
複数の光源の反射の共通速度を決定し、
光源の反射の速度が閾値量を上回って共通速度と異なるかどうかを決定する、
ようにプログラムされる、実施例１－５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
複数の光源の反射の共通速度を決定し、
光源の反射の速度が閾値量を上回って共通速度と異なるかどうかを決定する、
ようにプログラムされる、実施例１－５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0246】
実施例７．第２の画像を分析するために、ハードウェアプロセッサは、光源の反射が眼の角膜の非球状部分からであるかどうかを決定するようにプログラムされる、実施例１－６のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0247】
実施例８．第２の画像を分析するために、ハードウェアプロセッサは、光源の反射の少なくとも部分的オクルージョンの存在を識別するようにプログラムされる、実施例１－７のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0248】
実施例９．ハードウェアプロセッサは、少なくとも部分的に、光源の反射の位置および閃光－瞳孔関係に基づいて、瞳孔の中心の推定される位置を決定するようにプログラムされる、実施例１－８のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0249】
実施例１０．閃光－瞳孔関係は、閃光位置と瞳孔中心位置との間の線形関係を備える、実施例９に記載のウェアラブルディスプレイシステム。
【0250】
実施例１１．第１の露光時間は、２００μｓ～１，２００μｓの範囲内である、実施例１－１０のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0251】
実施例１２．第１のフレームレートは、１０フレーム／秒～６０フレーム／秒の範囲内である、実施例１－１１のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0252】
実施例１３．第２の露光時間は、５μｓ～１００μｓの範囲内である、実施例１－１２のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0253】
実施例１４．第２のフレームレートは、１００フレーム／秒～１，０００フレーム／秒の範囲内である、実施例１－１３のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0254】
実施例１５．第１の露光時間対第２の露光時間の比は、５～５０の範囲内である、実施例１－１４のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0255】
実施例１６．第２のフレームレート対第１のフレームレートの比は、１～１００の範囲内である、実施例１－１５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0256】
実施例１７．将来的視線時間は、５ｍｓ～１００ｍｓの範囲内である、実施例１－１６のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0257】
実施例１８．ハードウェアプロセッサは、
ウェアラブルディスプレイシステムの非頭部搭載型コンポーネント上に配置される、第１のハードウェアプロセッサと、
頭部搭載型ディスプレイ内または上に配置される、第２のハードウェアプロセッサと、
を備え、
第１のハードウェアプロセッサは、第１の画像を分析するために利用され、
第２のハードウェアプロセッサは、第２の画像を分析するために利用される、
実施例１－１７のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
ウェアラブルディスプレイシステムの非頭部搭載型コンポーネント上に配置される、第１のハードウェアプロセッサと、
頭部搭載型ディスプレイ内または上に配置される、第２のハードウェアプロセッサと、
を備え、
第１のハードウェアプロセッサは、第１の画像を分析するために利用され、
第２のハードウェアプロセッサは、第２の画像を分析するために利用される、
実施例１－１７のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0258】
実施例１９．第２のハードウェアプロセッサは、第２の画像のそれぞれの少なくとも一部を記憶するように構成される、メモリバッファを含む、またはそれと関連付けられ、第２のハードウェアプロセッサは、眼からの光源の反射の位置の決定後、第２の画像のそれぞれの少なくとも一部を削除するようにプログラムされる、実施例１８に記載のウェアラブルディスプレイシステム。
【0259】
実施例２０．ハードウェアプロセッサは、第１の画像と第２の画像を組み合わせないようにプログラムされる、実施例１－１９のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0260】
実施例２１．眼追跡のための方法であって、
眼追跡カメラによって、第１のフレームレートおよび第１の露光時間において、眼の第１の画像を捕捉するステップと、
眼追跡カメラによって、第１のフレームレート以上である第２のフレームレートにおいて、かつ第１の露光時間未満の第２の露光時間において、眼の第２の画像を捕捉するステップと、
少なくとも第１の画像から、眼の瞳孔の中心を決定するステップと、
少なくとも第２の画像から、眼からの光源の反射の位置を決定するステップと、
瞳孔中心および反射の位置から、眼の視線方向を決定するステップと、
を含む、方法。
眼追跡カメラによって、第１のフレームレートおよび第１の露光時間において、眼の第１の画像を捕捉するステップと、
眼追跡カメラによって、第１のフレームレート以上である第２のフレームレートにおいて、かつ第１の露光時間未満の第２の露光時間において、眼の第２の画像を捕捉するステップと、
少なくとも第１の画像から、眼の瞳孔の中心を決定するステップと、
少なくとも第２の画像から、眼からの光源の反射の位置を決定するステップと、
瞳孔中心および反射の位置から、眼の視線方向を決定するステップと、
を含む、方法。
【0261】
実施例２２．ディスプレイに、少なくとも部分的に、視線方向に基づいて、仮想コンテンツをレンダリングさせるステップをさらに含む、実施例２１に記載の方法。
【0262】
実施例２３．少なくとも部分的に、視線方向および前の視線方向データに基づいて、将来的視線時間における将来的視線方向を推定するステップをさらに含む、実施例２１または実施例２２に記載の方法。
【0263】
実施例２４．ディスプレイに、少なくとも部分的に、将来的視線方向に基づいて、仮想コンテンツをレンダリングさせるステップをさらに含む、実施例２３に記載の方法。
【0264】
実施例２５．第１の露光時間は、２００μｓ～１，２００μｓの範囲内である、実施例２１－２４のいずれか１項に記載の方法。
【0265】
実施例２６．第１のフレームレートは、１０フレーム／秒～６０フレーム／秒の範囲内である、実施例２１－２５のいずれか１項に記載の方法。
【0266】
実施例２７．第２の露光時間は、５μｓ～１００μｓの範囲内である、実施例２１－２６のいずれか１項に記載の方法。
【0267】
実施例２８．第２のフレームレートは、１００フレーム／秒～１，０００フレーム／秒の範囲内である、実施例２１－２７のいずれか１項に記載の方法。
【0268】
実施例２９．第１の露光時間対第２の露光時間の比は、５～５０の範囲内である、実施例２１－２８のいずれか１項に記載の方法。
【0269】
実施例３０．第２のフレームレート対第１のフレームレートの比は、１～１００の範囲内である、実施例２１－２９のいずれか１項に記載の方法。
【0270】
実施例３１．ウェアラブルディスプレイシステムであって、
光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
光を装着者の眼に向かって指向するように構成される、光源と、
装着者の眼の画像を捕捉するように構成される、眼追跡カメラであって、交互に、
第１の露光時間において、第１の画像を捕捉し、
第１の露光時間未満の第２の露光時間において、第２の画像を捕捉する、
ように構成される、眼追跡カメラと、
複数の電子ハードウェアコンポーネントであって、そのうちの少なくとも１つは、頭部搭載型ディスプレイ、眼追跡カメラ、および複数の電子ハードウェアコンポーネント内の少なくとも１つの他の電子ハードウェアコンポーネントに通信可能に結合される、ハードウェアプロセッサを備え、ハードウェアプロセッサは、
第１の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第１の画像を受信し、少なくとも１つの他の電子ハードウェアコンポーネントに中継し、
第２の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第２の画像のピクセルを受信し、バッファに記憶し、
バッファ内に記憶されるピクセルを分析し、光源の反射が第２の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第２の画像内に存在する、場所を識別し、
場所を示す場所データを少なくとも１つの他の電子ハードウェアコンポーネントに伝送する、
ようにプログラムされ、少なくとも１つの他の電子ハードウェアコンポーネントは、
第１の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第１の画像を分析し、眼の瞳孔の中心の場所を識別し、
瞳孔の中心の場所およびハードウェアプロセッサから受信された場所データから、装着者の眼の視線方向を決定する、
ように構成される、複数の電子ハードウェアコンポーネントと、
を備える、ウェアラブルディスプレイシステム。
光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
光を装着者の眼に向かって指向するように構成される、光源と、
装着者の眼の画像を捕捉するように構成される、眼追跡カメラであって、交互に、
第１の露光時間において、第１の画像を捕捉し、
第１の露光時間未満の第２の露光時間において、第２の画像を捕捉する、
ように構成される、眼追跡カメラと、
複数の電子ハードウェアコンポーネントであって、そのうちの少なくとも１つは、頭部搭載型ディスプレイ、眼追跡カメラ、および複数の電子ハードウェアコンポーネント内の少なくとも１つの他の電子ハードウェアコンポーネントに通信可能に結合される、ハードウェアプロセッサを備え、ハードウェアプロセッサは、
第１の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第１の画像を受信し、少なくとも１つの他の電子ハードウェアコンポーネントに中継し、
第２の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第２の画像のピクセルを受信し、バッファに記憶し、
バッファ内に記憶されるピクセルを分析し、光源の反射が第２の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第２の画像内に存在する、場所を識別し、
場所を示す場所データを少なくとも１つの他の電子ハードウェアコンポーネントに伝送する、
ようにプログラムされ、少なくとも１つの他の電子ハードウェアコンポーネントは、
第１の露光時間において眼追跡カメラによって捕捉された装着者の眼の各第１の画像を分析し、眼の瞳孔の中心の場所を識別し、
瞳孔の中心の場所およびハードウェアプロセッサから受信された場所データから、装着者の眼の視線方向を決定する、
ように構成される、複数の電子ハードウェアコンポーネントと、
を備える、ウェアラブルディスプレイシステム。
【0271】
実施例３２．第１の露光時間は、２００μｓ～１，２００μｓの範囲内である、実施例３１に記載のウェアラブルディスプレイシステム。
【0272】
実施例３３．第２の露光時間は、５μｓ～１００μｓの範囲内である、実施例３１または実施例３２に記載のウェアラブルディスプレイシステム。
【0273】
実施例３４．眼追跡カメラは、１０フレーム／秒～６０フレーム／秒の範囲内である、第１のフレームレートにおいて、第１の画像を捕捉するように構成される、実施例３１－３３のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0274】
実施例３５．眼追跡カメラは、１００フレーム／秒～１，０００フレーム／秒の範囲内である、第２のフレームレートにおいて、第２の画像を捕捉するように構成される、実施例３１－３４のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0275】
実施例３６．第１の露光時間対第２の露光時間の比は、５～５０の範囲内である、実施例３１－３５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0276】
実施例３７．少なくとも１つの他の電子ハードウェアコンポーネントは、ウェアラブルディスプレイシステムの非頭部搭載型コンポーネント内または上に配置される、実施例３１－３６のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0277】
実施例３８．非頭部搭載型コンポーネントは、ベルトパックを備える、実施例３７に記載のウェアラブルディスプレイシステム。
【0278】
実施例３９．眼の各第２の画像のピクセルは、各第２の画像のピクセルの全てより少ないピクセルを備える、実施例３１－３８のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0279】
実施例４０．ピクセルは、ｎ×ｍアレイのピクセルを備え、ｎおよびｍはそれぞれ、１～２０の範囲内の整数である、実施例３１－３９のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0280】
実施例４１．複数の電子ハードウェアコンポーネントはさらに、
視線方向および前の視線方向データから、将来的視線時間における将来的眼の視線方向を推定し、
頭部搭載型ディスプレイに、少なくとも部分的に、将来的視線方向に基づいて、将来的視線時間において、仮想コンテンツを提示させる、
ように構成される、実施例３１－４０のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
視線方向および前の視線方向データから、将来的視線時間における将来的眼の視線方向を推定し、
頭部搭載型ディスプレイに、少なくとも部分的に、将来的視線方向に基づいて、将来的視線時間において、仮想コンテンツを提示させる、
ように構成される、実施例３１－４０のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0281】
実施例４２．ハードウェアプロセッサは、閾値をバッファ内に記憶されるピクセルに適用し、バッファ内に記憶されるピクセル内の非最大値を識別する、またはバッファ内に記憶されるピクセル内の非最大値を抑制または除去するようにプログラムされる、実施例３１－４１のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0282】
実施例４３．ハードウェアプロセッサは、
光源の反射の共通速度を決定し、
光源の反射の速度が閾値量を上回って共通速度と異なるかどうかを決定する、
ようにプログラムされる、実施例３１－４２のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
光源の反射の共通速度を決定し、
光源の反射の速度が閾値量を上回って共通速度と異なるかどうかを決定する、
ようにプログラムされる、実施例３１－４２のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0283】
実施例４４．ハードウェアプロセッサは、光源の反射の場所が眼の角膜の非球状部分からであるかどうかを決定するようにプログラムされる、実施例３１－４３のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0284】
実施例４５．ハードウェアプロセッサは、光源の反射の少なくとも部分的オクルージョンの存在を識別するようにプログラムされる、実施例３１－４４のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0285】
実施例４６．少なくとも１つの他の電子ハードウェアコンポーネントは、少なくとも部分的に、光源の反射の場所および閃光－瞳孔関係に基づいて、瞳孔の中心の場所を識別するようにプログラムされる、実施例３１－４５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。
【0286】
付加的考慮点
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0287】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。加えて、ＡＲ、ＭＲ、ＶＲウェアラブルデバイスのためのリアルタイム眼追跡は、算出上困難であって、多重露光時間眼追跡技法は、効率的ＣＰＵ、ＧＰＵ、ＡＳＩＣ、またはＦＰＧＡを利用してもよい。
【0288】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0289】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0290】
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【0291】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【0292】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【0293】
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを合意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
【0294】
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
【0295】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図5A】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11】
【図12】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【図18D】
【図19】
【図20】
【外国語明細書】