ホーム > 特許ランキング > Ｌｕｍｕｓ Ｌｔｄ．
特許7274724導光光学素子を介したレチナールイメージングに基づく目の追跡具
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-09
(45)【発行日】2023-05-17
(54)【発明の名称】導光光学素子を介したレチナールイメージングに基づく目の追跡具
(51)【国際特許分類】
G02B 27/02 20060101AFI20230510BHJP
G01B 11/26 20060101ALI20230510BHJP
H04N 5/64 20060101ALI20230510BHJP
【ＦＩ】
G02B27/02 Z
G01B11/26 H
H04N5/64 511A
【請求項の数】
18
(21)【出願番号】P 2018536174
(86)(22)【出願日】2017-12-31
(65)【公表番号】
(43)【公表日】2020-02-13
(86)【国際出願番号】 IL2017051408
(87)【国際公開番号】W WO2018122859
(87)【国際公開日】2018-07-05
【審査請求日】2020-12-04
【審判番号】
【審判請求日】2021-12-06
(31)【優先権主張番号】62/441,205
(32)【優先日】2016-12-31
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】518010049
【氏名又は名称】ルムス エルティーディー．
【氏名又は名称原語表記】Ｌｕｍｕｓ Ｌｔｄ．
【住所又は居所原語表記】８ Ｐｉｎｃｈａｓ Ｓａｐｉｒ Ｓｔｒｅｅｔ， ７４０３６３１ Ｎｅｓｓ Ｚｉｏｎａ， Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】100082072
【弁理士】
【氏名又は名称】清原 義博
(72)【発明者】
【氏名】ダンジガー，ヨチャイ
(72)【発明者】
【氏名】ローネン，イータン
【合議体】
【審判長】瀬川 勝久
【審判官】野村 伸雄
【審判官】吉野 三寛
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２０８３６２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０２８９７６２（ＵＳ，Ａ１）
【文献】特開２０１２－３７７６１（ＪＰ，Ａ）
【文献】特開平８－３１３８４３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０１０９８８０（ＵＳ，Ａ１）
【文献】米国特許第５４３０５０５（ＵＳ，Ａ）
【文献】特表２００３－５２０９８４（ＪＰ，Ａ）
【文献】米国特許第６１５４３２１（ＵＳ，Ａ）
【文献】特開平１０－２７６９８５（ＪＰ，Ａ）
【文献】特開平１０－３０７３１４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G02B 27/01
G02B 27/02
H04N 5/64
G01B 11/26
(57)【特許請求の範囲】
【請求項1】
ヒトの目（１５０）の熟視方向を得るための装置（１００）であって、前記装置（１００）は、
（ａ）透明材料から形成され、内部反射によって光をガイドするために対の平行面（１０４ａ、１０４ｂ）を有する導光光学素子（ＬＯＥ）（１２０）であって、前記平行面の１つが目に対して対向して展開された導光光学素子（ＬＯＥ）（１２０）、
（ｂ）前記ＬＯＥに関連した内結合構成（１４５）であって、前記内結合構成は複数の相互に平行な平面状の部分的反射面を含み、前記複数の相互に平行な平面状の部分的反射面は前記平行面に対して前記ＬＯＥ内で傾斜して展開されてなり、前記ＬＯＥの内部で伝搬するように内結合領域内の前記平行面の１つで入射光の伝搬を内結合する内結合構成（１４５）、
（ｃ）前記ＬＯＥに関連づけられ、前記ＬＯＥの内で伝搬する平行光線のセットを、焦点面に対して集束する、捕捉光の集束ビームに変換するために構成された集光部（１０６）、
（ｄ）前記焦点面で、前記捕捉光によって形成された画像を感知するために展開された光学センサ（１２５）であって、当該光学センサは、前記平行面の一つが、目が遠景を見ているあいだ目に対して向かい合って展開されるとき、目の網膜から反射され、目のレンズによって平行にされた光が、前記部分的反射面の少なくとも２つによって前記ＬＯＥに内結合され、前記ＬＯＥ内で前記集光部に向かって伝搬し、前記光学センサによる検知のために前記集光部によって集光されるように構成されてなる、光学センサ（１２５）、及び
（ｅ）少なくとも１つのプロセッサーを含む処理システム（１０８）であって、当該処理システムは前記光学センサに電気的に関連付けられ、目の現在の熟視方向を得るために前記光学センサからの信号を処理するように構成された処理システム（１０８）を含んでなることを特徴とするヒトの目の熟視方向を得るための装置（１００）。
【請求項2】
前記光学センサは４つのコドラント・センサーを含む請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項3】
前記光学センサは複数の画素検出部を含み、前記処理システムは約１０
４
もの画素検出部からの出力を処理する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項4】
前記内結合領域の方向から目を照射するために展開された照射配列を更に含む請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項5】
前記照射配列は前記ＬＯＥへ照射を導入するように構成され、その結果、前記照射が前記対の平行面で反射によって前記ＬＯＥ内で伝搬し、前記内結合構成によって目の方へ結合される請求項４に記載のヒトの目の熟視方向を得るための装置。
【請求項6】
透明材料から形成された照射導光素子をさらに含み、内部反射によって光をガイドするために対の平行面を持っており、前記照射導光素子は前記ＬＯＥと重複する関係をとる際に展開され、前記照射配列は前記照射導光素子へ照射を導入するように構成され、その結果、前記照射が対の平行面で反射によって前記照射導光素子内で伝搬し、外結合構成によって目の方に結合され、前記外結合構成は前記照射導光素子に関連づけられる請求項４に記載のヒトの目の熟視方向を得るための装置。
【請求項7】
前記照射配列は前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために前記照射配列を作動し、前記処理システムは前記光学センサから得られた信号を処理し、前記光学センサから得られた信号は、前記パルス持続時間中に捕らえられた入射光に対応する請求項４に記載のヒトの目の熟視方向を得るための装置。
【請求項8】
通過帯域スペクトルフィルターをさらに含み、与えられた範囲外の波長の光が前記光学センサに到達するのを妨害するように展開され、前記照射配列は、主として与えられた範囲の波長内の照射を生成する請求項４に記載のヒトの目の熟視方向を得るための装置。
【請求項9】
前記与えられた範囲の波長は、電磁放射スペクトルの非可視域内にある請求項８に記載のヒトの目の熟視方向を得るための装置。
【請求項10】
前記照射配列は複数の別々に制御された照射画素を含み、前記処理システムは目の網膜の選択された領域に対応する方向に沿って選択的に照射するように前記照射画素を選択的に作動させる請求項４に記載のヒトの目の熟視方向を得るための装置。
【請求項11】
目の熟視方向の進行中の追跡の間、網膜の前記選択された領域は目の視神経円板を含む領域である請求項１０に記載のヒトの目の熟視方向を得るための装置。
【請求項12】
前記処理システムは、目の網膜からの反射に対応する強度分布のセンターを得るために前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項13】
前記処理システムは目の網膜の少なくとも１つの顕著な特徴の位置を検知するために、前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項14】
前記処理システムは目の網膜中の血管のパターンを追跡するために、前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項15】
平行にされた画像を前記ＬＯＥに導入するように前記ＬＯＥに結合された画像プロジェクタをさらに含み、その結果、前記平行にされた画像が前記ＬＯＥ内の内部反射によって伝搬し、前記内結合構成によって目に向かって前記ＬＯＥの外に結合される請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項16】
前記画像プロジェクタは前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために前記画像プロジェクタを作動させ、前記処理システムは、前記パルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する請求項１５に記載のヒトの目の熟視方向を得るための装置。
【請求項17】
前記処理システムは投影された画像の選択されたサブセクションに一致するように前記パルスを生成し、その結果、前記パルスが投影された画像の認知に寄与する請求項１６に記載のヒトの目の熟視方向を得るための装置。
【請求項18】
ユーザーであるヒトの頭に対して装置を支持するための支持構成をさらに含み、その結果、ユーザーの第１の目に対向して前記ＬＯＥが展開され、前記装置は、
（ａ）透明材料から形成され、内部反射によって光をガイドするために対の平行面を持っている第２の目の導光光学素子（ＬＯＥ）であって、前記平行面の一つが、ユーザーの第２の目に対向して展開された第２の目の導光光学素子（ＬＯＥ）、
（ｂ）前記第２の目のＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥの内部で伝搬するように内結合領域内の前記平行面の１つで入射光の伝搬を内結合するように構成された内結合構成、
（ｃ）前記第２の目のＬＯＥに関連づけられた集光部であって、
前記ＬＯＥ内で伝搬する平行光線のセットを焦点面に対して集束する、前記捕捉光の集束ビームに変換するために構成された集光部、および
（ｄ）前記焦点面で、前記捕捉光によって形成されたイメージを感知するために展開された第２の目の光学センサをさらに含み、
前記処理システムは第２の目の光学センサに電気的にさらに関連づけられ、ユーザーの目の現在の熟視方向を得るために、前記光学センサの両方からの信号を処理するように構成されてなる請求項１に記載のヒトの目の熟視方向を得るための装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は目の追跡に関するものであって、特に目の追跡器と、導光光学素子によるレチナールイメージング（ｒｅｔｉｎａｌ ｉｍａｇｉｎｇ）に基づいてヒトの目の熟視方向を追跡するための対応する方法に関し、とりわけニアアイディスプレイ（ｎｅａｒ－ｅｙｅ ｄｉｓｐｌａｙ）の一部として統合に適しているものに関する。
【背景技術】
【0002】
ニアアイディスプレイあるいはヘッドアップ・ディスプレイのための光学配置は観測者の目が位置する領域（アイモーションボックス（ｅｙｅ ｍｏｔｉｏｎ ｂｏｘ））をカバーする大きな隙間を必要とする。コンパクトな装置を提供（ｉｍｐｌｅｍｅｎｔ）するために、画像は、大きな隙間を生成するために増加する小開口を有する小さな光学画像ジェネレーター（プロジェクタ）によって伝搬する。
【0003】
１次元での隙間増加のアプローチは、透明材料を平行に対向させたスラブに基づいて開発され、該スラブ内で画像が内部反射によって進む。画像・ウェーブフロントの一部は、傾斜して角度を付けられた部分的な反射器の使用、あるいはスラブの１つの表面上での回折光学素子の使用のいずれかによって、スラブの外側に結合される。そのようなスラブは、本明細書において「導光光学素子」、「光伝導（ｌｉｇｈｔ ｔｒａｎｓｍｉｔｔｉｎｇ）基板」あるいは「導光路」と言う。そのような隙間増加の原理は、図１－４に概略的に例証される。
【0004】
図１は、内部反射によって光をガイドするために１対の平行な表面（２６）、（２６Ａ）を有する導光光学素子（２０）を示す。本明細書において概略的に表わされるように、ビームを広げるサンプル光線（１８Ａ）、（１８Ｂ）および（１８Ｃ）を含む照射（１８）ビームによって、投影画像（１８）は導光光学素子に結合されるのであるが、本明細書において概略的に例証されるように、反射光線（２８）を生成するように第１の反射面（１６）によって、反射光線は、また基板内で内部反射によって閉じ込められる光線（３０）を生成する。画像は、繰り返される内部反射によって基板に沿って伝搬し、平行な面（２６）、（２６Ａ）に対して傾斜した角度で一連の部分反射面（２２）に衝突して、そこで、画像強度の一部が反射され、光線（４８Ａ）、（４８Ｂ）として基に外結合される。ゴースト像を生じさせる望まれない反射を最小にするために、部分反射面（２２）は、好ましくは、入射角の第１の範囲で低反射率を有するようにコーティングされ、同時に図２Ａおよび２Ｂで例証されるように、例えば入射角の第２の範囲で所要の部分反射を有し、同時に、部分反射面（３４）に対して直角方向に僅かな傾斜をもつ光線（３２）が、外結合する反射光線を生成するために分割され（図２Ａ）、同時に（直角方向に対して）高い傾きの光線（３６）（図２Ｂ）が、無視できる反射で伝達される。
【0005】
図３は、画像の外結合のために回折光学素子（２３）を使用して提供される、対応する構成を例証し、本明細書に示された例において、画像（１８）の内結合のための別の回折光学素子（１７）を例証する。当該技術で知られているように、回折光学素子は、基板の上部又は下部表面のいずれかの上で展開され得る。
【0006】
両方の場合で、投影された画像（１８）は平行にされた画像である、即ち各画素は観測者から遠いシーンからの光と等価な対応する角度で平行光線のビームによって表わされる。本明細書において画像は、画像中の単一の点、典型的には画像の重心、に対応する光線によって単純に表される、しかし実際には、この中央のビームの各サイドへの角度の範囲を含み、角度の対応する範囲で基板内に内結合され（ｃｏｕｐｌｅｄ ｉｎ）、同様に対応する角度で外結合され（ｃｏｕｐｌｅｄ ｏｕｔ）、それによって観測者の目（２４）に対して異なる方向に到達する画像の部分に対応する視野を作成する。
【0007】
図１および３の隙間の増加が図面の左右方向に対応して、１次元に沿って生じる。ある場合には、同様のアプローチが図４で示されるように二次元に採用される。この場合、第１の導光路（２０ａ）は内結合の反射器（１６ａ）と、部分的に反射する外結合の表面（２２ａ）を有し、光学の入力を内結合反射器（１６ｂ）と部分的に反射する外結合面（２２ｂ）をもつ第２の導光路（２０ｂ）に提供し、このように、入力光線（９０）によって表わされる画像は、二次元で拡張した出力隙間を提供するために、二次元で連続的に増加する。本明細書において、外結合用の部分的に反射する表面を使用して説明したが、拡張の１つあるいは両方が回折光学素子を使用して実行され得る。
【0008】
隙間増加によって達成される比較的大出力隙間は、複数に離間して分割される各入力画像光線において生じることは注目されるだろう。図１および３において、これは、入力光線（１８Ａを分割することで得られる複数の外結合光線（４８Ａ）、および入力光線（１８Ｂの分割により得られる複数の外結合光線（４８Ｂ）によって表わされる。同じことが図４の２次元の拡張について同じことが言える。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の一態様は目の追跡器および導光光学素子によるレチナールイメージングに基づいたヒトの目の熟視方向を追跡するための対応する方法を提供し、ニアアイディスプレイの一部として統合に特に適している。
【課題を解決するための手段】
【0010】
本発明の実施形態の教示によれば、ヒトの目の熟視方向を得るための装置が提供され、当該装置は、
（ａ）透明材料から形成され、内部反射によって光をガイドするために対の平行な面を有する導光光学素子（ＬＯＥ）であって、前記平行な面の１つが目に対して対向して展開された導光光学素子（ＬＯＥ）、
（ｂ）前記ＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥの内部で伝搬するように内結合領域内の平行な面の１つで入射光の伝搬を内結合するように構成された内結合構成；
（ｃ）前記ＬＯＥに関連づけられ、前記ＬＯＥの内で伝搬する平行光線のセットを捕らえられた光の集束ビームに変換するために構成された集光部、
（ｄ）捕捉光を感知するために展開された光学センサ、および
（ｅ）少なくとも１つのプロセッサーを含む処理システムであって、前記処理システムは光学センサに電気的に関連づけられ、目の現在の熟視方向を得るために、前記光学センサからの信号を処理するように構成され、前記内結合構成は前記ＬＯＥ内で伝搬する光線を生成するように構成され、各光線は対応する入射光線の入射方向を示す方向を有し、複数の離間した平行な入射光線が、前記ＬＯＥ内で伝搬する単一光線に組み合わせられてなる処理システム
を含んでいる。
（ａ）透明材料から形成され、内部反射によって光をガイドするために対の平行な面を有する導光光学素子（ＬＯＥ）であって、前記平行な面の１つが目に対して対向して展開された導光光学素子（ＬＯＥ）、
（ｂ）前記ＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥの内部で伝搬するように内結合領域内の平行な面の１つで入射光の伝搬を内結合するように構成された内結合構成；
（ｃ）前記ＬＯＥに関連づけられ、前記ＬＯＥの内で伝搬する平行光線のセットを捕らえられた光の集束ビームに変換するために構成された集光部、
（ｄ）捕捉光を感知するために展開された光学センサ、および
（ｅ）少なくとも１つのプロセッサーを含む処理システムであって、前記処理システムは光学センサに電気的に関連づけられ、目の現在の熟視方向を得るために、前記光学センサからの信号を処理するように構成され、前記内結合構成は前記ＬＯＥ内で伝搬する光線を生成するように構成され、各光線は対応する入射光線の入射方向を示す方向を有し、複数の離間した平行な入射光線が、前記ＬＯＥ内で伝搬する単一光線に組み合わせられてなる処理システム
を含んでいる。
【0011】
本発明の実施形態のさらなる特徴によれば、前記内結合構成は、平行な面に対して前記ＬＯＥ内で傾斜して展開された複数の部分的は反射面を含む。
【0012】
本発明の実施形態のさらなる特徴によれば、内結合構成は、平行な面のうちの１つに関連した回折光学素子を含む。
【0013】
本発明の実施形態のさらなる特徴によれば、光学センサは４つのコドラント・センサーを含む。
本発明の実施形態のさらなる特徴によれば、光学センサは複数の画素検出部を含み、前記処理システムは約１０４もの画素ピクセル検出部からの出力を処理する。
本発明の実施形態のさらなる特徴によれば、光学センサは複数の画素検出部を含み、前記処理システムは約１０４もの画素ピクセル検出部からの出力を処理する。
【0014】
本発明の実施形態のさらなる特徴によれば、内結合領域の方向から目を照射するために展開した照射配列がさらに提供される。
【0015】
本発明の実施形態のさらなる特徴によれば、照射協定は照射がペアの平行面で反射によってＬＯＥの内に伝搬し、内結合構成によって目の方へ連結されるように、ＬＯＥへ照射を導入するように構成される。
【0016】
前記照射配列は前記ＬＯＥへ照射を導入するように構成され、その結果、照射が対の平行面で反射によって前記ＬＯＥ内で広がり、内結合構成によって目の方へ結合される。
【0017】
本発明の実施形態のさらなる特徴によれば、照射導光素子がさらに提供され、該照射導光素子は透明材料および内部反射によって光をガイドするために対の平行面を有し、前記照射導光素子は前記ＬＯＥとの関係を重複させる際に展開され、前記照射配列は照射光導光素子へ照射を導入するように構成され、その結果、照射が対の平行面で反射によって照射導光素子内で伝搬し、外結合構成によって目の方に結合され、当該外結合構成は照射導光素子に関連づけられる。
【0018】
本発明の実施形態のさらなる特徴によれば、照射配列は処理システムに関連付けられ、前記処理システムはパルス持続時間をもつ証明パルスを生成するために照射配列を始動し、前記処理システムはパルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する。
【0019】
本発明の実施形態のさらなる特徴によれば、与えられた波長の外側の波長の光が光学センサに到達しないように妨害するために、通過帯域スペクトルフィルターが提供され、照射配列は、主として波長の与えられた範囲内の照射を生成する。
【0020】
本発明の実施形態のさらなる特徴によれば、波長の与えられた範囲は、電磁放射スペクトルの非可視域内にある。
【0021】
本発明の実施形態のさらなる特徴によれば、照射配列は複数の別々に制御された照射画素を含み、前記処理システムは選択的に目の網膜の選択された部位に対応する指示に沿って選択的に明るくなるように照射画素を始動させる。
【0022】
本発明の実施形態のさらなる特徴によれば、目熟視方向の進行中の追跡の間に、網膜の選択された領域は目の視神経円板を含む領域である。
【0023】
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜からの反射に対応する強度分布の中心を引き出す、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
【0024】
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜の少なくとも１つの顕著な特徴の位置を検知するために、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
【0025】
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜中の血管のパターンを追跡するために、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
【0026】
本発明の実施形態のさらなる特徴によれば、ＬＯＥへ平行にされた画像を導入するように該ＬＯＥに結合された画像プロジェクタがさらに提供され、その結果、平行にされた画像が前記ＬＯＥ内の内部反射によって広がり、内結合構成によって目の方に前記ＬＯＥの外に結合される。
【0027】
本発明の実施形態のさらなる特徴によれば、前記画像プロジェクタは前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために画像プロジェクタを始動させ、前記処理システムは、パルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する。
【0028】
本発明の実施形態のさらなる特徴によれば、前記処理システムは投影画像の選択されたサブセクションに一致するようにパルスを生成し、その結果、パルスが投影画像の認識に寄与する。
【0029】
本発明の実施形態のさらなる特徴によれば、ユーザーであるヒトの頭に対して装置を支持するための支持構成がさらに提供され、その結果ＬＯＥがユーザーの第１の目に対向させて展開される。前記装置は、
（ａ）透明材料から形成された第２の目の導光素子（ＬＯＥ）であって、当該第２の目の導光素子（ＬＯＥ）は、内部反射によって光をガイドするために対の平行面を有し、前記平行面の１つがユーザーの第２の目と対向して展開されてなる第２の目の導光素子（ＬＯＥ）、
（ｂ）前記第２の目のＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥ内で伝搬するように内結合領域内の前記平行面の一つで入射光の伝搬を内結合させるように構成された内結合構成、
（ｃ）前記第２の目のＬＯＥに関連づけられた集光部であって、前記ＬＯＥの内で伝搬する平行光線のセットを捕捉光の集束ビームに変換するように形成されてなる集光部、及び
（ｄ）捕捉光を感知するために展開された第２の目の光学センサ
を更に備え、
前記処理システムは第２の目の光学センサに電気的に関連づけられ、ユーザーの目の現在の熟視方向を得るために、光学センサの両方からの信号を処理するように構成されてい
る。
（ａ）透明材料から形成された第２の目の導光素子（ＬＯＥ）であって、当該第２の目の導光素子（ＬＯＥ）は、内部反射によって光をガイドするために対の平行面を有し、前記平行面の１つがユーザーの第２の目と対向して展開されてなる第２の目の導光素子（ＬＯＥ）、
（ｂ）前記第２の目のＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥ内で伝搬するように内結合領域内の前記平行面の一つで入射光の伝搬を内結合させるように構成された内結合構成、
（ｃ）前記第２の目のＬＯＥに関連づけられた集光部であって、前記ＬＯＥの内で伝搬する平行光線のセットを捕捉光の集束ビームに変換するように形成されてなる集光部、及び
（ｄ）捕捉光を感知するために展開された第２の目の光学センサ
を更に備え、
前記処理システムは第２の目の光学センサに電気的に関連づけられ、ユーザーの目の現在の熟視方向を得るために、光学センサの両方からの信号を処理するように構成されてい
る。
【0030】
また、本発明の実施形態の教示に従って方法が提供され、当該方法は、
（ａ）上記の変形例のいずれかによって装置を提供する工程；及び
（ｂ）目の現在の熟視方向を得るために光学センサからの信号を処理する工程
を含んでいる。
（ａ）上記の変形例のいずれかによって装置を提供する工程；及び
（ｂ）目の現在の熟視方向を得るために光学センサからの信号を処理する工程
を含んでいる。
【図面の簡単な説明】
【0031】
本発明の典型的な実施形態は、添附図面に関して、あくまでも一例として本明細書に記載される。
【図1】ニアアイディスプレイで使用するための、部分的に反射面を使用する上述の先行技術の導光光学素子の概略側面図である。
【図3】ニアアイディスプレイで使用するために、回折光学素子を使用する上述した先行技術の導光光学素子の概略側面図である。
【図5】ニアアイディスプレイに組み付けられたヒトの目の熟視方向を追跡するための本発明の実施形態に従って構築され動作する装置の部分概略等角図である。
【図8】光学信号および光学バックグランドノイズの様々なソースを例証する本発明の装置の概略図である。
【図9A】カメラへの光学通路に沿った光学信号の連続する強度損失を例証する概略フロー図である。
【図9B】カメラへの光学通路に沿った光学バックグランドノイズの連続強度損失を例証する概略フロー図である。
【図10】通常の画像チャネルと追跡照射チャネルの間の画像データの細別を空間的に例証する概略図である。
【図11】通常の画像チャネルと追跡照射チャネルの間の画像データの一時的な細別を例証する概略図である。
【図12】本発明の一態様による目の追跡のために選択的な照射を提供する過程を例証するフロー・チャートである。
【図13】追跡アルゴリズムで使用される様々な候補の特徴を示すヒトの目の眼底の画像である。
【図14】視神経円板を通過する面において窩からの角度の関数としてヒトの目の中の桿体光受容体と錐体光受容体の数の変化を例証するグラフである。
【図15】スペクトルの可視光領域及び赤外領域の波長の関数としてヒトの網膜の反射率の変化を例証するグラフである。
【図16】ヒトの目の異なる種類の錐体光受容体および桿体光受容体の波長応答を例証するグラフである。
【図21A】異なる入射角に対する鏡のような反射および拡散する反射の幾何学的特徴を例証するヒトの目の概略側面図である。
【図21B】角度の関数として網膜からの照射の反射における変化（瞳孔のオフセットを変化させて変更される）を例証する理論計算に基づいたグラフである。
【図21D】照射波長の関数として網膜の反射率の変化を例証するグラフである。
【発明を実施するための形態】
【0032】
本発明の実施形態は、導光光学素子によるレチナール画像に基づいたヒトの目の熟視方向を追跡する装置、及び対応する方法を提供し、ニアアイディスプレイの一部としての統合に特に適している。
【0033】
本発明による目の追跡装置の原理および動作は、図面および添付の明細書を参照して更に理解され得る。
【0034】
ここで図面を参照すると、図５－２３は、ヒトの目（１５０）の熟視方向を得るために本発明の種々の実施形態に従って構築され、動作する一般的に（１００）で示された装置の構造及び動作の種々の態様を例証している。
【0035】
はじめに、多くの応用、とりわけヘッドアップ・ディスプレイあるいはニアアイディスプレイのコンテキストにおいて、ユーザーの熟視方向を決定するために目の追跡配列を提供することは有用である。目の追跡を行なうための共通の１つのアプローチは、目の画像をサンプリングすることであり、典型的には、画像内の瞳孔の位置を決定する目的とし、それによって目の配向を得る。
【0036】
目の追跡のために画像をサンプリングする図１又は３のものに類似した原理で動作する導光光学素子を採用することは特に有利だろう。しかしながら入力画像から出力画像までの１対多数の関係は、図１および３を参照して記載されているが、逆方向のサンプリング光における多数対１の逆関係を引き起こす。特に、画像のサンプリングのために逆方向で図１又は３の隙間増加配列を使用することは、システムの視野の異なる部分から基板上への複数の平行光線の入射の重ね合わせを行なうだろう。参照符号（４８Ａ）が付された多数の光路の逆に対応する光路に沿って到達する光は、すべて光線（１８Ａ）の反転路に沿った出力光線に組み合わせられ、また、光線（４８Ｂ）の反転路に沿った類似の多数の入射光線は、光線（１８Ｂ）の反転路に組み合わせられる。更に集光光学部が画像センサ上で導光光学素子によって捕捉光を集光させるために使用される場合、全視界から平行光線光路に沿って基板に投影したすべての捕捉光は、組み合わされて、単一の画素センサに落ちる。角膜、鞏膜、まぶたおよび顔面の組織の表面からの光が、典型的には全方向に散乱する（Ｌａｍｂｅｒｔｉａｎ ｒｅｆｌｅｃｔｉｏｎ）ので、視野の表面はすべて典型的には画像のすべての画素に対する放射に寄与する。これらの理由で、導光光学素子に投射する光からの画像を分解しようとするのは実現可能であると一般に考えられなかった。
【0037】
本発明は、上記の難題にもかかわらず、本明細書に記載するように、導光光学素子によって捕捉光からの目の熟視方向の決定に有効であることが分かった装置および方法を提供する。具体的には、本発明の特に好ましい実施形態は、ヒトの目（１５０）の熟視方向を得るための装置（１００）を提供し、この装置（１００）は透明材料から形成され、内部反射によって光をガイドするために、対の平行面（１０４ａ）、（１０４ｂ）を有する導光光学素子（ＬＯＥ）（１２０）を含んでいる。ＬＯＥ（１２０）は目（１５０）に対向する平行面（１０４ａ）のうちの１つで展開される。１組の部分的な反射面（１４５）などの内結合構成は、ＬＯＥ（１２０）に関連付けられ、ＬＯＥの内部で伝搬するように内結合領域内の面（１０４ａ）で入射する光の一部を内結合するように構成される。集光光学部（１０６）はＬＯＥ（１２０）に直接的に又は間接的に関連づけられ、ＬＯＥ（１２０）内で伝搬する、捕捉光を受け入れ、ＬＯＥ内で伝搬する平行光線の組を捕捉光の集束ビームに変換する。集光光学部（１０６）は好ましくは光学センサあるいは「カメラ」（１２５）に統合され、光学センサあるいは「カメラ」（１２５）は捕捉光を感知するために展開される。少なくとも１つのプロセッサーを含む処理システム（１０８）は電気的に光学センサ（１２５）に関連付けられ、目の現在の熟視方向を得るために光学センサ（１２５）からの信号を処理するように構成される。
【0038】
内結合構成は如何なる内結合配列であり得る。該内結合配列は、ＬＯＥ内の内部反射を介して伝搬する角度に対する入射放射の一部をそらし、各光線は、入射光線に対応する入射方向を示す方向を有する。適切な内結合構成は図示されるような１組の部分反射面（１４５）および回折光学素子を含んでいる。
【0039】
上述されるように、動作の逆（センサー）モードでは複数の離間した平行入射光線がＬＯＥ内で伝搬する単一光線に組み合わせられることはＬＯＥの隙間増加構成の固有の特徴である。しかしながら、網膜のイメージングについては、平行光線の結合は、画像の導出を排除しない。特に離れたシーン（あるいは離れたシーンと等価な平行投影画像）に焦点を置いた目のために、接眼レンズは、もし存在するなら如何なる矯正眼鏡レンズと共に、網膜に焦点を置いた画像を生成する。遠距離場の画像を形成するために、接眼レンズ（及び存在するなら、矯正眼鏡レンズ）によって網膜の表面から反射された如何なる光も有効に平行にされることになり、網膜像の各特徴は光の平行光線のビームに対応する。したがって、網膜像は保存されている。なぜなら平行光線はＬＯＥによって集光され、縮小された隙間に向けられ、光学センサ（１２５）に向けて集光光学部（１０６）によって集光されるからである。感知された画像データは、目の近距離場外表面からの多くの散乱光および周囲の組織を含むが、近距離場照射は、角度空間内で大雑把には一様に分布される、それによって、サンプリングされた画像中のフラットなバックグランドノイズを生成する。網膜の反射画像による、変調および（または）特徴だけが、画像内でコントラストを生成し、それによって、観測者の現在の熟視方向の測定を促進する。これらおよび他の本発明の特徴は次の詳細な説明からより明確になるだろう。
【0040】
ここで特に図６Ａおよび６Ｂを参照すると、これは、本発明の装置（１００）の限定しない１つの典型的な実施形態を示し、光学的な隙間増加を採用するニアアイディスプレイ配列を通じて追跡が実行される。図示されるような構成はつぎの２つの導光光学素子の組み合わせに基づく。即ち、第１の次元（図６Ｂで示されるような左から右）でプロジェクタの画像隙間を拡張する第１のＬＯＥ（１１０）、および第２の次元（本明細書で例証されるように頂部から底部）で画像隙間を拡張する第２のＬＯＥ（１２０）である。画像プロジェクタ（１０２）は、ＬＯＥ（１１０）への偏光選択的なビーム分割器（ＰＢＳ）１０５を通って光を投影する（実線の矢で示される）。本明細書で例証されるような実施形
態の限定されない１つの特に好ましい組み合わせにおいて、ＬＯＥ（１１０）は「２Ｄ導光路」であり、それは相互に直角の２対の表面を有することを意味し、該２対の表面は、ＬＯＥ（１１０）に沿って画像が伝搬するように二次元で画像をガイドするように機能する。ＬＯＥ（１２０）は「ＩＤ導光路」であり、「スラブ型導光路」を定義する１対の平行な主表面を有することを意味し、該「スラブ型導光路」は１次元で画像をガイドする。図７Ａおよび７Ｂの中で例証されるような他の実施形態で、装置（１００）はたった１つの導光路（ＬＯＥ１２０）を使用して実装され得る。本明細書で例証されるような後者の場合は、傾けられたプロジェクタ内結合構成を採用する。ニアアイディスプレイのコンテキストでのそのような導光構成及び内結合（目の追跡なし）は、様々な文献で見つけることができ、国際公開第ＷＯ２０１５／１６２６１１号公報および国際特許出願第ＰＣＴ／ＩＬ２０１７／０５１０２８号（この出願は本出願の出願日の時点で公開されておらず、先行技術を構成しない）を含み、前記文献は本明細書においてあたかも完全に言及されるかのように全体が組込まれている。本明細書に例証された典型的な実施形態は、主として図６Ａおよび６Ｂの２つの導光路の実施形態に言及し、この実施形態はより複雑な実施形態であり、一方、単一の導光路実施のより単純な構造を実装するために要求される変形は、当業者には自明であろう。
態の限定されない１つの特に好ましい組み合わせにおいて、ＬＯＥ（１１０）は「２Ｄ導光路」であり、それは相互に直角の２対の表面を有することを意味し、該２対の表面は、ＬＯＥ（１１０）に沿って画像が伝搬するように二次元で画像をガイドするように機能する。ＬＯＥ（１２０）は「ＩＤ導光路」であり、「スラブ型導光路」を定義する１対の平行な主表面を有することを意味し、該「スラブ型導光路」は１次元で画像をガイドする。図７Ａおよび７Ｂの中で例証されるような他の実施形態で、装置（１００）はたった１つの導光路（ＬＯＥ１２０）を使用して実装され得る。本明細書で例証されるような後者の場合は、傾けられたプロジェクタ内結合構成を採用する。ニアアイディスプレイのコンテキストでのそのような導光構成及び内結合（目の追跡なし）は、様々な文献で見つけることができ、国際公開第ＷＯ２０１５／１６２６１１号公報および国際特許出願第ＰＣＴ／ＩＬ２０１７／０５１０２８号（この出願は本出願の出願日の時点で公開されておらず、先行技術を構成しない）を含み、前記文献は本明細書においてあたかも完全に言及されるかのように全体が組込まれている。本明細書に例証された典型的な実施形態は、主として図６Ａおよび６Ｂの２つの導光路の実施形態に言及し、この実施形態はより複雑な実施形態であり、一方、単一の導光路実施のより単純な構造を実装するために要求される変形は、当業者には自明であろう。
【0041】
ＬＯＥ（１１０）からＬＯＥ（１２０）への画像の結合は本明細書で示されるが、一連の内部で部分的に反射する表面（あるいは「ファセット」）（１４０）によって実行されるように示され、部分的に反射する表面（あるいは「ファセット」）（１４０）はＬＯＥ（１１０）の１つ又は両方の対の平行面に対して傾斜した角度で展開される。観測者の目に向かって第２のＬＯＥ（１２０）の外に連結されることが達成されるが、これは内部で部分的に反射する表面（「ファセット」）（１４５）の第２の組を使用することで達成され、内部で部分的に反射する表面（「ファセット」）（１４５）の第２の組は、図６Ａおよび７Ａの側面図で最も理解されるように、その基板の平行面に対する傾斜角度で展開される。当該技術で知られているように、ＬＯＥの１つ又は両方のファセットは、回折光学素子と取り替えられ得る。網膜（１２０）上の集中した画像を生成するために、プロジェクタ画像の結合された光は、対眼レンズ（１１５）（シーン補正が必要とされる場合は眼鏡レンズ（１１７）の援助と共に）によって集中する。
【0042】
本発明の典型的な実施形態によれば、ニアアイディスプレーシステムは、観測者の網膜に存在するパターンをイメージングにより、観測者の目の視線を得る。その観測は導光路（１２０）および（１１０）を介して実行され、導光路（１２０）および（１１０）は、この場合観測者の目に画像を投影するために使用されたものと同じ導光路である。パターンの位置およびそれらの運動は、目の現在の視線および運動を示す。そのようなパターンは、図１３に示された網膜の画像で示される。血管（１５２）はパターンを生成し、該パターンは適切な画像処理命令によって実装された、適切な標準あるいは専用追跡アルゴリズムによって追跡することができ、画像処理命令は処理システム（１０８）によって実行される。窩（１５５）は、観測の方向を決定し、視神経円板（あるいは「盲点」）（１５７）は神経と血管が互いに近寄る特有の追跡することができる点である。
【0043】
光のうちのいくつかは、レンズ（１１５）によって網膜の後ろに反射され（鎖線の矢として表された）、該レンズ（１１５）は、光を平行ビームに有効に平行にし、プロジェクタからの光が辿るのと同じ光路に沿って後ろに伝搬する。光の有効部分は失われる（さらに以下に記載される）、しかし説明の明確性のために、追跡に役立つ部分だけが示される。反射光の一部は導光路（１２０）に内結合される（ｃｏｕｐｌｅｄ－ｉｎ）ようにファセット（１４５）によってそらされ、導光路（１１０）に外結合される（ｃｏｕｐｌｅｄ－ｏｕｔ）ようにファセット（１４０）でそらされ、カメラ（１２５）へのＰＢＳ（１０５）によって反射される。いくつかの実施形態では、偏光スクランブラー（図示せず）がＰＢＳ（１０５）の前に置かれる。カメラ（１２５）は、プロジェクタ（１０２）に無限に相似して集光され、それによって、網膜の画像はカメラで生成される。
【0044】
イメージングプロセスに役割を果たす照射の種々のソースは、図８に概略的に描かれる。導光路（１２０）は観測者（１００１）の目に対向して展開され、これはシーンの観測者の目が導光路を通過することを意味すること。外部光源（００２）破線の矢）は導光路と観測者を照射する。この外部光は連続的で、背景放射として光学系に入り込む。光学系（実線の矢）によって発生した光は観測者の網膜（１２１）および顔を照射する。網膜からの反射（一点鎖線の矢）は、関心のある信号であり、一方、非網膜組織表面からの反射（二点鎖線の矢）は、追加の背景放射であり、追加の背景放射は、システムの照射パターンと強度相関している。システム内の如何なる内部散乱は、観測者の顔から散乱した光と同じ特徴を有する。
【0045】
すべての背景照射は、網膜画像の質を劣化させるノイズを引き起こす。本発明の態様に従って、外部照射源（１００２）の効果を弱めるために、短い光のパルス（好ましくは、１ｍｓ未満）が使用され、カメラはこの短い照射持続時間の間のみ光を統合するために同期される。このように、連続的な背景照射は非常に抑えられる。追加的に、あるいは代替的に、通過帯域スペクトルのフィルターは、波長の与えられた範囲外の波長の光を妨害するために展開されることができ、波長の与えられた範囲内で、目の追跡照射は光学センサに達することから生成される。
【0046】
目の検出に必要な光の量を得るために、照射反射によって引き起こされる背景光の評価に従う（図８の二点鎖線の矢）。この評価、および本明細書において示された動作原理および計算値の他のすべての検討は、発明についてのより十分な理解を提供する目的でのみ与えられる、しかし、特許請求の範囲において明示的に記載された以外の方法で、本発明を限定してはならない。特に本明細書で示された如何なる特定の計算あるいは値が、後に不正確であること、或いは誤っていることが分かった場合、そのような事実は、本明細書に記載されたとおりの本発明の有用性を否定するものではない。
【0047】
正常な背景表面は、パイ・ステラジアンまで光を反射する（表面がＬａｍｂｅｒｔｉａｎ ｒｅｆｌｅｃｔｉｏｎに接近する反射光配分を生成する低い光表面であると仮定している）、一方、瞳孔はフラッシュ撮影中にしばしば観測される「赤目」効果に対応する方向性の反射を生成し、光学系背後から光学系内に受け取った光を反射する。従って、網膜から受け取られた光の強度は等価な背景表面より強い。さらに、近い「背景」表面からの照射が存在しない間、網膜からの画像はカメラ（１２５）の画像面で集光される。これは、背景に由来した網膜の画像と画像コンテンツを区別する能力を高める。
【0048】
図９Ａおよび９Ｂは、目から追跡カメラ（１２５）までの背景照射のためのリターンパスの光エネルギー損失を表す。
【0049】
明るい光の中のヒトの目の瞳孔は約４ｍｍ２である、一方、アイボックス（画像が見える領域であり、システムによって照射された領域に対応し、背景反射を生成する領域）が、およそ４００ｍｍ２であり得る。照射の量および散乱係数が信号と背景の両方に対してほぼ同じであると仮定すると、信号に対する反射した背景の比はＲ＝２ｘ１００＝２００である。（アイボックス内の外部組織が網膜の組織より約２倍反射し得ると仮定する。）次の方程式は、ショットのイズが制限されたカメラを仮定して、あらかじめ定められたＳＮＲの必要な信号を示す：
【0050】
【数1】
【0051】
したがって、５つの必要とされるＳＮＲに対して、光子の要求される数は次式で表される。
【0052】
【数2】
【0053】
ここで、「特徴」は、定義されたＳＮＲで検知される画素あるいはパターンで有り得る。
【0054】
この計算では、他のバックグラウンド光がシステムに入り込まないと仮定された。したがって、本発明によれば、導光路端（図１の（１２６））は、好ましくは吸収するか、あるいは吸収筐体内に存在する。これは、光導波路中で伝搬すると、背景放射がエネルギーを失うことを保証する、これは網膜からの信号と同じ方法で、エネルギーを獲得しない。
【0055】
光学系に沿ったエネルギー透過率は、１つの制限しない例において以下のように近似することができる：
【0056】
＊ファセット（１４５）のうちの１つを介して導光路（１２０）に２０％結合された、
＊（追加のファセット等を経て）導光路（１２０）に沿った透過率５０％、
＊（存在する場合）ファセット（１４０）を介して上部導光路（１１０）に２０％結合される、
＊導光路（１１０）に沿った透過率５０％、
＊ＰＢＳ（１０５）を介するなどしてカメラ（１２５）に５０％結合
＊カメラ（１２５）の光伝送および量子効率５０％。
＊（追加のファセット等を経て）導光路（１２０）に沿った透過率５０％、
＊（存在する場合）ファセット（１４０）を介して上部導光路（１１０）に２０％結合される、
＊導光路（１１０）に沿った透過率５０％、
＊ＰＢＳ（１０５）を介するなどしてカメラ（１２５）に５０％結合
＊カメラ（１２５）の光伝送および量子効率５０％。
【0057】
上記のすべて透過率２．５ｅ－３での結果。変調伝達関数（ＭＴＦ）および内部散乱のような他の性能低下因数は、透過率２．５ｅ－４を引き起こすために１０の別の因数として近似することができる。
【0058】
導光路（１１０）が存在しない実施形態では、透過率はより高く、そして、上記の評価を使用すると、約２．５ｅ－３になるであろう。
【0059】
すべてのフレームの統合時間の間、ほぼ５０００／２．５ｅ－４＝２ｅ７の光子を受け取ることになる。３ ｅ－１９Ｊ（赤）の光子エネルギーについては、これは、ほぼ６ｅ－１２［Ｊ／統合時間／特徴／］、あるいは１ミリ秒の統合時間用の６／ｎＷ／特徴／である。これは実用的な照度である。
【0060】
もし網膜の選択された部分だけが、以下にさらに検討される本発明の特定の実施形態（及びアイボックスの他の領域に達する光線の対応する選択された方向）で提案されたとおりに照射されるならば、背景散乱は大幅に縮小される。
【0061】
目の追跡照射が観測者の投影された虚像の認識を混乱させないことを保証するように注意すべきである。多くのアプローチは下記の１つ以上を含む表示された画像の混乱を回避するために使用され得る。
【0062】
＊低い強度を使用する；
＊投影された画像の一部として追跡照射を組み合わせる；
＊網膜の無感覚又は無関係の領域に向けられた選択的な追跡照射；
＊目が無感覚な波長で機能するが、光学部は送信することができ、カメラは検知することができるように追跡照射波長を選択する。
つぎのものは各々別々に提案される。
＊投影された画像の一部として追跡照射を組み合わせる；
＊網膜の無感覚又は無関係の領域に向けられた選択的な追跡照射；
＊目が無感覚な波長で機能するが、光学部は送信することができ、カメラは検知することができるように追跡照射波長を選択する。
つぎのものは各々別々に提案される。
【0063】
低い強度：
【0064】
このアプローチによれば、高度に敏感で、低い内部雑音を有するカメラを使用することが好ましく、それによって低照度強度でさえ良好なＳＮＲを備えた網膜の有効なイメージングを可能にする。これは、十分に低い強度追跡照射の使用を可能にし、観測者はその照射に気づかないだろう。
強度は、上述したＳＮＲ計算を更に満たすべきである。
強度は、上述したＳＮＲ計算を更に満たすべきである。
【0065】
照明を組み合わせること：
【0066】
目の追跡照射は投影画像の一部として組込まれ得る。照射は、画像投影の間に、あるいは図１０に描かれるような個別のタイムスロットに存在し得る。この例において、タイムスロット「ａ」の間での画像プロジェクトは、見当たらない領域、或いは抑えられた領域を備えた画像を投影する。この照明は、比較的長い持続時間（例えば約１０ミリ秒）になりえる。タイムスロット「ｂ」の間で、相補的な画像はより長いパルス、より高い強度で短いパルス（例えば約１ミリ秒の持続時間）として照射され、画像プロジェクトを完了することに加えて目の追跡照射として役立つ。右手の画像は、２つの照射期間を統合する脳によって知覚されるものを表わす。相補的な画像は、色分解のうちのいずれか１つ、あるいは表示色の組み合わせであり得、そして任意の選択された位置あるいは画像内の位置に存在し得る。この照射のための好ましい「パターン制御」の１つの例が以下に述べられる。
【0067】
図１０の表現がプロジェクタの画像面に関するものであり、かつ網膜上に形成された画像であることは注目されるべきである。導光路内で、およびアイボックス内の導光路を出る光において、角画素は、特定の角度の方向を持つ広い平行ビームに対応する。図１０に概略的に例証されるような選択的なパターンの使用、タイムスロット「ｂ」は、視野内の少数の選択された角度方向での照射に対応する。
【0068】
照射パターン制御：
【0069】
特に画像発生器（１０２）（図６Ｂ又は７Ｂにおいて）が目の追跡照射を生成するために使用される場合、網膜上の照射パターンを便利なように制御することは可能であり、それによって、関心領域だけを照射し知覚された画像に対する混乱を減少する。そうするために、照射の時系列は画像投影タイミングと組み合わせるべきである。そのような実施形態の時間管理の一例は図１１に描かれる。特定の実施形態では、１組の発光源はカラーをすべて生成するために順に活性化される。各光源がそれぞれ照射しているとき、変調行列（ＬＣＯＳ、ＬＣＤあるいはＭＥＭＳ）はこのカラーの必要な画像を生成する。すべての画素の変調と共に速いシーケンスの個々のソースの組み合わせは、観測者の網膜上の細胞によって知覚されるように、画像中のすべての画素の必要なカラーを生成する。本発明の特定の実施形態によれば、追加の時間スロットは、照射のシーケンスへ導入される（アイトラッカーパルスと記載されている）。このタイムスロットでは、ソース（カラー）、あるいはソースおよび（または）専用視標追跡波長ソース（以下に説明される）の組み合わせの１つは、短いパルスとして活性化され、網膜の単に必要な部分だけを照射するために、照射パターンは変調器によって決定される。処理システム（１０８）は、このパルス時間中にのみ光電子を統合するために目追跡カメラ（１２５）を作動する。
【0070】
この選択された照射パターンは背景ノイズを著しく縮小する、なぜなら、追跡される網膜の選択された領域が完全に照射されるからである。しかし、アイボックス領域に広がって送達される放射線のトータル量は、画像において「能動的である」画素の割合に従って縮小される。
【0071】
照射パターンは網膜上の関心のある特定の箇所にのみ集中させることができる、例えば視神経円板（図１３中の「ブラインドスポット」（１５７））において集光させることができる。視神経円板は光に対して最小の感知性の血管がパターン化する特性を有する。観測者の実際の視線は、この先端部からの角度のオフセットとして計算される。実際の視線を引き出し追跡する、限定されない、特に好ましい方法は、図１２に描かれる。最初の３ステップは、網膜パターンを写像し、追跡する特徴を決定する最初のセットアップ過程である。その一方で後のステップは連続的な追跡プロセスを表わしている。具体的には、工程（２１０）において、画像マーカーは、初期設定中に観測者が見るために、観測者に表示される。観測者がマーカーに目を向けている間、眼底（網膜の可視部）は、短いパルス（工程（２１２））によって完全に照らされ、眼底の完全な画像が得られた。その後、典型的には視神経円板および窩（工程（２１４））を含む追跡することができる特徴を識別するために、この画像は処理システム（１０８）によって処理される。その後、視点方向の進行中の追跡は以下のように進む。選択された関心領域（ＲＯＩ）は選択的に照射され、典型的には、図１０および１１（工程（２１６））に関して上述されるように照射順序により、画像は対応する照射パルス（工程（２１８））中にサンプリングされる。生じる画像は目標のカレントラインを決定するために処理され（工程（２２２））、目標のこの得られたラインは照射サイクルの後のサイクルの間に関心領域の位置を更新する（工程（２２４））ために使用され、追跡プロセスは工程（２１６）に戻る。追跡測定の頻度は、目の運動の速度の大きさと比較されると仮定し、この更新処理は典型的には連続的な追跡を維持するのに有効であり、随意に別の目からの追跡情報に組み合わされた。視線の方向が変わるように、照射領域も変わる。関心領域の更新は、最後のサンプリングされた画像から決定されるように「現在の」熟視方向によって実行され得るか、あるいは、特定の場合に、従来の２つ以上の測定間の目の運動に基づいた予測的な外挿法を使用し得る。追跡が失敗する場合、照射領域の大きさは一時的に増加され得る場合があり、ついで、追跡することができる特徴が回復される。
【0072】
本発明の特定の特に好ましい実施形態によれば、目の追跡配列は被験者の両方の目を同時に追跡するために二重にされる。２つの目の追跡具（ｅｙｅ ｔｒａｃｋｅｒ）からのデータを組み合わせることによって、追跡の増強された安定性および連続性を達成することは可能であり得る。例えば、目が移動している間、視神経円板（１５７）は一方ではなく他方の目の追跡具で見え、他方の追跡具では見えない。盲点の追跡を使用する追跡アルゴリズムが使用される場合、両方の目のための同時の追跡は、１つの目の追跡具だけが盲点を追跡することができる期間を通じて追跡が連続的に維持されることを可能にする。
【0073】
波長選択：
図１４－１６を参照すると、スペクトル感度も目の追跡照射中に目の刺激を最小限にするために使用することができる。図１４で示されるように、桿状体細胞は主として周縁視覚の役割をし、窩には存在しない。図１６にグラフ「Ｒ」によって示されるように、桿状体細胞は赤（６２０ナノメートル以上）に比較的無感覚である。周辺の領域の中にある錐状体の減少数は、桿状体ほど低い光源レベルに敏感ではない。したがって本発明の特定の実施形態によれば、目の追跡用の赤色光によって周辺の網膜（即ち、窩以外）を照射することは望ましい。
図１４－１６を参照すると、スペクトル感度も目の追跡照射中に目の刺激を最小限にするために使用することができる。図１４で示されるように、桿状体細胞は主として周縁視覚の役割をし、窩には存在しない。図１６にグラフ「Ｒ」によって示されるように、桿状体細胞は赤（６２０ナノメートル以上）に比較的無感覚である。周辺の領域の中にある錐状体の減少数は、桿状体ほど低い光源レベルに敏感ではない。したがって本発明の特定の実施形態によれば、目の追跡用の赤色光によって周辺の網膜（即ち、窩以外）を照射することは望ましい。
【0074】
網膜からの反射が可視波長でよりも赤外線において実質的により高いことは図１５のグラフから明白である。７００ｎｍで、反射は可視の赤のほとんど２倍である。したがって、可視の赤外線（６５０－７５０ｎｍの間、最も好ましくは６８０－７２０ｎｍの間）の干渉縞にある波長を使用することは有利であり得る。なぜなら、光学系内で分散することが縮小され、導光路のオプティカルコーティングには可視光線のようにほとんど同じ反射率を有しているからであり、目がこれらの波長に無感覚である。
【0075】
より長い波長（例えば、９００ｎｍ）を可視範囲よりも６倍まで多くの反射率を有し、そして、本発明に従って使用することができる。しかしながら、これは、オプティカルコーティングの最適化を必要とするが、様々な表面の必要とされる反射率が目の追跡具の波長に適することを保証するためである。
【0076】
赤外線照射が目の追跡具に使用される場合、赤外線照射の提供に対する様々なオプションがある。可視波長に近い近赤外線の波長が使用される場合、赤外線照射は、従来の可視画像投影配列での４番目の「色」として例えばＬＣＯＳモジュレーターを使用して、組み合わせられ得る。パターン化された照射が赤外線のより長い波長に対して望まれる場合、典型的にはディジタル光処理（ＤＰＬ）デバイスが好ましい。パターン化しない照射については、典型的には専用の照射ソースが画像プロジェクタと無関係に提供される。図１７Ａ－２０は、本発明による装置に対する特定の実施形態のオプションを例証し、光学系にＩＲ照射を組み入れている。
【0077】
まず図１７Ａおよび１７Ｂを参照すると、これらの図は一実施形態に関するものであり、近赤外線ソースのエキストラ「カラー」のような可視画像投影配列への統合によって、近赤外線照射が送達される。プロジェクタの詳細は示されないが、当業者には自明であろう。目の検出カメラは、この場合上部の導光路（１１０）に隣接して設置され、その結果、図６ＢのＰＢＳ（１０５）は必要とされない。この構成は、ＬＯＥ（１１０）の内部ファセット（１４０）が光を上方へ結合するという事実に基づいており、この光は左から右に伝搬する。この構成では、散乱の伝達を最小限にするために偏光子（１２６）を導入することが可能である。
【0078】
図１８Ａおよび１８Ｂは、導光路（１１０）へとビーム分割器（３０４）（それは例えば５０／５０ビーム分割器あるいはＰＢＳであり得る）を通して画像プロジェクタ（１０２）（以下、ＩＲと言うＩＲまたはＶＩＳであり得る）の出力と異なる波長がある発光源（３０２）が、光を送信する更なる構成を例証する。（ＩＲまたはＶＩＳでありえ、以下ＩＲという）画像プロジェクタ（１０２）の出力と異なる波長を有する発光源（３０２）を経て光を導光路（１１０）へ伝達する（ビーム分割器（３０４）は、例えば５０／５０ビーム分割器あるいはＰＢＳであり得る）。第１のファセット（３０６）は、画像プロジェクタ（１０２）から可視光線のすべてあるいは大部分を伝達するように設計されている。しかし、目の追跡具のためにＩＲ光に対して反射する。図６Ａおよび６Ｂに記載されているように、ＩＲ照射光は目の後ろに伝搬する。その後、ＩＲ照射光は参照符号（３０６）によってビーム分割器（３０４）に反射され、撮像カメラ１２５に伝送される。
【0079】
図１８Ｃで、戻り光（破線の矢）は、反射されず、この導光路によってガイドされて、導光路（１１０）を通じて力の伝達によって撮像カメラ１２５へ直接反射される。これはより広い受信光学部（図７Ａおよび７Ｂのように単一の導光投影配列の中で使用される配列に類似している）を必要とし得、及び／又はプロジェクタより小さな受光アイボックスを有し得る。図２１Ａ－２１Ｃを参照して更に以下に述べられるように、（画像プロジェクタと異なり）目からの反射が軸芯から離れる角度で存在する場合があるので、典型的には、より小さなアイボックスは受け入れ可能である。照射は、画像プロジェクタから、あるいは図示されるような専用の照明器（３０２）からであり得る。
【0080】
図１９は、可視（ＶＩＳ）画像投影と共にＩＲ照射を導入するために投射システム（１０２）の可能な実施形態の詳細を概略的に示す。ＶＩＳ＿ＬＥＤ（４００）からの光は、光導波路（４０２）（均一性を増強するための任意の機能）を経て、照明光学系（４０４）を経て、ビーム分割器（４０６）経て、ＬＣＯＳ（４０８）上に達する。ＬＣＯＳが１つの画素毎にカラーフィルタを埋め込んでいる場合、システムに光導波路はなく、照射は白色ＶＩＳ＿ＬＥＤによる。目の追跡用のＩＲ＿ ＬＥＤ（４１０）は、二色分割器（４１２）によって導入される。ＩＲ＿ＬＥＤは、順にあるいはＶＩＳ＿ＬＥＤと同時に照射する。
【0081】
図２０は図６Ｂで示される構成に対応する更なるオプションを例証する。この場合、参照符号（１０２）は画像投影光学部（詳細に示されない）である。また、参照符号（１０５）はビーム分割器である。しかしながら、この場合、参照符号（１０５）は、好ましくはプロジェクタから可視光線を伝達するが、目の追跡システムからのＩＲ光を反射する二色ビーム分割器である。明確に、反対の特性を備えた二色のビーム分割器は伝達された方向にＩＲ追跡システムを備えた等価の構成を構築するために使用することができる。
【0082】
目の追跡システム用のＩＲ照射はＩＲ＿ＬＥＤ（５００）によって生成され、光は二色分割器（１０５）上でビーム分割器（５０２）（５０／５０ビーム分割器又はＰＢＳであり得る）を通過し、そして、導光路（ビーム分割器（１０５）に隣接しているが、この図面の中で示されない）上で反射される。反射光（破線の矢）は反転路を追随し、ＩＲカメラ（１２５）上でビーム分割器（５０２）を通過する。
【0083】
実施形態にここまで記載され、網膜の詳細な特徴が追跡されるが、本発明の特定の実施形態は代替の追跡技術である。図２１Ｂおよび２１Ｃの中で例証されるように、網膜からの反射は典型的には反射する構成部品およびディフューザーの両方を含んでいる。図２１Ａの目（２００）の単純化モデルは、網膜（２０１）のセンターに垂直に入射する軸芯上の光線を示す。強い正反射（２０２）は入射ひとみによって反射され、したがって、この反射は強く外部的に検知される。しかしながら、光が軸芯から離れた角度（２０４）で網膜に入射するとき、正反射（２０６）は瞳孔を出ず、および、拡散反射だけが瞳孔（破線の矢としてマークされた）を出る。これは外部的に検知されるはるかに弱い信号である。
【0084】
図２１Ｂのグラフは結合した反射強度を概略的に示す。正反射構成部品（可変振幅Ａであると特徴付けられた）は角度依存であるが（本明細書では瞳位置と記載された）、拡散反射は大雑把には一定である（振幅Ｂであると見なされた）。図２１Ｃおよび２１Ｄのグラフは、反射の構成部品のための実験の測定および波長依存性を示す。これらの実験によれば、反射の半値全幅（ＦＷＨＭ）はほぼ２ｍｍの瞳孔移動（大雑把には～１０°に対応する）である。検出の実際の分解は次のように近似することができる：
【0085】
【数3】
【0086】
ＳＮＲが１０～１００の範囲にある場合があるので、目の配向分解は１°から０．１°である。正確な配向検出のための信号処理が知られている。その一例は、Ｙ．Ｄａｎｚｉｇｅｒによる"Ｓａｍｐｌｉｎｇ－ｂａｌａｎｃｅｄ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｕｔｉｌｉｚｉｎｇ ｗｈｉｔｅｎｉｎｇ ｍａｔｃｈｅｄ ｆｉｌｔｅｒ"と題するもので、Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ、Ｖｏｌ． ４９， Ｉｓｓｕｅ １７，ｐｐ．３３３０－３３３７（２０１０）に掲載された。
【0087】
したがって、目から本発明の導光路へ戻る反射強度のエンベロープが角度制限されることは理解される。目の配向を決定するために、この特性は本発明の特定の実施形態に従って使用される（パターン検出から独立している）。
【0088】
本発明のこの態様によれば、好ましくは、全視野が照射され、部分だけが目によって反射される。図２２は反射された視野を概略的に表し、円は網膜の強い正反射を表わし、環境が弱く反映されている。
したがって、網膜パターンは、この円内に非常に目に見えるだろう。しかし外側ではそれほど明瞭でない（破線で表された）。この発明によれば、目の配向は、パターン、および高い反射の「エンベロープ」の移動として観測されるだろう。
したがって、網膜パターンは、この円内に非常に目に見えるだろう。しかし外側ではそれほど明瞭でない（破線で表された）。この発明によれば、目の配向は、パターン、および高い反射の「エンベロープ」の移動として観測されるだろう。
【0089】
典型的には広範囲なセンサマトリックスを必要とする上述したパターン検出と異なり、本明細書で記載された種類の包絡線検波ははるかに低い解像度を必要とし、および４つのコドラントあるいは「直交位相」検出器あるいは１０４未満、典型的には、わずか５０ｘ５０画素という画素数の低いピクセル計算検出器を使用して実行され得るが、これは光コンピューターマウスにおいて共通である。実施形態のこのグループのために、光学センサ（１２５）を展開させることは、特定の場合には有利であり得る。光学センサ（１２５）はわずかに画像の焦点をずらすために焦光光学系（１０６）の焦点面から僅かに移動され、それによってピクシレーション関連の結果を弱めるか回避する。センサ素子の数の低減は、高速の図形処理の使用を認め、次に跡プロセスの応答速度に寄与する。
【0090】
ここまで記載された実施例は一つの導光路で目の追跡照射とイメージングを組み合わせたが、それが２つの別個の導光路間のこれらの２つの機能を分割するのにある場合には有利であることが注目されるべきである。具体的には、特定の場合には、目に達する前に、目の追跡具照射の内部散乱が受光カメラを飽和状態にするのに十分な後方散乱線を生じさせるかもしれないという危険性がある。この問題の回避することへの１つのアプローチは、滑らかなコーティングあるいは導光路面上にガラス層を導入するなどして伝達する導光路の照明の後方散乱を最小限にすることである。代替のアプローチは図２３に概略的に例証される。ここで伝達機能と受光機能は２つの導光路間で細分される。
【0091】
具体的には、図２３の例示的な実施形態では、増加したニアアイディスプレイ（２５０）は目を照射する画像を送達する如何なるタイプであり得る。この側面図の例証では、２Ｄ導光路および１Ｄ導光路の組み合わせを採用するものとして示され、すべて、部分的に反射するファセットに基づいているが、上述した追加のオプションもすべて本実施形態に当てはまる。この図では、一点鎖線の矢は、組み合わされた伝達／受光導光路を飽和することができる１つの散乱点（多数あってもよい）を表わす。
【0092】
前述のとおり、照射は可視照射によっても、あるいは近赤外線によっても可能である。
本明細書で例証された実施形態では、目からの反射光は、照射導光素子とは異なる平行導光路（２５５）によって集光される（側面図で示される）。この場合、両方の導光光学素子は、上述された通り、透明材料から形成され、内部反射によって光をガイドするために対の平行面を持って、観測者の目に対向して重複させて展開される。
本明細書で例証された実施形態では、目からの反射光は、照射導光素子とは異なる平行導光路（２５５）によって集光される（側面図で示される）。この場合、両方の導光光学素子は、上述された通り、透明材料から形成され、内部反射によって光をガイドするために対の平行面を持って、観測者の目に対向して重複させて展開される。
【0093】
反射光（破線の矢として描かれた）は、照射導光路（２５０）を通過し（照射導光路は、観測者が実際の世界を見ることを可能にするために殆ど透明にして実施される）、受光導光路（２５５）に至る。またこの導光路はほとんど透明である、しかし、この導光路は、また導光路中への放射線の一部を結合させるための結合機構（ファセット又は回折）を含んでいる。反射画像はこの導光路（２５５）内で広がり、上記した組み合わせシステムで記載したのと殆ど同じやり方で、受光器よって集光される。
【0094】
ここで少し図５に戻ると、本明細書で例証された特定の限定されない実施形態によれば、装置（１００）は、観測者の耳と係合するサイドアーム（６００）を備えたメガネ形状係数で実施される、しかしヘルメットに取り付けるなど他の形状係数は明確に本発明の範囲内にある。当該技術で知られているように、処理システム（１０８）は、任意の適切なタイプの処理ハードウェア及び／又はソフトウェアを使用して実施することができ、種々の専用グラフィックス・プロセッサー、ディスプレイドライバ、及び任意の適切な動作システムの下で動作し、適切なソフトウェアモジュールあるいはファームウェアモジュールを実行する汎用プロセッサーの如何なる組み合わせも含むが、それらに限定されない。処理システム（１０８）は、典型的には、情報およびグラフィックコンテンツの双方向の転送用のＬＡＮ及び／又はＷＡＮデバイスを備えた有線又は無線の通信を可能にするための種々の揮発性のデータ記憶要素及び種々の通信要素を含んでいる。そのような装置は適切な電力原から動力が供給される。当該動力源はバッテリーの如何なる組み合わせであり得、及び／又は外部動力源が設けられ得、ケーブル（６０４）を介して接続された電力源（６０２）として構成され、本明細書において概略的に例証される。バッテリー電源が使用される場合、バッテリーはメガネかヘルメット実装構造体の一部として構成され得る。
【0095】
本発明の目の追跡が目の角度方向（即ち、熟視方向あるいは「視線」）を基本的に決定することであることは注目される。しかしほとんどの実施形態において、目がＬＯＥの適用範囲の有効アイボックスにとどまる限り、装置に対する目の空間位置に本質的に無感覚である。そのようなものとして、前記装置は、メガネ型デバイス又はヘッド・マウント型デバイス及び／又は他の装着可能なデバイスは大きな利点がある。何故なら、頭とのシステムの正確で反復可能な位置合わせを保証することは必ずしも実現可能ではなく及び／又は、使用中にシステムが目に対していくぶん移動し得るからである。
【0096】
上述のとおり、メガネ構造の一方の側の部分図として本明細書では例証したが、デバイス全体が、単眼或いは両眼の画像投影および追跡を提供し得、双眼鏡は、特に単眼及び両眼の両方にとって特に好ましく、装置が両眼であると、様々な処理要素および電力供給要素は２つの追跡システムによって随意に共有され得る、そして上記されるように、追跡情報は追跡の増強された安定性および連続性を提供するために、好ましくは融合される。
【0097】
添付の特許請求の範囲は多数項従属なしに記載された。これは単にそのような多数項従属を許可しない国の管轄権の方式的な要件に適合させるために行ったのである。多数項を従属して請求項を与えることにより意味づけられる特徴のあらゆる組み合わせは、明示的に着想され、本発明の一部と考えられるべきことは注目されるべきである。
【0098】
上記の説明が単に例として役立つように意図され、他の多くの実施形態が、添付の特許請求の範囲で定義されるような本発明の範囲内で可能であることが認識されるだろう。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図18C】
【図19】
【図20】
【図21A】
【図21B】
【図21C】
【図21D】
【図22】
【図23】