知財求人 - 知財ポータルサイト「IP Force」
特許7581413光走査プロジェクタと連動した眼移動の追跡のための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-01
(45)【発行日】2024-11-12
(54)【発明の名称】光走査プロジェクタと連動した眼移動の追跡のための方法およびシステム
(51)【国際特許分類】
G02B 27/02 20060101AFI20241105BHJP
G02B 26/10 20060101ALI20241105BHJP
G02B 26/08 20060101ALI20241105BHJP
G02B 5/18 20060101ALI20241105BHJP
A61B 3/113 20060101ALI20241105BHJP
【ＦＩ】
G02B27/02 Z
G02B26/10 109Z
G02B26/08 F
G02B5/18
A61B3/113
【請求項の数】
20
(21)【出願番号】P 2023074415
(22)【出願日】2023-04-28
(62)【分割の表示】P 2019551616の分割
【原出願日】2018-03-21
(65)【公開番号】P2023101505
(43)【公開日】2023-07-21
【審査請求日】2023-04-28
(31)【優先権主張番号】62/474,497
(32)【優先日】2017-03-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100104824
【弁理士】
【氏名又は名称】穐場 仁
(74)【代理人】
【識別番号】100121463
【弁理士】
【氏名又は名称】矢口 哲也
(74)【代理人】
【識別番号】100137969
【弁理士】
【氏名又は名称】岡部 憲昭
(72)【発明者】
【氏名】ブライアン ティー． ショーウェンゲルト
(72)【発明者】
【氏名】マシュー ディー． ワトソン
(72)【発明者】
【氏名】スコット フランク
(72)【発明者】
【氏名】チャールズ デイビッド メルヴィル
【審査官】井亀 諭
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０３４９５１６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／０１５７４００（ＵＳ，Ａ１）
【文献】国際公開第２０１７／０１５３０２（ＷＯ，Ａ１）
【文献】国際公開第２０１６／２０３２１２（ＷＯ，Ａ２）
【文献】米国特許出願公開第２０１６／０３４９５１４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２７／０１－２７／０２
Ｇ０２Ｂ ２６／１０
Ｇ０２Ｂ ２６／０８
Ｇ０２Ｂ ５／１８
(57)【特許請求の範囲】
【請求項1】
ユーザの眼の動きを追跡するように動作可能な眼追跡システムであって、前記眼追跡システムは、
光線を走査して画像を投影するように動作可能な光走査プロジェクタと、
前記光走査プロジェクタに光学的に結合される接眼レンズであって、前記接眼レンズは、前記ユーザの眼に面する内面および前記内面と反対側の外面を含む、接眼レンズと、
光学センサと、
前記光走査プロジェクタおよび前記光学センサに結合される画像プロセッサと
を含み、
前記接眼レンズは、前記接眼レンズの上に重なる回折反射器を含み、前記回折反射器は、前記接眼レンズの前記内面に積層された平面層として形成され、前記ユーザの眼から反射された１つ以上の時変信号を、回折によって前記光学センサへ反射するように動作可能である、眼追跡システム。
【請求項2】
前記画像プロセッサは、前記ユーザの眼の動きを追跡するために、前記画像の一連のピクセルの位置を前記ユーザの眼から反射された前記１つ以上の時変信号の一連の強度と相関させるように動作可能である、請求項１に記載の眼追跡システム。
【請求項3】
前記光走査プロジェクタは、画像フレームの走査時間の間における時間の関数としての増加する角偏向を伴う螺旋パターンにおいて走査するように構成されたファイバ走査プロジェクタを含む、請求項１または２に記載の眼追跡システム。
【請求項4】
フレームを有する眼鏡をさらに含み、前記光走査プロジェクタ、前記接眼レンズ、および前記光学センサは、前記フレームの中に搭載される、請求項１または２に記載の眼追跡システム。
【請求項5】
前記接眼レンズは、複数の平面導波管を含む、請求項１または２に記載の眼追跡システム。
【請求項6】
前記複数の平面導波管は、４つの平面導波管を含む、請求項５に記載の眼追跡システム。
【請求項7】
前記光学センサは、光検出器を含む、請求項１または２に記載の眼追跡システム。
【請求項8】
前記光走査プロジェクタは、表示信号および特性評価信号を出力するように動作可能である、請求項１または２に記載の眼追跡システム。
【請求項9】
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、請求項８に記載の眼追跡システム。
【請求項10】
前記１つ以上の可視波長は、赤色、緑色、および青色波長を含み、前記１つ以上の不可視波長は、赤外線波長を含む、請求項９に記載の眼追跡システム。
【請求項11】
前記接眼レンズは、赤色波長に対応する第１の平面導波管と、
緑色波長に対応する第２の平面導波管と、
青色波長に対応する第３の平面導波管と、
赤外線波長に対応する第４の平面導波管と
を含む複数の平面導波管を含む、請求項１０に記載の眼追跡システム。
【請求項12】
光走査プロジェクタと接眼レンズと光学センサとを含む眼追跡システムを動作させる方法であって、前記方法は、前記光走査プロジェクタを使用して、時変光学信号を生成することと、
前記時変光学信号の少なくとも一部を前記接眼レンズの中に結合することであって、前記接眼レンズはユーザの眼に面する内面および前記内面と反対側の外面を含む、ことと、
前記接眼レンズから、前記ユーザの眼によって視認可能な画像を投影することと、
前記接眼レンズの上に重なる回折反射器を使用して、前記ユーザの眼によって反射された１つ以上の時変信号を、回折によって前記光学センサへ反射することであって、前記回折反射器は前記接眼レンズの前記内面に積層された平面層として形成される、ことと、
前記光学センサを使用して、前記１つ以上の時変信号を検出することと、
前記ユーザの眼の位置を追跡することと
を含む、方法。
【請求項13】
前記ユーザの眼の位置を追跡することは、前記画像の一連のピクセルの位置を前記ユーザの眼から反射された前記１つ以上の時変信号の一連の強度と相関させることを含む、請求項１２に記載の方法。
【請求項14】
前記光走査プロジェクタは、前記画像の走査時間の間における時間の関数としての増加する角偏向を伴う螺旋パターンにおいて走査するように構成されたファイバ走査プロジェクタを含む、請求項１２または１３に記載の方法。
【請求項15】
前記時変光学信号は、表示信号および特性評価信号を含む、請求項１２または１３に記載の方法。
【請求項16】
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、請求項１５に記載の方法。
【請求項17】
前記１つ以上の可視波長は、赤色、緑色、および青色波長を含み、前記１つ以上の不可視波長は、赤外線波長を含む、請求項１６に記載の方法。
【請求項18】
前記接眼レンズは、複数の平面導波管を含む、請求項１２または１３に記載の方法。
【請求項19】
前記複数の平面導波管は、４つの平面導波管を含む、請求項１８に記載の方法。
【請求項20】
前記光学センサは、光検出器を含む、請求項１２または１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１７年３月２１日に出願され”Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｔｒａｃｋｉｎｇ Ｅｙｅ Ｍｏｖｅｍｅｎｔ ｉｎ Ｃｏｎｊｕｎｃｔｉｏｎ ｗｉｔｈ ａ Ｆｉｂｅｒ Ｓｃａｎｎｉｎｇ Ｐｒｏｊｅｃｔｏｒ”と題された米国仮特許出願第６２／４７４，４９７号に対する優先権を主張するものであり、該米国仮特許出願の開示は、あらゆる目的のためにその全体が本明細書中に援用される。
本願は、２０１７年３月２１日に出願され”Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｔｒａｃｋｉｎｇ Ｅｙｅ Ｍｏｖｅｍｅｎｔ ｉｎ Ｃｏｎｊｕｎｃｔｉｏｎ ｗｉｔｈ ａ Ｆｉｂｅｒ Ｓｃａｎｎｉｎｇ Ｐｒｏｊｅｃｔｏｒ”と題された米国仮特許出願第６２／４７４，４９７号に対する優先権を主張するものであり、該米国仮特許出願の開示は、あらゆる目的のためにその全体が本明細書中に援用される。
【背景技術】
【0002】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で視認者に提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、視認者の周囲の実際の世界の可視化に対する拡張のデジタルまたは仮想画像情報の提示を伴う。
【0003】
これらのディスプレイ技術において成された進歩にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する改良された方法およびシステムの必要性がある。
【発明の概要】
【課題を解決するための手段】
【0004】
本発明は、概して、ウェアラブルディスプレイを含む投影ディスプレイシステムに関連する方法およびシステムに関する。より具体的には、本発明の実施形態は、光走査プロジェクタシステムに関連して眼移動を追跡する方法およびシステムを提供する。特定の実施形態では、時間の関数としての眼配向および運動を決定するための方法およびシステム（すなわち、眼追跡）が、ファイバ走査プロジェクタによって駆動される導波管ディスプレイと併せて実装される。本発明は、コンピュータビジョンおよび画像ディスプレイシステムにおける種々の用途に適用可能である。
【0005】
本発明のある実施形態によると、眼追跡システムが、提供される。眼追跡システムは、２つのフレームを含む眼鏡と、眼鏡に結合され、光のビームを走査するように動作可能な光走査プロジェクタとを含む。眼追跡システムはまた、２つのフレームのうちの１つの中に搭載され、光走査プロジェクタに光学的に結合される、接眼レンズを含む。接眼レンズは、光のビームの少なくとも一部をユーザの眼に向かって指向するように動作可能な射出瞳エキスパンダを含む。眼追跡システムはさらに、眼鏡に結合される１つ以上の光検出器と、光走査プロジェクタおよび１つ以上の光検出器に結合されるプロセッサとを含む。
【0006】
本発明の具体的実施形態によると、眼追跡システムが、提供される。眼追跡システムは、光走査プロジェクタと、光走査プロジェクタに光学的に結合される接眼レンズとを含む。眼追跡システムはまた、光学センサと、光走査プロジェクタおよび光学センサに結合されるプロセッサとを含む。
【0007】
本発明の別の実施形態によると、光走査プロジェクタと、接眼レンズと、光学センサとを含む、眼追跡システムを動作させる方法が、提供される。本方法は、光走査プロジェクタを使用して、光学信号を生成するステップと、光学信号の少なくとも一部を接眼レンズの中に結合するステップとを含む。本方法はまた、接眼レンズから、ユーザの眼によって視認可能な画像を投影するステップと、光学センサを使用して、ユーザの眼から反射された光を検出するステップと、ユーザの眼の位置を追跡するステップとを含む。
【0008】
本発明の別の具体的実施形態によると、第１の配向から第２の配向への眼移動を追跡する方法が、提供される。本方法は、ビデオ画像の第１の画像フレームを形成するために、導波管走査プロジェクタの導波管を走査するステップを含む。第１の一連のピクセルが、第１の画像フレームを定義する。本方法はまた、第１の画像フレームを複数の平面導波管を含む接眼レンズの中に結合するステップと、第１の画像フレームの少なくとも一部をユーザの眼に透過するステップと、第１の一連の反射強度を検出するステップであって、第１の一連のものはそれぞれ、第１の一連のピクセルのあるピクセルと関連付けられる、ステップとを含む。本方法はさらに、第１の一連の検出された反射強度を第１の一連のピクセルと相関させるステップと、眼の第１の配向を決定するステップと、ビデオ画像の第２の画像フレームを形成するために、導波管を走査するステップとを含む。第２の一連のピクセルが、第２の画像フレームを定義する。加えて、本方法は、第２の画像フレームを接眼レンズの中に結合するステップと、第２の画像フレームの少なくとも一部をユーザの眼に透過するステップと、第２の一連の反射強度を検出するステップであって、第２の一連のものはそれぞれ、第２の一連のピクセルのあるピクセルと関連付けられる、ステップとを含む。本方法はさらに、第２の一連の検出された反射強度を第２の一連のピクセルと相関させるステップと、眼の第２の配向を決定するステップとを含む。
【0009】
本発明の別の具体的実施形態によると、眼配向を特性評価する方法が、提供される。本方法は、ビデオ画像の画像フレームの第１の部分を形成するために、ファイバ走査プロジェクタのファイバを走査するステップを含む。第１の一連のピクセルが、画像フレームの第１の部分を定義する。本方法はまた、画像フレームの第１の部分を複数の平面導波管を含む接眼レンズの中に結合するステップと、画像フレームの第１の部分の少なくとも一部をユーザの眼に透過するステップと、複数の光学検出器のそれぞれにおいて、時間的反射信号を検出するステップとを含む。本方法はさらに、複数の時間的反射信号を第１の一連のピクセルと相関させるステップと、ビデオ画像の画像フレームの第２の部分を形成するために、ファイバを走査するステップとを含む。第２の一連のピクセルが、画像フレームの第２の部分を定義する。加えて、本方法は、画像フレームの第２の部分を接眼レンズの中に結合するステップと、画像フレームの第２の部分の少なくとも一部をユーザの眼に透過するステップとを含む。本方法はさらに、複数の光学検出器のそれぞれにおいて、第２の時間的反射信号を検出するステップと、複数の第２の時間的反射信号を第２の一連のピクセルと相関させるステップと、眼配向を決定するステップとを含む。
【0010】
本発明の特定の実施形態によると、眼追跡を実施する方法が、提供される。本方法は、光走査プロジェクタ、フレーム内に搭載される接眼レンズ、およびフレームの周辺の周囲に整列される複数の光学検出器を提供するステップを含む。本方法はまた、光走査プロジェクタおよび接眼レンズを使用して、第１の画像フレームを眼に投影するステップと、複数の光学検出器を使用して、複数の時変反射信号を検出するステップと、第１の眼配向を決定するステップとを含む。本方法はさらに、光走査プロジェクタおよび接眼レンズを使用して、第２の画像フレームを眼に投影するステップと、複数の光学検出器を使用して、第２の複数の時変反射信号を検出するステップと、第２の眼配向を決定するステップとを含む。
【0011】
従来の技法に優る多数の利益が、本発明の方法によって達成される。例えば、本発明の実施形態は、小型形状因子を有する導波管ディスプレイと併せて眼追跡を可能にする方法およびシステムを提供する。加えて、いくつかの実施形態は、入力放射としてディスプレイを駆動するために提供される光を利用し、本表示光の反射に基づいて眼を追跡し、それによって、システム複雑性を低減させる。本発明のこれらおよび他の実施形態は、その利点および特徴の多くとともに、下記のテキストおよび添付される図と併せてより詳細に説明される。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
眼追跡システムであって、
光走査プロジェクタと、
前記光走査プロジェクタに光学的に結合される接眼レンズと、
光学センサと、
前記光走査プロジェクタおよび前記光学センサに結合されるプロセッサと
を備える、眼追跡システム。
（項目２）
前記光走査プロジェクタは、走査点光源を備える、項目１に記載の眼追跡システム。
（項目３）
前記光走査プロジェクタは、走査導波管プロジェクタを備える、項目２に記載の眼追跡システム。
（項目４）
前記走査導波管プロジェクタは、ファイバ走査プロジェクタを備える、項目３に記載の眼追跡システム。
（項目５）
フレームを有する眼鏡をさらに備え、前記光走査プロジェクタ、前記接眼レンズ、および前記光学センサは、前記フレーム内に搭載される、項目１に記載の眼追跡システム。
（項目６）
前記接眼レンズは、複数の平面導波管を備える、項目１に記載の眼追跡システム。
（項目７）
前記複数の平面導波管は、４つの平面導波管を備える、項目６に記載の眼追跡システム。
（項目８）
前記光学センサは、光検出器を備える、項目１に記載の眼追跡システム。
（項目９）
前記光走査プロジェクタは、表示信号および特性評価信号を出力するように動作可能である、項目１に記載の眼追跡システム。
（項目１０）
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、項目９に記載の眼追跡システム。
（項目１１）
前記１つ以上の可視波長は、赤色、緑色、および青色波長を含み、前記１つ以上の不可視波長は、赤外波長を含む、項目１０に記載の眼追跡システム。
（項目１２）
前記接眼レンズは、複数の平面導波管を備え、
前記複数の平面導波管は、
赤色波長に対応する第１の平面導波管と、
緑色波長に対応する第２の平面導波管と、
青色波長に対応する第３の平面導波管と、
赤外波長に対応する第４の平面導波管と
を含む、項目１１に記載の眼追跡システム。
（項目１３）
光走査プロジェクタと、接眼レンズと、光学センサとを含む、眼追跡システムを動作させる方法であって、前記方法は、
前記光走査プロジェクタを使用して、光学信号を生成することと、
前記光学信号の少なくとも一部を前記接眼レンズの中に結合することと、
前記接眼レンズから、ユーザの眼によって視認可能な画像を投影することと、
前記光学センサを使用して、前記ユーザの眼から反射された光を検出することと、
前記ユーザの眼の位置を追跡することと
を含む、方法。
（項目１４）
前記光走査プロジェクタは、ファイバ走査プロジェクタを備える、項目１３に記載の方法。
（項目１５）
前記光学信号は、表示信号と、特性評価信号とを含む、項目１３に記載の方法。
（項目１６）
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、項目１５に記載の方法。
（項目１７）
前記１つ以上の可視波長は、赤色、緑色、および青色波長を含み、前記１つ以上の不可視波長は、赤外波長を含む、項目１６に記載の方法。
（項目１８）
前記接眼レンズは、複数の平面導波管を備える、項目１３に記載の方法。
（項目１９）
前記複数の平面導波管は、４つの平面導波管を備える、項目１８に記載の方法。
（項目２０）
前記光学センサは、光検出器を備える、項目１３に記載の方法。
（項目２１）
前記ユーザの眼の位置を追跡することは、前記画像の一連のピクセルの位置を前記ユーザの眼から反射された前記光の一連の強度と相関させることを含む、項目１３に記載の方法。
（項目２２）
第１の配向から第２の配向への眼移動を追跡する方法であって、前記方法は、
ビデオ画像の第１の画像フレームを形成するために、光走査プロジェクタの出力ビームを走査することであって、第１の一連のピクセルが、前記第１の画像フレームを定義する、ことと、
前記第１の画像フレームを複数の平面導波管を含む接眼レンズの中に結合することと、
前記第１の画像フレームの少なくとも一部をユーザの眼に透過することと、
第１の一連の反射強度を検出することであって、前記第１の一連のものはそれぞれ、前記第１の一連のピクセルのうちのピクセルと関連付けられる、ことと、
前記第１の一連の反射強度を前記第１の一連のピクセルと相関させることと、
前記眼の第１の配向を決定することと、
前記ビデオ画像の第２の画像フレームを形成するために、前記出力ビームを走査することであって、第２の一連のピクセルが、前記第２の画像フレームを定義する、ことと、
前記第２の画像フレームを前記接眼レンズの中に結合することと、
前記第２の画像フレームの少なくとも一部を前記ユーザの眼に透過することと、
第２の一連の反射強度を検出することであって、前記第２の一連のものはそれぞれ、前記第２の一連のピクセルのうちのピクセルと関連付けられる、ことと、
前記第２の一連の反射強度を前記第２の一連のピクセルと相関させることと、
前記眼の第２の配向を決定することと
を含む、方法。
（項目２３）
前記第１の配向および前記第２の配向に関連する軌道を出力することをさらに含む、項目２２に記載の方法。
（項目２４）
前記複数の平面導波管は、
赤色波長に対応する第１の平面導波管と、
緑色波長に対応する第２の平面導波管と、
青色波長に対応する第３の平面導波管と、
赤外波長に対応する第４の平面導波管と
を含む、項目２２に記載の方法。
（項目２５）
前記第１の画像フレームおよび前記第２の画像フレームは、前記ビデオ画像の連続フレームである、項目２２に記載の方法。
（項目２６）
１つ以上の付加的画像フレームが、前記第１の画像フレームと前記第２の画像フレームとの間に位置付けられる、項目２２に記載の方法。
（項目２７）
前記第１の画像フレームを前記接眼レンズの中に結合することおよび前記第２の画像フレームを前記接眼レンズの中に結合することは、回折光学要素を使用して、前記第１の画像フレームおよび前記第２の画像フレームを回折することを含む、項目２２に記載の方法。
（項目２８）
前記第１の画像フレームの少なくとも一部を前記ユーザの眼に透過することおよび前記第２の画像フレームの少なくとも一部を前記ユーザの眼に透過することは、１つ以上の回折光学要素を使用して、前記第１の画像フレームの少なくとも一部および前記第２の画像フレームの少なくとも一部を回折することを含む、項目２２に記載の方法。
（項目２９）
前記１つ以上の回折光学要素は、前記接眼レンズの平面内で光を回折するように動作可能な第１の回折光学要素と、前記接眼レンズの平面から光を回折するように動作可能な第２の回折光学要素とを備える、項目２８に記載の方法。
（項目３０）
眼配向を特性評価する方法であって、前記方法は、
ビデオ画像の画像フレームの第１の部分を形成するために、ファイバ走査プロジェクタのファイバを走査することであって、第１の一連のピクセルが、前記画像フレームの第１の部分を定義する、ことと、
前記画像フレームの第１の部分を複数の平面導波管を含む接眼レンズの中に結合することと、
前記画像フレームの第１の部分の少なくとも一部をユーザの眼に透過することと、
複数の光学検出器のそれぞれにおいて、時間的反射信号を検出することと、
前記複数の時間的反射信号を前記第１の一連のピクセルと相関させることと、
前記ビデオ画像の画像フレームの第２の部分を形成するために、前記ファイバを走査することであって、第２の一連のピクセルが、前記画像フレームの第２の部分を定義する、ことと、
前記画像フレームの第２の部分を前記接眼レンズの中に結合することと、
前記画像フレームの第２の部分の少なくとも一部を前記ユーザの眼に透過することと、
前記複数の光学検出器のそれぞれにおいて、第２の時間的反射信号を検出することと、
前記複数の第２の時間的反射信号を前記第２の一連のピクセルと相関させることと、
前記眼配向を決定することと
を含む、方法。
（項目３１）
前記複数の光学検出器は、複数の光検出器を備える、項目３０に記載の方法。
（項目３２）
前記複数の光検出器は、前記眼の周辺領域の周囲に整列される、項目３１に記載の方法。
（項目３３）
前記接眼レンズは、周辺を有するフレーム内に搭載される、項目３１に記載の方法。
（項目３４）
前記複数の光検出器は、前記フレームの周辺に配置される、項目３３に記載の方法。
（項目３５）
前記複数の光検出器は、前記フレームに結合されるテンプル内に配置される、項目３３に記載の方法。
（項目３６）
前記複数の平面導波管は、
赤色波長に対応する第１の平面導波管と、
緑色波長に対応する第２の平面導波管と、
青色波長に対応する第３の平面導波管と、
赤外波長に対応する第４の平面導波管と
を含む、項目３０に記載の方法。
（項目３７）
眼追跡システムであって、
２つのフレームを含む眼鏡と、
前記眼鏡に結合され、光のビームを走査するように動作可能である光走査プロジェクタと、
前記２つのフレームのうちの１つの中に搭載され、前記光走査プロジェクタに光学的に結合される接眼レンズであって、前記接眼レンズは、前記光のビームの少なくとも一部をユーザの眼に向かって指向するように動作可能な射出瞳エキスパンダを含む、接眼レンズと、
前記眼鏡に結合される１つ以上の光検出器と、
前記光走査プロジェクタおよび前記１つ以上の光検出器に結合されるプロセッサと
を備える、眼追跡システム。
（項目３８）
前記光走査プロジェクタは、ファイバ走査プロジェクタを備える、項目３７に記載の眼追跡システム。
（項目３９）
前記眼鏡は、テンプルを含み、前記光走査プロジェクタは、前記２つのフレームのうちの１つの中に搭載され、前記１つ以上の光検出器は、前記テンプル内に搭載される、項目３７に記載の眼追跡システム。
（項目４０）
前記１つ以上の光検出器は、前記接眼レンズと前記ユーザの眼との間の縦方向位置において前記テンプル内に搭載される、項目３９に記載の眼追跡システム。
（項目４１）
前記接眼レンズは、複数の平面導波管を備える、項目３７に記載の眼追跡システム。
（項目４２）
前記光走査プロジェクタは、表示信号および特性評価信号を出力するように動作可能である、項目３７に記載の眼追跡システム。
（項目４３）
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、項目４２に記載の眼追跡システム。
（項目４４）
眼追跡を実施する方法であって、前記方法は、
光走査プロジェクタ、フレーム内に搭載される接眼レンズ、および前記フレームの周辺の周囲に整列される１つ以上の光学検出器を提供することと、
前記光走査プロジェクタおよび前記接眼レンズを使用して、第１の画像フレームを眼に投影することと、
前記１つ以上の光学検出器を使用して、複数の時変反射信号を検出することと、
第１の眼配向を決定することと、
前記光走査プロジェクタおよび前記接眼レンズを使用して、第２の画像フレームを前記眼に投影することと、
前記１つ以上の光学検出器を使用して、第２の複数の時変反射信号を検出することと、
第２の眼配向を決定することと
を含む、方法。
（項目４５）
前記１つ以上の光学検出器は、前記接眼レンズと前記眼との間の縦方向位置に配置される、項目４４に記載の方法。
（項目４６）
前記１つ以上の光学検出器は、前記フレームに機械的に結合されるテンプル内に搭載される、項目４５に記載の方法。
（項目４７）
前記第１の眼配向および前記第２の眼配向に関連する軌道を出力することをさらに含む、項目４４に記載の方法。
（項目４８）
前記複数の時変反射信号は、前記第１の画像フレームの間の前記光走査プロジェクタの増加する走査角度と関連付けられる、項目４４に記載の方法。
（項目４９）
前記第２の複数の時変反射信号は、前記第２の画像フレームの間の前記光走査プロジェクタの増加する走査角度と関連付けられる、項目４４に記載の方法。
（項目５０）
前記接眼レンズは、複数の平面導波管を含む、項目４４に記載の方法。
（項目５１）
前記第１の画像フレームを前記眼に投影することは、
前記第１の画像フレームの一部を前記複数の平面導波管のそれぞれの中に結合することと、
前記結合された部分の少なくとも一部を前記眼に透過することと
を含む、項目５０に記載の方法。
（項目５２）
前記第２の画像フレームを前記眼に投影することは、
前記第２の画像フレームの一部を前記複数の平面導波管のそれぞれの中に結合することと、
前記結合された部分の少なくとも一部を前記眼に透過することと
を含む、項目５０に記載の方法。
（項目５３）
前記第１の画像フレームおよび前記第２の画像フレームは、ビデオ画像の連続フレームである、項目４４に記載の方法。
（項目５４）
１つ以上の付加的画像フレームが、前記第１の画像フレームと前記第２の画像フレームとの間に位置付けられる、項目４４に記載の方法。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
眼追跡システムであって、
光走査プロジェクタと、
前記光走査プロジェクタに光学的に結合される接眼レンズと、
光学センサと、
前記光走査プロジェクタおよび前記光学センサに結合されるプロセッサと
を備える、眼追跡システム。
（項目２）
前記光走査プロジェクタは、走査点光源を備える、項目１に記載の眼追跡システム。
（項目３）
前記光走査プロジェクタは、走査導波管プロジェクタを備える、項目２に記載の眼追跡システム。
（項目４）
前記走査導波管プロジェクタは、ファイバ走査プロジェクタを備える、項目３に記載の眼追跡システム。
（項目５）
フレームを有する眼鏡をさらに備え、前記光走査プロジェクタ、前記接眼レンズ、および前記光学センサは、前記フレーム内に搭載される、項目１に記載の眼追跡システム。
（項目６）
前記接眼レンズは、複数の平面導波管を備える、項目１に記載の眼追跡システム。
（項目７）
前記複数の平面導波管は、４つの平面導波管を備える、項目６に記載の眼追跡システム。
（項目８）
前記光学センサは、光検出器を備える、項目１に記載の眼追跡システム。
（項目９）
前記光走査プロジェクタは、表示信号および特性評価信号を出力するように動作可能である、項目１に記載の眼追跡システム。
（項目１０）
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、項目９に記載の眼追跡システム。
（項目１１）
前記１つ以上の可視波長は、赤色、緑色、および青色波長を含み、前記１つ以上の不可視波長は、赤外波長を含む、項目１０に記載の眼追跡システム。
（項目１２）
前記接眼レンズは、複数の平面導波管を備え、
前記複数の平面導波管は、
赤色波長に対応する第１の平面導波管と、
緑色波長に対応する第２の平面導波管と、
青色波長に対応する第３の平面導波管と、
赤外波長に対応する第４の平面導波管と
を含む、項目１１に記載の眼追跡システム。
（項目１３）
光走査プロジェクタと、接眼レンズと、光学センサとを含む、眼追跡システムを動作させる方法であって、前記方法は、
前記光走査プロジェクタを使用して、光学信号を生成することと、
前記光学信号の少なくとも一部を前記接眼レンズの中に結合することと、
前記接眼レンズから、ユーザの眼によって視認可能な画像を投影することと、
前記光学センサを使用して、前記ユーザの眼から反射された光を検出することと、
前記ユーザの眼の位置を追跡することと
を含む、方法。
（項目１４）
前記光走査プロジェクタは、ファイバ走査プロジェクタを備える、項目１３に記載の方法。
（項目１５）
前記光学信号は、表示信号と、特性評価信号とを含む、項目１３に記載の方法。
（項目１６）
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、項目１５に記載の方法。
（項目１７）
前記１つ以上の可視波長は、赤色、緑色、および青色波長を含み、前記１つ以上の不可視波長は、赤外波長を含む、項目１６に記載の方法。
（項目１８）
前記接眼レンズは、複数の平面導波管を備える、項目１３に記載の方法。
（項目１９）
前記複数の平面導波管は、４つの平面導波管を備える、項目１８に記載の方法。
（項目２０）
前記光学センサは、光検出器を備える、項目１３に記載の方法。
（項目２１）
前記ユーザの眼の位置を追跡することは、前記画像の一連のピクセルの位置を前記ユーザの眼から反射された前記光の一連の強度と相関させることを含む、項目１３に記載の方法。
（項目２２）
第１の配向から第２の配向への眼移動を追跡する方法であって、前記方法は、
ビデオ画像の第１の画像フレームを形成するために、光走査プロジェクタの出力ビームを走査することであって、第１の一連のピクセルが、前記第１の画像フレームを定義する、ことと、
前記第１の画像フレームを複数の平面導波管を含む接眼レンズの中に結合することと、
前記第１の画像フレームの少なくとも一部をユーザの眼に透過することと、
第１の一連の反射強度を検出することであって、前記第１の一連のものはそれぞれ、前記第１の一連のピクセルのうちのピクセルと関連付けられる、ことと、
前記第１の一連の反射強度を前記第１の一連のピクセルと相関させることと、
前記眼の第１の配向を決定することと、
前記ビデオ画像の第２の画像フレームを形成するために、前記出力ビームを走査することであって、第２の一連のピクセルが、前記第２の画像フレームを定義する、ことと、
前記第２の画像フレームを前記接眼レンズの中に結合することと、
前記第２の画像フレームの少なくとも一部を前記ユーザの眼に透過することと、
第２の一連の反射強度を検出することであって、前記第２の一連のものはそれぞれ、前記第２の一連のピクセルのうちのピクセルと関連付けられる、ことと、
前記第２の一連の反射強度を前記第２の一連のピクセルと相関させることと、
前記眼の第２の配向を決定することと
を含む、方法。
（項目２３）
前記第１の配向および前記第２の配向に関連する軌道を出力することをさらに含む、項目２２に記載の方法。
（項目２４）
前記複数の平面導波管は、
赤色波長に対応する第１の平面導波管と、
緑色波長に対応する第２の平面導波管と、
青色波長に対応する第３の平面導波管と、
赤外波長に対応する第４の平面導波管と
を含む、項目２２に記載の方法。
（項目２５）
前記第１の画像フレームおよび前記第２の画像フレームは、前記ビデオ画像の連続フレームである、項目２２に記載の方法。
（項目２６）
１つ以上の付加的画像フレームが、前記第１の画像フレームと前記第２の画像フレームとの間に位置付けられる、項目２２に記載の方法。
（項目２７）
前記第１の画像フレームを前記接眼レンズの中に結合することおよび前記第２の画像フレームを前記接眼レンズの中に結合することは、回折光学要素を使用して、前記第１の画像フレームおよび前記第２の画像フレームを回折することを含む、項目２２に記載の方法。
（項目２８）
前記第１の画像フレームの少なくとも一部を前記ユーザの眼に透過することおよび前記第２の画像フレームの少なくとも一部を前記ユーザの眼に透過することは、１つ以上の回折光学要素を使用して、前記第１の画像フレームの少なくとも一部および前記第２の画像フレームの少なくとも一部を回折することを含む、項目２２に記載の方法。
（項目２９）
前記１つ以上の回折光学要素は、前記接眼レンズの平面内で光を回折するように動作可能な第１の回折光学要素と、前記接眼レンズの平面から光を回折するように動作可能な第２の回折光学要素とを備える、項目２８に記載の方法。
（項目３０）
眼配向を特性評価する方法であって、前記方法は、
ビデオ画像の画像フレームの第１の部分を形成するために、ファイバ走査プロジェクタのファイバを走査することであって、第１の一連のピクセルが、前記画像フレームの第１の部分を定義する、ことと、
前記画像フレームの第１の部分を複数の平面導波管を含む接眼レンズの中に結合することと、
前記画像フレームの第１の部分の少なくとも一部をユーザの眼に透過することと、
複数の光学検出器のそれぞれにおいて、時間的反射信号を検出することと、
前記複数の時間的反射信号を前記第１の一連のピクセルと相関させることと、
前記ビデオ画像の画像フレームの第２の部分を形成するために、前記ファイバを走査することであって、第２の一連のピクセルが、前記画像フレームの第２の部分を定義する、ことと、
前記画像フレームの第２の部分を前記接眼レンズの中に結合することと、
前記画像フレームの第２の部分の少なくとも一部を前記ユーザの眼に透過することと、
前記複数の光学検出器のそれぞれにおいて、第２の時間的反射信号を検出することと、
前記複数の第２の時間的反射信号を前記第２の一連のピクセルと相関させることと、
前記眼配向を決定することと
を含む、方法。
（項目３１）
前記複数の光学検出器は、複数の光検出器を備える、項目３０に記載の方法。
（項目３２）
前記複数の光検出器は、前記眼の周辺領域の周囲に整列される、項目３１に記載の方法。
（項目３３）
前記接眼レンズは、周辺を有するフレーム内に搭載される、項目３１に記載の方法。
（項目３４）
前記複数の光検出器は、前記フレームの周辺に配置される、項目３３に記載の方法。
（項目３５）
前記複数の光検出器は、前記フレームに結合されるテンプル内に配置される、項目３３に記載の方法。
（項目３６）
前記複数の平面導波管は、
赤色波長に対応する第１の平面導波管と、
緑色波長に対応する第２の平面導波管と、
青色波長に対応する第３の平面導波管と、
赤外波長に対応する第４の平面導波管と
を含む、項目３０に記載の方法。
（項目３７）
眼追跡システムであって、
２つのフレームを含む眼鏡と、
前記眼鏡に結合され、光のビームを走査するように動作可能である光走査プロジェクタと、
前記２つのフレームのうちの１つの中に搭載され、前記光走査プロジェクタに光学的に結合される接眼レンズであって、前記接眼レンズは、前記光のビームの少なくとも一部をユーザの眼に向かって指向するように動作可能な射出瞳エキスパンダを含む、接眼レンズと、
前記眼鏡に結合される１つ以上の光検出器と、
前記光走査プロジェクタおよび前記１つ以上の光検出器に結合されるプロセッサと
を備える、眼追跡システム。
（項目３８）
前記光走査プロジェクタは、ファイバ走査プロジェクタを備える、項目３７に記載の眼追跡システム。
（項目３９）
前記眼鏡は、テンプルを含み、前記光走査プロジェクタは、前記２つのフレームのうちの１つの中に搭載され、前記１つ以上の光検出器は、前記テンプル内に搭載される、項目３７に記載の眼追跡システム。
（項目４０）
前記１つ以上の光検出器は、前記接眼レンズと前記ユーザの眼との間の縦方向位置において前記テンプル内に搭載される、項目３９に記載の眼追跡システム。
（項目４１）
前記接眼レンズは、複数の平面導波管を備える、項目３７に記載の眼追跡システム。
（項目４２）
前記光走査プロジェクタは、表示信号および特性評価信号を出力するように動作可能である、項目３７に記載の眼追跡システム。
（項目４３）
前記表示信号は、１つ以上の可視波長を含み、前記特性評価信号は、１つ以上の不可視波長を含む、項目４２に記載の眼追跡システム。
（項目４４）
眼追跡を実施する方法であって、前記方法は、
光走査プロジェクタ、フレーム内に搭載される接眼レンズ、および前記フレームの周辺の周囲に整列される１つ以上の光学検出器を提供することと、
前記光走査プロジェクタおよび前記接眼レンズを使用して、第１の画像フレームを眼に投影することと、
前記１つ以上の光学検出器を使用して、複数の時変反射信号を検出することと、
第１の眼配向を決定することと、
前記光走査プロジェクタおよび前記接眼レンズを使用して、第２の画像フレームを前記眼に投影することと、
前記１つ以上の光学検出器を使用して、第２の複数の時変反射信号を検出することと、
第２の眼配向を決定することと
を含む、方法。
（項目４５）
前記１つ以上の光学検出器は、前記接眼レンズと前記眼との間の縦方向位置に配置される、項目４４に記載の方法。
（項目４６）
前記１つ以上の光学検出器は、前記フレームに機械的に結合されるテンプル内に搭載される、項目４５に記載の方法。
（項目４７）
前記第１の眼配向および前記第２の眼配向に関連する軌道を出力することをさらに含む、項目４４に記載の方法。
（項目４８）
前記複数の時変反射信号は、前記第１の画像フレームの間の前記光走査プロジェクタの増加する走査角度と関連付けられる、項目４４に記載の方法。
（項目４９）
前記第２の複数の時変反射信号は、前記第２の画像フレームの間の前記光走査プロジェクタの増加する走査角度と関連付けられる、項目４４に記載の方法。
（項目５０）
前記接眼レンズは、複数の平面導波管を含む、項目４４に記載の方法。
（項目５１）
前記第１の画像フレームを前記眼に投影することは、
前記第１の画像フレームの一部を前記複数の平面導波管のそれぞれの中に結合することと、
前記結合された部分の少なくとも一部を前記眼に透過することと
を含む、項目５０に記載の方法。
（項目５２）
前記第２の画像フレームを前記眼に投影することは、
前記第２の画像フレームの一部を前記複数の平面導波管のそれぞれの中に結合することと、
前記結合された部分の少なくとも一部を前記眼に透過することと
を含む、項目５０に記載の方法。
（項目５３）
前記第１の画像フレームおよび前記第２の画像フレームは、ビデオ画像の連続フレームである、項目４４に記載の方法。
（項目５４）
１つ以上の付加的画像フレームが、前記第１の画像フレームと前記第２の画像フレームとの間に位置付けられる、項目４４に記載の方法。
【図面の簡単な説明】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【発明を実施するための形態】
【0026】
本発明は、概して、ウェアラブルディスプレイを含む投影ディスプレイシステムに関連する方法およびシステムに関する。より具体的には、本発明の実施形態は、光走査プロジェクタシステム（ビーム走査プロジェクタシステムとも称される）に関連して眼移動を追跡する方法およびシステムを提供する。特定の実施形態では、時間の関数としての眼配向および運動を決定するための方法およびシステム（すなわち、眼追跡）が、ファイバ走査プロジェクタによって駆動される導波管ディスプレイと併せて実装される。本発明は、コンピュータビジョンおよび画像ディスプレイシステムにおける種々の用途に適用可能である。
【0027】
本明細書に説明されるように、本発明の実施形態は、眼追跡を可能にするために、光走査プロジェクタ（例えば、ファイバ走査プロジェクタ）の要素を活用する。例えば、光のビームが、眼に時間的に走査されることができる。眼の角膜または網膜のいずれかから反射された光が、１つ以上の検出器を使用して検出される。時間の関数としての光のビームの位置が把握されるため、反射における時間的変動は、眼位置と相関され、注視検出を可能にすることができる。
【0028】
図１は、本発明のある実施形態による、デジタルまたは仮想画像を視認者に提示するために使用され得る、視認光学アセンブリ（ＶＯＡ）における光路を図式的に図示する。ＶＯＡは、プロジェクタ１０１と、視認者の眼の周囲または正面に装着され得る接眼レンズ１００とを含む。本明細書で議論されるように、ＶＯＡは、眼鏡のフレームと統合され、デジタルまたは仮想画像をこれらの眼鏡を装着する視認者に提示することができる。
【0029】
図１を参照すると、ファイバ走査プロジェクタ１０１が、図示される。約２ｍｍ×２ｍｍ×７ｍｍの寸法を有し得る、ファイバ走査プロジェクタ１０１は、ファイバ入力１１０と、ファイバ発振領域１２０と、光学アセンブリ区分１３０とを含む。圧電アクチュエータ１５０が、保定カラー１５２によって支持され、ワイヤ（図示せず）からの電気信号によって駆動される。走査ファイバとも称される、光ファイバ１５４が、圧電アクチュエータ１５０に機械的に結合され、ファイバ発振領域１２０内で、例えば、所与のフレーム時間にわたる光の投影の間に増加する各偏向を伴う螺旋構成において発振する。ファイバ走査プロジェクタへの入力光が、ファイバ入力１１０を通して提供され、ファイバ走査プロジェクタ１０１からの出力光が、光学アセンブリ区分１３０の表面のうちの１つ以上のものを通して提供される。ファイバ走査プロジェクタの種々の要素は、２０１８年３月２１日に出願された米国特許出願第＿＿号（弁護士整理番号第１０１７８２－１０７５０６７（００３３１０ＵＳ）号）（その開示は、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる）により完全に説明されている。
【0030】
図１は、接眼レンズ１００の中に直接指向されるようなファイバ走査プロジェクタ１０１からの光を図示するが、他の実施形態では、随意のプロジェクタリレー１０３が、これが本発明によって要求されないが利用され、他の光学構成も、本発明の実施形態に従って利用されることができる。図示される実施形態では、光は、ファイバ走査プロジェクタ１０１の機械的封入体１５６の縦方向軸に略垂直な方向において光学アセンブリ区分から出射する。
【0031】
図１を参照すると、ファイバ走査プロジェクタ１０１が、図示される。しかしながら、例えば、走査導波管システムとして実装され得る、他の走査光システムまたは走査ビームシステムも、本発明の実施形態と併用され得ることを理解されたい。したがって、光を導波するための１つの実装としての光ファイバが図示されるが、いくつかの実施形態では、本発明は、ファイバ走査システムに限定されず、他の導波管走査システムも、他の実施形態に従って利用されることができる。他の導波管システムの実施例は、導波管特徴、例えば、カンチレバー式ビームと統合されたシリコン導波管を光走査システムに統合する、微小電気機械システム（ＭＥＭＳ）を含む。さらに、光のビームがプロジェクタによって操作される走査ミラーシステムが、本明細書に説明されるような本発明の実施形態と併用されることができる。さらに、走査点源、例えば、発光ダイオード（ＬＥＤ）または有機ＬＥＤ（ＯＬＥＤ）が、本発明の実施形態において利用されることができる。
【0032】
動作の間、圧電アクチュエータ１５０に機械的に取り付けられる光ファイバ１５４は、ファイバ発振領域１２０内で発振する。ある実施形態では、圧電アクチュエータ１５０は、相互に対して９０°に偏移される円周位置に分散される４つの電極を含む。故に、圧電アクチュエータの対向する側に印加される正および負の電圧は、電極の平面内でアクチュエータおよび走査ファイバを撓曲させることができる。全ての４つの電極を同期して駆動することによって、ファイバの発振が、遂行されることができる。光が走査する際に光ファイバ１５４から出射する際、これは、光学アセンブリ区分１３０の中に結合され、これは、光を接眼レンズ１００に向かって再指向する。
【0033】
ファイバ走査プロジェクタ１０１は、フルカラーディスプレイを形成するために、３つの原色である赤色、緑色、および青色（ＲＢＧ）を含む、複数の色を提供することができる。故に、接眼レンズ１００は、１つ以上の接眼レンズ層を含んでもよい。一実施形態では、接眼レンズ１００は、３つの接眼レンズ層、すなわち、３つの原色である赤色、緑色、および青色毎に１つの接眼レンズ層を含む。別の実施形態では、接眼レンズ１００は、６つの接眼レンズ層、すなわち、１つの深度平面において仮想画像を形成するように構成される、３つの原色毎の接眼レンズ層の１つのセットと、別の深度平面において仮想画像を形成するように構成される、３つの原色毎の接眼レンズ層の別のセットとを含んでもよい。他の実施形態では、接眼レンズ１００は、３つ以上の異なる深度形面に関する３つの原色毎の３つ以上の接眼レンズ層を含んでもよい。各接眼レンズ層は、平面導波管を備え、内部結合格子１０７と、直交瞳エキスパンダ（ＯＰＥ）領域１０８と、射出瞳エキスパンダ（ＥＰＥ）領域１０９とを含んでもよい。
【0034】
依然として図１を参照すると、プロジェクタ１０１は、画像光を接眼レンズ層１００における内部結合格子１０７上に投影する。内部結合格子１０７は、プロジェクタ１０１からの画像光を、ＯＰＥ領域１０８に向かう方向に伝搬する平面導波管の中に結合する。導波管は、画像光を全内部反射（ＴＩＲ）によって水平方向に伝搬する。接眼レンズ層１００のＯＰＥ領域１０８はまた、導波管内で伝搬する画像光の一部をＥＰＥ領域１０９に向かって結合および再指向する回折要素を含む。ＥＰＥ領域１０９は、導波管内で伝搬する画像光の一部を接眼レンズ層１００の平面に略垂直な方向において視認者の眼１０２に向かって結合および指向する回折要素を含む。このように、プロジェクタ１０１によって投影された画像が、視認者の眼１０２によって視認され得る。
【0035】
上記に説明されるように、プロジェクタによって生成される画像光は、３つの原色、すなわち、青色（Ｂ）、緑色（Ｇ）、および赤色（Ｒ）の光を含んでもよい。そのような画像光は、各構成色の画像光が接眼レンズ内の個別の導波管に結合され得るように、例えば、時間的または空間的に、構成色に分離されることができる。
【0036】
図２は、本発明のある実施形態による、眼追跡システムを組み込む眼鏡を図示する、簡略化された概略図である。本明細書により完全に説明されるように、標準的眼鏡に匹敵する小型形状因子が、本発明の実施形態によって可能にされる。本発明の実施形態を利用することによって、所望の視野、分解能の深度、統合された慣性運動ユニット（ＩＭＵ）、カメラ、オーディオコンポーネント、および同等物を伴うディスプレイが、提供される。図２は、眼鏡２１０およびフレーム２１２を図示する。図２に図示されるように、ファイバ走査プロジェクタ１０１は、投影光が内部結合格子１０７に向かって指向されるように、フレーム２１２内に搭載されることができる。他の実施形態では、プロジェクタは、眼鏡のテンプル内に搭載されることができる。図１に関連して議論されるように、ファイバ走査プロジェクタ１０１は、投影光をユーザの眼に向かって指向するために、フレーム２１２内に配置される接眼レンズ１００と組み合わせて機能する。ファイバ走査プロジェクタ１０１の小さいサイズは、光を視認者の眼に向かって指向し得る複数のファイバ走査プロジェクタの統合を可能にするが、これは、本発明によって要求されず、眼あたり単一のプロジェクタが、利用されることができる。眼追跡システムは、右眼に関連してのみ議論されるが、類似するシステムが、他方の眼と併用され得ることを理解されたい。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0037】
本発明の実施形態によると、フレーム２１２へのプロジェクタ１０１の統合に加えて、１つ以上のセンサが、視認者の眼の運動の追跡のために好適な眼追跡システムの付加的要素として眼鏡に統合されることができる。図２に図示されるように、光検出器２２０が、ファイバ走査プロジェクタ１０１と対向してフレーム内に搭載される。下記により完全に説明されるように、接眼レンズ１００から放出された光は、眼から反射され、光検出器２２０に入射することができ、これは、例えば、数キロヘルツ速度で、数十キロヘルツ速度で、またはより高い周波数で動作する高速光検出器であり得る。フレーム内に搭載される光学センサに加えて、反射光を１つ以上の光学センサに指向する反射器または折り畳みミラーを含む、他の光学構成も、本発明の範囲内に含まれる。代替実施形態では、屈折要素が、反射光を捕捉し、光学センサに経路指定するために利用される。さらに別の代替実施形態では、光ファイバ、例えば、多モード光ファイバが、反射光を捕捉するために使用されることができる。これらの実施形態の全てでは、本明細書に説明される方法およびシステムを実装するために、複数の光学センサが、使用されることができ、複数の光学要素（例えば、反射器、折り畳みミラー、屈折要素、ファイバ、または同等物）が、使用されることができる。したがって、単一の光学要素に関連する上記の説明およびフレーム内に搭載される単一の光検出器２２０の例証は、限定ではなく、例示にすぎない。
【0038】
ファイバ走査プロジェクタが投影経路内に光を放出する際、時間の関数としての放出光の位置が、把握される。例えば、ビデオのフレームと関連付けられる螺旋走査パターンの走査の間、時間の関数としての放出光の空間的位置が、決定および記録されることができる。実施例として、３０Ｈｚにおける表示フレームの提示と関連付けられる３３ミリ秒フレーム時間内で、ファイバは、数十キロヘルツの範囲内の速度で走査され、３３ミリ秒フレーム時間内に表示フレームの中心部分から周辺部分に移動することができる。光が眼から反射され、光検出器において受光される際、光検出器は、（例えば、数十キロヘルツの速度における）時間の関数としての反射光の強度を測定するために使用されることができる。時間の関数としての放出光の空間的位置および時間の関数としての測定された光検出器強度を相関させることによって、反射光と関連付けられる空間的位置が、決定されることができる。故に、所与の時間における放出光の位置が把握されるため、本所与の時間に反射された光は、位置と相関されることができる。その結果、反射光の空間マップが、生成されることができ、光を反射する構造の光学性質と相関されることができる。眼の場合に関して、反射光の空間マップは、眼の位置および／または配向と相関されることができる。ファイバによって放出された光を走査し、異なる時間における空間マップを形成することによって、本システムは、時間の関数としての眼の位置を追跡することが可能である。
【0039】
本明細書に説明されるように、本発明の実施形態は、ピクセルが１つずつ眼に走査される走査ビームシステムを利用する。言い換えると、ピクセルは、角度の関数としてエンコードされる。網膜を検討すると、画像は、網膜を横断して投影される。下記に説明されるように、走査光をユーザの眼に指向するように接眼レンズを使用することによって、可視光および特性評価光の両方が、重畳様式で出力される。特性評価光の反射は、網膜または眼の他の要素の画像を生産するために使用されることができる。眼の要素、例えば、中心窩が所定のピクセルと整合されることを前提として、眼の配向が、決定されることができる。本配向が経時的に変化する際、眼の追跡が、実施される。
【0040】
いくつかの実装では、光走査プロジェクタは、画像をユーザに表示するためだけではなく、また、ユーザの眼から反射された光を受光するためにも使用され、これは、次いで、接眼レンズを通して戻り経路内を伝搬し、光学アセンブリ区分１３０に衝突する。したがって、これらの実施形態では、光走査プロジェクタ（例えば、ファイバ走査プロジェクタ）は、光走査プロジェクタによって生産された光が反射され、眼追跡計算における後続使用のために光走査プロジェクタによって受光される、眼追跡システムの要素である。
【0041】
眼から反射された光がファイバ走査プロジェクタのファイバの中に戻るように結合される実施形態では、光は、ファイバのコアの中だけではなく、ファイバのクラッディングにも同様に結合されることができる。
【0042】
図３は、本発明のある実施形態による、いくつかのスペクトルプロファイルを図示する、簡略化された図である。図３では、放出光と関連付けられる赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）スペクトルプロファイルが、曲線３１０、３１２、および３１４として図示される。これらの放出プロファイルは、ユーザのためのフルカラーディスプレイ体験を提供する。図３はまた、眼に可視ではないが、角膜、網膜、またはユーザの眼の他の部分から反射する、赤外線（ＩＲ）スペクトルプロファイル３２０を図示する。電磁スペクトルのＩＲ領域内の光は、ファイバ走査プロジェクタがディスプレイの視野を通して走査する際、ＲＧＢ信号とともに投影されることができる。いくつかの実施形態では、接眼レンズの中に投影された光は、表示光（例えば、ＲＧＢ光）および特性評価光（例えば、ＩＲ光）として分類されることができる。特定の実施形態では、表示光は、可視光であり、特性評価光は、不可視光である。他の実装では、異なる波長の可視光が、表示光および特性評価光の両方のために使用されることができる。網膜を含む、眼の眼底は、位置の関数としての異なる反射率によって特徴付けられる。したがって、投影光が眼の異なる部分を横断して走査される際、光学センサ（例えば、１つ以上の高速フォトダイオード）を使用して測定された反射光強度の変動は、ユーザの眼の眼底マップを生成するために使用されることができる。
【0043】
図３に図示されるような単一のＩＲ帯域に加えて、他の波長も、角膜からの反射率を提供するために利用されることができる。加えて、例えば、ＩＲにおける複数の帯域が、特定の用途に対して適宜利用され得る。
【0044】
図４は、本発明のある実施形態による、接眼レンズ層を図示する、簡略化された側面図である。表示光および特性評価光を接眼レンズの中に結合するために、付加的接眼レンズ層が、ＲＧＢ層に加えて提供されることができる。図４では、整合された内部結合格子（すなわち、回折光学要素）を伴う接眼レンズが、側面図において図示される。
【0045】
画像を視認者の眼に投影するために使用され得る、接眼レンズ４００は、第１の側方平面内に（すなわち、ｚ軸に沿って配置される第１の縦方向位置に）位置付けられる第１の平面導波管４１０を含む。第１の平面導波管４１０は、第１の側方位置（すなわち、第１のｘ－ｙ座標位置）に配置される第１の回折光学要素（ＤＯＥ）４１２を備える。第１のＤＯＥ４１２は、第１の波長範囲（例えば、赤色波長）と関連付けられ、本実施例では赤色光を第１の平面導波管の中に回折するように動作可能である。第１のＤＯＥ４１２は、第１の波長を第１の平面導波管の中に結合するが、第１の波長範囲外の波長を実質的に通過させる、透過格子を使用して実装されることができる。
【0046】
接眼レンズはまた、第１の側方平面に隣接する第２の側方平面内に位置付けられる第２の平面導波管４２０を含む。第２の平面導波管は、第１のＤＯＥ４１２の下方の第１の側方位置に配置される第２のＤＯＥ４２２を含む。第２のＤＯＥ４２２は、第２の波長範囲（例えば、緑色波長）と関連付けられ、本実施例では緑色光を第２の平面導波管の中に回折するように動作可能である。第２のＤＯＥ４２２は、第２の波長を第２の平面導波管の中に結合するが、第２の波長範囲外の波長を実質的に通過させる、透過格子を使用して実装されることができる。
【0047】
第３の平面導波管４３０が、第２の側方平面に隣接する第３の側方平面内に位置付けられる。第３の平面導波管は、第１のＤＯＥおよび第２のＤＯＥの下方の第１の側方位置に配置され、縦方向に沿って整合される（すなわち、ｚ軸と整合される）、第３のＤＯＥ４３２を含む。第３のＤＯＥ４２２は、第３の波長範囲（例えば、青色波長）と関連付けられ、本実施例では青色光を第３の平面導波管の中に回折するように動作可能である。第３のＤＯＥ４３２は、第３の波長を第３の平面導波管の中に結合するが、第３の波長範囲外の波長を実質的に通過させる、透過格子を使用して実装されることができる。第１の３つの平面導波管を使用して、可視放射が、視認者に向かって指向される。
【0048】
可視表示光をユーザに指向するために使用され得る３つの平面導波管４１０、４２０、および４３０に加えて、第４の平面導波管４４０が、図４に図示される。第４の平面導波管４４０は、第３の側方平面に隣接する第４の側方平面内に位置付けられる。第４の平面導波管は、第１のＤＯＥ、第２のＤＯＥ、および第３のＤＯＥの下方の第１の側方位置に配置され、縦方向に沿って整合される（すなわち、ｚ軸と整合される）、第４のＤＯＥ４４２を含む。第４のＤＯＥ４４２は、ユーザに可視ではない第４の波長範囲（例えば、ＩＲ波長）と関連付けられ、本実施例ではＩＲ光を第４の平面導波管の中に回折するように動作可能である。第４のＤＯＥ４３２は、第４の波長を第４の平面導波管の中に結合するが、第４の波長範囲外の波長を実質的に通過させる、透過格子を使用して実装されることができる、またはより高い回折効率のためにミラーコーティングを伴う反射格子として実装されることができる。
【0049】
全ての４つのＤＯＥが、図４に図示される実施形態において整合されるが、これは、本発明によって要求されず、ＤＯＥは、異なる側方位置において空間的に分離されることができる。さらに、平面導波管が整列される順序は、特定の用途に対して適宜変動されることができる。実施例として、（例えば、緑色光を回折するための）第２のＤＯＥは、整合され得る第１および第３のＤＯＥから空間的に分離されることができる。本実施例では、緑色光は、可視スペクトルの中間にあるため、これは、他の色に関するＤＯＥ内で強く回折されない青色および赤色光から空間的に分離され、青色および赤色ＤＯＥが空間的に整合されることを可能にする。同様に、第４のＤＯＥは、赤色波長と関連付けられるＤＯＥから空間的に分離される、例えば、青色または緑色ＤＯＥと整合されることができる。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0050】
上記に議論されるように、画像フレームのピクセル場所と関連付けられる、時間の関数としてのファイバ走査プロジェクタによって放出される光の空間的場所を前提として、例えば、ＩＲスペクトル内の眼から反射された光の強度は、ピクセル位置と相関され、反射強度のマップを形成することができる。反射率は、眼の上の位置の関数として変動するため、眼のフィンガプリントが、各眼位置または配向に関して形成されることができる。したがって、本発明の実施形態は、時間の関数としての眼移動を追跡することができ、これは、次いで、仮想コンテンツが表示される様式または同等物を修正するために使用されることができる。いくつかの実施形態は、ビデオ信号の画像フレーム（すなわち、ビデオフレーム）の観点から議論されるが、画像フレームは、本発明によって要求されないことを理解されたい。フレームに合成される画像に加えて、本発明の実施形態は、より一般的に、ファイバ位置および光出力の既知のシーケンスに適用可能である。例えば、本発明の実施形態は、フレームをレンダリングするのではなく、時間ｔにおける仮想点群を利用し、走査装置の現在の位置を前提として所望のピクセル強度を算出する、走査ディスプレイに適用可能である。時間の関数としての位置および強度を把握することは、本明細書に説明されるような眼追跡センサ信号の解釈を可能にする。
【0051】
図５は、本発明の代替実施形態による、接眼レンズ層を図示する、簡略化された側面図である。図５は、図４に図示される要素と共通要素を共有し、図４に関連して提供される説明は、適宜、図５に適用可能である。図５に図示される接眼レンズでは、表示光および特性評価光の一部が、回折光学要素を通して平面導波管のうちの１つの中に結合される。図５に図示される特定の実施形態では、可視波長範囲（例えば、赤色波長範囲）のうちの１つの中の光および不可視波長範囲（例えば、ＩＲ波長範囲）内の光は、ユーザの眼への透過のために第１の平面導波管の中に結合される。
【0052】
図５を参照すると、第１の平面導波管５１０は、第１の波長範囲（例えば、赤色波長）および特性評価波長範囲（例えば、ＩＲ波長）と関連付けられる第１の側方位置に配置される第１の回折光学要素（ＤＯＥ）５１２を備え、第１の波長範囲および特性評価波長範囲内の光を第１の平面導波管の中に回折するように動作可能である。第１のＤＯＥ５１２は、第１の波長内の光および特性評価波長範囲内の光を第１の平面導波管の中に結合するが、第１の波長範囲および特性評価波長範囲外の波長を実質的に通過させる、透過格子を使用して実装されることができる。
【0053】
接眼レンズはまた、第１の側方平面に隣接する第２の側方平面内に位置付けられる第２の平面導波管５２０を含む。第２の平面導波管は、第１のＤＯＥ５１２の下方の第１の側方位置に配置される第２のＤＯＥ５２２を含む。第２のＤＯＥ５２２は、第２の波長範囲（例えば、緑色波長）と関連付けられ、本実施例では緑色光を第２の平面導波管の中に回折するように動作可能である。第２のＤＯＥ５２２は、第２の波長を第２の平面導波管の中に結合するが、第２の波長範囲外の波長を実質的に通過させる、透過格子を使用して実装されることができる。
【0054】
第３の平面導波管５３０が、第２の側方平面に隣接する第３の側方平面内に位置付けられる。第３の平面導波管は、第１のＤＯＥおよび第２のＤＯＥの下方の第１の側方位置に配置され、縦方向に沿って整合される（すなわち、ｚ軸と整合される）、第３のＤＯＥ５３２を含む。第３のＤＯＥ５２２は、第３の波長範囲（例えば、青色波長）と関連付けられ、本実施例では青色光を第３の平面導波管の中に回折するように動作可能である。第３のＤＯＥ５３２は、第３の波長を第３の平面導波管の中に結合するが、第３の波長範囲外の波長を実質的に通過させる、透過格子を使用して実装されることができる。
【0055】
これらの３つの平面導波管を使用して、可視放射および特性評価波長範囲内の放射の両方が、視認者に向かって指向される。特性評価波長範囲内の光は、視認者の眼から反射し、上記に議論されるような１つ以上の光検出器によって捕捉されることができる。故に、本実施形態における３つの平面導波管を使用して、表示光および特性評価光が、視認者に送達される。
【0056】
図６は、本発明のある実施形態による、眼追跡システムの簡略化された概略図である。眼追跡システム６００は、画像プロセッサ６１０と、少なくとも１つのファイバ走査プロジェクタ６２０と、接眼レンズ６３０と、光学センサ６４０とを含む。画像プロセッサは、ファイバ走査プロジェクタ６２０を駆動するための駆動回路６１２と、眼追跡サブシステム６１４と、プロセッサ６１６と、入力／出力デバイス６１８とを含むことができる。接眼レンズ６３０は、複数の平面導波管６３２を含み、そのそれぞれは、回折光学要素６３４を組み込むことができる。図示される実施形態では、接眼レンズ６３０は、眼鏡のフレーム内に搭載され、３つの表示波長範囲（例えば、ＲＧＢ）および１つの特性評価波長範囲（例えば、赤外線）と併せて動作する４つの平面導波管を含む。
【0057】
図６に図示されるように、駆動回路６１２は、ファイバ走査プロジェクタと通信する電子機器を含んでもよい。画像プロセッサ６１０は、最終的にユーザに表示される仮想コンテンツを生成することが可能である。画像プロセッサ６１０は、仮想コンテンツと関連付けられる画像またはビデオを、複数の深度平面を提供する接眼レンズの使用を通して３Ｄにおいてユーザに投影され得るフォーマットに変換してもよい。コンテンツは、入力／出力デバイス６１６を通して受信され、画像プロセッサ６１０のプロセッサ６１６を使用して処理されることができる。
【0058】
いくつかの実施形態では、眼追跡システム６００は、ファイバ走査プロジェクタ６２０から接眼レンズ６３０に光を指向するために、結合光学系６５０を利用する。結合光学系６５０は、光を接眼レンズ、例えば、各平面導波管の回折光学要素の中に指向するために使用される１つ以上の従来のレンズを指し得る。
【0059】
動作時、ファイバ走査プロジェクタ６５０からの光出力は、表示光６２２および特性評価光６２４の両方を含むことができる。結合光学系６５０を利用する実施形態では、結合された表示光６２６および結合された特性評価光６２８は、平面導波管層６３２の回折光学要素６３４に衝突する。接眼レンズ６３０の出力は、ユーザの眼６０５に伝搬する、画像表示光６３６および接眼レンズ特性評価光６３８の両方を含む。画像表示光６３６および接眼レンズ特性評価光６３８の両方が、単一の光線によって図６に図示されるが、本光は、発散する光の円錐として接眼レンズ６３０から出射し得ることを理解されたい。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0060】
眼から反射する接眼レンズ特性評価光は、反射光６４２として図示され、眼鏡のフレーム内に搭載され得る光学センサ６４０に衝突する。眼の形状のため、眼から、例えば、角膜から反射する光は、画像表示光６３６または接眼レンズ特性評価光６３８のいずれかと関連付けられる光の円錐よりも大きい角度範囲を有する光の円錐によって特徴付けられる。光検出器を使用する用途では、光検出器によって出力される電気信号が、これが眼追跡サブシステム６１４または他の好適なプロセッサによって処理され得るように、画像プロセッサ６１０に伝送される。
【0061】
眼追跡は、眼が経時的に移動する際に実施されることができる。実施例として、ビデオ画像の第１のフレームの間の眼の第１の配向が、決定され、ビデオ画像の後続の第２のフレームの間の眼の第２の配向と比較されることができる。したがって、経時的に、眼の配向は、以下のように決定されることができる。
【0062】
ファイバ走査プロジェクタのファイバは、ビデオ画像の第１の画像フレームを形成するために走査される。本走査は、時間の関数としての中心軸からの増加する偏向を伴う螺旋パターンによって特徴付けられ得る。ファイバが走査パターンを掃引する際、第１の画像フレームを定義する、第１の一連のピクセルが、生成される。本第１の画像フレームは、複数の平面導波管を含む接眼レンズの中に結合される。いくつかの実施形態では、表示光（例えば、可視光）および特性評価光（例えば、赤外光）の両方が、ファイバ走査プロジェクタを使用して生成され、異なる平面導波管が、ユーザの眼に光を指向するために使用されることができる。したがって、実施形態は、第１の画像フレームの少なくとも一部をユーザの眼に透過する。光学センサを使用して、第１の一連の反射強度が、検出される。本一連の反射強度はそれぞれ、第１の一連のピクセルのあるピクセルと関連付けられる。
【0063】
ファイバを検討すると、これが画像フレームのピクセルを通して走査する際、最初の時間に、第１のピクセルが、照射されるであろう。本第１のピクセルが表示される際、ある量の光が、眼から反射され、反射強度に関する第１の測定値をもたらすであろう。後の時間における第２のピクセルに関して、反射強度に関する第２の測定値が、もたらされるであろう。したがって、経時的に、一連の反射強度が、測定され、それぞれ、異なるピクセルと関連付けられるであろう。一連のものにおける反射の量および反射強度の値は、ピクセルが表示される角膜の形状（例えば、半径）、ピクセルが角膜上で位置する位置、および同等物に依存するであろう。
【0064】
したがって、ファイバが第１の画像フレームのピクセルを定義するパターンを通して掃引する際、ピクセル生成のタイミングは、把握される。これは、時間の関数としてのピクセルの空間マッピングを提供する。一連の反射強度の検出のタイミングは、反射強度の空間マップを生成するために、ピクセル生成のタイミングと相関されることができる。本空間マップは、第１の画像フレームの間に眼の配向を特性評価するために使用されることができる。
【0065】
後続画像フレーム（すなわち、第２の画像フレーム）に関して、本プロセスは、第２の画像フレームの間に測定された反射強度の第２の空間マップを生成するために繰り返されることができる。空間マップは、眼位置とともに変動するであろうため、ビデオが進行する際に２つの異なる時間において収集された空間マップを比較することによって、眼位置は、時間の関数として追跡されることができる。いくつかの実施形態では、画像が表示され、ユーザに視野の異なる部分を見るように指図するために使用される場合に、較正プロセスが、使用される。異なる眼配向のそれぞれにおける反射強度の測定値が、異なる眼配向のそれぞれと関連付けられる空間マップを生成するために使用されることができる。空間マップの本ライブラリは、次いで、ビデオ表示の間の任意の時間に眼を位置特定するために使用されることができる。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0066】
図７は、本発明のある実施形態による、眼追跡システムを動作させる方法である。眼追跡システムは、ファイバ走査プロジェクタと、接眼レンズと、光学センサとを含む。方法７００は、ファイバ走査プロジェクタを使用して、光学信号を生成するステップを含む（７１０）。ファイバ走査プロジェクタは、図６および本明細書の他の図に図示されるような要素を利用することができる。光学信号は、ユーザに表示される光を生成するために使用される表示信号（例えば、赤色、緑色、および青色波長等の１つ以上の可視波長）と、眼追跡において使用するための信号を提供するために使用される特性評価信号（例えば、赤外線波長等の１つ以上の不可視波長）とを含むことができる。図４および５に図示されるような接眼レンズは、複数の平面導波管、例えば、３つの可視色および赤外線特性評価信号のための４つの平面導波管を含んでもよい。いくつかの実施形態では、複数の深度平面が、異なる特性を伴う接眼レンズのセットを組み合わせることによって提供される。
【0067】
本方法はまた、光学信号の少なくとも一部を接眼レンズの中に結合するステップ（７１２）と、接眼レンズから、ユーザの眼によって視認可能な画像を投影するステップ（７１４）とを含む。本方法はさらに、光学センサ（例えば、光検出器）を使用して、ユーザの眼から反射された光を検出するステップ（７１６）と、ユーザの眼の位置を追跡するステップ（７１８）とを含む。単一の光検出器がいくつかの実施形態において利用されることができるが、他の実施形態は、複数の光検出器を利用し、本発明は、単一の光検出器の使用に限定されない。ユーザの眼の位置を追跡するステップは、画像の一連のピクセルの位置をユーザの眼から反射された光の一連の強度と相関させるステップを含むことができる。
【0068】
ある実施形態では、光学信号は、表示信号（例えば、１つ以上の可視波長から構成される）と、特性評価信号（例えば、１つ以上の不可視波長、例えば、赤外線波長から構成される）とを含む。相互に隣接して配置される複数の平面導波管を備える接眼レンズを使用して、種々の波長は、波長の関数として平面導波管の中に結合されることができる。例えば、赤色、緑色、青色、および赤外線波長に対応する４つの平面導波管が、利用されることができる。
【0069】
図７に図示される具体的ステップは、本発明のある実施形態による、眼追跡システムを動作させる特定の方法を提供することを理解されたい。他のステップのシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、本発明の代替実施形態は、上記に概説されたステップを異なる順序で実施してもよい。さらに、図７に図示される個々のステップは、個々のステップに対して適宜、種々のシーケンスで実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0070】
図８は、本発明のある実施形態による、第１の配向から第２の配向への眼移動を追跡する方法を図示する、簡略化されたフローチャートである。方法８００は、ビデオ画像の第１の画像フレームを形成するために、ファイバ走査プロジェクタのファイバを走査するステップを含む（８１０）。第１の一連のピクセルが、第１の画像フレームを定義する。本方法はまた、第１の画像フレームを複数の平面導波管を含む接眼レンズの中に結合するステップ（８１２）と、第１の画像フレームの少なくとも一部をユーザの眼に透過するステップ（８１４）とを含む。一実施例では、複数の平面導波管は、赤色波長に対応する第１の平面導波管と、緑色波長に対応する第２の平面導波管と、青色波長に対応する第３の平面導波管と、赤外線波長に対応する第４の平面導波管とを含むことができる。接眼レンズの中への第１の画像フレームの結合は、回折光学要素、例えば、内部結合格子を使用して、第１の画像フレームを平面導波管のうちの１つ以上のものの中に回折することによって遂行されることができる。
【0071】
本方法はさらに、第１の一連の反射強度を検出するステップを含む（８１６）。第１の一連のものはそれぞれ、第１の一連のピクセルのあるピクセルと関連付けられる。加えて、本方法は、第１の一連の検出された反射強度を第１の一連のピクセルと相関させるステップ（８１８）と、眼の第１の配向を決定するステップ（８２０）とを含む。
【0072】
本方法はまた、ビデオ画像の第２の画像フレームを形成するために、ファイバを走査するステップ（８２２）であって、第２の一連のピクセルが、第２の画像フレームを定義する、ステップと、第２の画像フレームを接眼レンズの中に結合するステップ（８２４）と、第２の画像フレームの少なくとも一部をユーザの眼に透過するステップ（８２６）とを含む。接眼レンズの中への第２の画像フレームの結合は、回折光学要素、例えば、内部結合格子を使用して、第２の画像フレームを平面導波管のうちの１つ以上のものの中に回折することによって遂行されることができる。
【0073】
第１の画像フレームの少なくとも一部をユーザの眼に透過するステップおよび第２の画像フレームの少なくとも一部をユーザの眼に透過するステップは、１つ以上の回折光学要素、例えば、接眼レンズの平面内で光を回折するように動作可能な第１の回折光学要素（例えば、直交瞳エキスパンダ）および接眼レンズの平面から光を回折するように動作可能な第２の回折光学要素（例えば、射出瞳エキスパンダ）を使用して、第１の画像フレームの少なくとも一部および第２の画像フレームの少なくとも一部を回折することによって遂行されることができる。
【0074】
本方法はさらに、第２の一連の反射強度を検出するステップ（８２８）であって、第２の一連のものはそれぞれ、第２の一連のピクセルのあるピクセルと関連付けられる、ステップと、第２の一連の検出された反射強度を第２の一連のピクセルと相関させるステップ（８３０）と、眼の第２の配向を決定するステップ（８３２）とを含む。代替実施形態では、本方法はさらに、第１の配向および第２の配向に関連する軌道を出力するステップを含む（８３４）。
【0075】
第１の画像フレームおよび第２の画像フレームは、ビデオ画像の連続フレームであり得る。代替として、１つ以上の付加的画像フレームが、第１の画像フレームと第２の画像フレームとの間に位置付けられることができ、これらは、複数のフレーム周期によって時間において時間的に分離されることができる。
【0076】
図８に図示される方法の実装の一部として、訓練プロセスが、利用されることができ、ディスプレイは、視認される一連のオブジェクトをユーザに提示する。ユーザは、一連のオブジェクトを見るタスクを課され、そのそれぞれは、異なる眼注視と関連付けられる。ユーザが一連のオブジェクトのそれぞれを見る際、所定の眼運動をもたらし、光のビームの走査および検出される対応する反射が、本システムを訓練するために使用され、それによって、眼注視毎の時間の関数としての時変反射のデータベースを蓄積する。機械学習および他の好適な技法が、そのような訓練プロセスを実装する際に利用されることができる。ユーザが静的オブジェクトを見ている間に行われる測定に加えて、ユーザによる移動するオブジェクトの追跡が、訓練プロセスの構成要素として利用されることができる。
【0077】
図８に図示される具体的ステップは、本発明のある実施形態による、第１の配向から第２の配向への眼移動を追跡する特定の方法を提供することを理解されたい。他のステップのシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、本発明の代替実施形態は、上記に概説されたステップを異なる順序で実施してもよい。さらに、図８に図示される個々のステップは、個々のステップに対して適宜、種々のシーケンスで実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0078】
図９は、本発明のある実施形態による、角膜閃光を使用する眼追跡システムの側面図を図示する、簡略化された概略図である。図９に図示されるように、本発明の実施形態は、高輝度用途、例えば、眼からの反射光に関する信号対雑音比が所望よりも低くあり得るときの屋外においてロバストである方法およびシステムを提供する。
【0079】
図９を参照すると、眼９０５の角膜９１０は、接眼レンズ９２０に隣接して位置付けられる。接眼レンズ９２０は、図５に図示される接眼レンズ５００と共通要素を共有することができる。ファイバ走査プロジェクタが、接眼レンズを駆動するために使用され、接眼レンズ９２０から放出される光は、ビームレットとも称され得る、出力光線９２２として図示される。図９に図示される側面図では、眼鏡のフレーム９３０は、接眼レンズを支持するように示される。明確化の目的のために、角膜９１０に衝突する出力光線９２２は、実線を用いて図示され、角膜から反射する反射光線９２４は、破線を用いて図示される。
【0080】
フレーム９３０は、高速光検出器であり得る、複数の光学検出器９３２を支持する。複数の光学検出器９３２は、フレームの周辺の周囲に整列され、フレーム９３０の対向する縁に位置付けられる検出器９３２ａおよび９３２ｂとして図９に図示される。検出器９３２ａおよび９３２ｂは、フレームの上部および底部において図示されるが、それらは、眼鏡のテンプルの近傍を含む、他の周辺部分において統合され得ることを理解されたい。出力光線またはビームレットが、略球形である角膜に衝突する際、光は、角膜表面から異なる角度において接眼レンズ／フレーム／光学検出器に向かって戻るように反射されるであろう。順に、反射光の一部は、フレーム９３０内に埋設または別様に搭載され得る、複数の光学検出器に到達するであろう。一実施形態では、複数の光学検出器は、周辺の周囲に固定間隔において整列される一方、他の実施形態では、アレイパターンは、特定の用途に対して適宜、非固定間隔を使用することができる。光学検出器は、それらが高効率で眼から反射される光を収集するように配向されることができる。高速光検出器が、本明細書において光学検出器として議論されるが、本発明は、光検出器に限定されず、光ファイバ、多モード光ファイバ、および他の光学要素が、種々の光学検出器の代わりに、またはそれと併せて利用されることができる。
【0081】
移動しない眼を検討する。第１の時間の間、例えば、ビデオデータのフレームの第１の部分の間、出力光線によって定義される、ユーザに提示される画像の第１の部分は、反射の第１の量が複数の光学検出器において検出されることをもたらすであろう。第２の時間の間、例えば、ビデオデータのフレームの第２の部分の間、ユーザに提示される画像の部分および対応する出力光線は、画像の第１の部分を定義する出力光線に関して変化されるであろう。これは、走査ファイバプロジェクタが接眼レンズを駆動するために利用され、走査ファイバによって掃引される角度が時間の関数として変動するという事実からもたらされる。故に、第２の時間の間、複数の光学検出器において検出される反射の量は、複数の光学検出器によって検出される反射の第１の量に関して変化するであろう。したがって、フレームの周辺の周囲に整列される複数の光学検出器に関して、移動しない眼であっても、光の時変量が、走査角度の関数として検出されるであろう。走査ビームの動的性質は、時間の関数として変動する角膜からの反射が、時間の関数として変動する閃光と見なされ得るため、事実上、動的閃光発生器を提供する。注視検出は、眼注視を時間の関数として検出される反射／閃光のパターンと相関させることによって可能にされる。
【0082】
本システムは、較正され、図８に関連して上記に議論されるように、いくつかの眼注視または配向に関して、指紋と類似する一意の特性評価を提供することができる。ユーザに第１の方向を見させることによって、複数の光学検出器のそれぞれにおける検出される強度の時変変化が、本第１の方向と関連付けられる一意の特性評価を定義するために特性評価されることができる。ユーザが第２の異なる方向を見るとき、検出される強度の異なる時変変化が、測定され、本第２の方向と関連付けられる第２の一意の特性評価を定義するために使用されることができる。較正プロセスは、いくつかの眼配向に関するこれらの特性評価を実施することができ、これは、ルックアップテーブルまたは一意の特性評価の眼注視または配向を相関させるための他の好適なパターン識別子の形成を促進することができる。上記に言及されるように、ルックアップテーブルに加えて、よりコンピュータ的に効率的であり得る、機械学習技法が、採用されることができる。
【0083】
動作時、検出される強度の時変変化は、眼追跡を提供するために、測定され、一連の時間における所与の配向に関する一意の特性評価に合致されることができる。
【0084】
図１０は、本発明のある実施形態による、角膜閃光を使用して眼追跡を実施する方法を図示する、簡略化されたフローチャートである。方法１０００は、ビデオ画像の画像フレームの第１の部分を形成するために、光走査プロジェクタ（例えば、ファイバ走査プロジェクタ）のビームを走査するステップを含む（１０１０）。第１の一連のピクセルが、画像フレームの第１の部分を定義する。本方法はまた、画像フレームの第１の部分を複数の平面導波管を含む接眼レンズの中に結合するステップ（１０１２）と、画像フレームの第１の部分の少なくとも一部をユーザの眼に透過するステップ（１０１４）と、複数の光学検出器のそれぞれにおいて、時間的反射信号を検出するステップ（１０１６）とを含む。いくつかの実施形態では、複数の光学検出器ではなく、単一の検出器が、利用され、例えば、接眼レンズを含むフレームに隣接するテンプル上に搭載される。
【0085】
複数の平面導波管は、赤色波長に対応する第１の平面導波管と、緑色波長に対応する第２の平面導波管と、青色波長に対応する第３の平面導波管と、赤外線波長に対応する第４の平面導波管とを含むことができる。複数の光学検出器は、眼の周辺領域の周囲に整列され得る、複数の光検出器であり得る。図２に図示されるように、接眼レンズは、フレーム内に搭載されることができ、複数の光検出器は、フレームの周辺の周囲に配置されることができる。他の実施形態では、１つ以上の検出器が、フレームに接続されるテンプル内に搭載される。本方法はさらに、複数の時間的反射信号を第１の一連のピクセルと相関させるステップを含む（１０１８）。
【0086】
加えて、本方法は、ビデオ画像の画像フレームの第２の部分を形成するために、ビームを走査するステップを含む（１０２０）。第２の一連のピクセルが、画像フレームの第２の部分を定義する。本方法はまた、画像フレームの第２の部分を接眼レンズの中に結合するステップ（１０２２）と、画像フレームの第２の部分の少なくとも一部をユーザの眼に透過するステップ（１０２４）と、複数の光学検出器のそれぞれにおいて、第２の時間的反射信号を検出するステップ（１０２６）とを含む。さらに、本方法は、複数の第２の時間的反射信号を第２の一連のピクセルと相関させるステップ（１０２８）と、眼配向を決定するステップ（１０３０）とを含む。上記に議論されるように、複数の光学検出器は、接眼レンズあたり単一の検出器、例えば、高速光検出器と置換されることができる。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0087】
図１０に図示される具体的ステップは、本発明のある実施形態による、眼配向を特性評価する特定の方法を提供することを理解されたい。他のステップのシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、本発明の代替実施形態は、上記に概説されたステップを異なる順序で実施してもよい。さらに、図１０に図示される個々のステップは、個々のステップに対して適宜、種々のシーケンスで実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0088】
図１１は、本発明のある実施形態による、眼追跡を実施する方法を図示する、簡略化されたフローチャートである。方法１１００は、ファイバ走査プロジェクタ、フレーム内に搭載される接眼レンズ、およびフレームの周辺の周囲に整列される複数の光学検出器を提供するステップを含む。接眼レンズは、複数の平面導波管を含むことができる。
【0089】
本方法はまた、ファイバ走査プロジェクタおよび接眼レンズを使用して、第１の画像フレームを眼に投影するステップ（１１１０）と、複数の光学検出器を使用して、複数の時変反射信号を検出するステップ（１１１２）と、第１の眼配向を決定するステップ（１１１４）とを含む。第１の画像フレームを眼に投影するステップは、第１の画像フレームの一部を複数の平面導波管のそれぞれの中に結合するステップと、結合された部分の少なくとも一部をユーザの眼に透過するステップとを含むことができる。
【0090】
本方法はさらに、ファイバ走査プロジェクタおよび接眼レンズを使用して、第２の画像フレームを眼に投影するステップ（１１１６）と、複数の光学検出器を使用して、第２の複数の時変反射信号を検出するステップ（１１１８）と、第２の眼配向を決定するステップ（１１２０）とを含む。第２の画像フレームを眼に投影するステップは、第２の画像フレームの一部を複数の平面導波管のそれぞれの中に結合するステップと、結合された部分の少なくとも一部をユーザの眼に透過するステップとを含むことができる。代替実施形態では、本方法はさらに、第１の眼配向および第２の眼配向に関連する軌道を出力するステップを含む。
【0091】
図１０に関連して議論されるように、複数の時変反射信号は、例えば、フレームの間のより大きい角度において、ファイバが走査する際の第１の画像フレームの間のファイバ走査プロジェクタの増加する走査角度と関連付けられることができる。第２の複数の時変反射信号もまた、第２の画像フレームの間のファイバ走査プロジェクタの増加する走査角度と関連付けられることができる。第１の画像フレームおよび第２の画像フレームは、ビデオ画像の連続フレームであり得る。代替として、１つ以上の付加的画像フレームが、第１の画像フレームと第２の画像フレームとの間に位置付けられることができる。
【0092】
図１１に図示される具体的ステップは、本発明のある実施形態による、眼追跡を実施する特定の方法を提供することを理解されたい。他のステップのシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、本発明の代替実施形態は、上記に概説されたステップを異なる順序で実施してもよい。さらに、図１１に図示される個々のステップは、個々のステップに対して適宜、種々のシーケンスで実施され得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0093】
図１２Ａは、本発明のある実施形態による、眼追跡システムの側面図を図示する、簡略化された概略図である。図１２Ａに図示されるように、本発明の実施形態は、高輝度用途、例えば、眼からの反射光に関する信号対雑音比が所望よりも低くあり得るときの屋外においてロバストである方法およびシステムを提供する。本発明の実施形態および図１２に図示される要素は、走査レーザ検眼鏡に照らして検討されることができる。
【0094】
図１２Ａを参照すると、眼１２０５は、接眼レンズ１２２０に隣接して位置付けられる。接眼レンズ１２２０は、図５に図示される接眼レンズ５００と共通要素を共有することができる。ファイバ走査プロジェクタが、接眼レンズを駆動するために使用され、接眼レンズ１２２０から放出される光は、ビームレットとも称され得る、出力光線１２２２として図示される。図１２に図示される側面図では、眼鏡のフレーム１２３０は、接眼レンズを支持するように示される。明確化の目的のために、角膜１２０８を通過し、角膜１２１０に衝突する出力光線１２２２は、実線を用いて図示され、網膜から反射する反射光線１２２４は、破線を用いて図示される。図１２Ａに図示されるように、水晶体および角膜（図示せず）による屈折は、ビームレットが網膜上のある点に集束されることをもたらし、これは、ディスプレイのピクセルと相関される。出力光線１２２２が、網膜が高度に反射性である波長、例えば、赤外線波長を含む場合、これらの波長における反射光は、網膜からの反射後、眼および角膜を通して実質的に軸上で伝搬する傾向があるであろう。実質的に逆の光学経路に続いて、反射光線１２２４は、明確化の目的のために、わずかに発散するように図示される。反射光線１２２４は、出力光線１２２２と実質的に同一の軸である経路に沿って伝搬するため、検出器は、好ましくは、視野の周辺ではなく、視野内にある。
【0095】
網膜１２１０からの反射後、反射光線１２２４は、接眼レンズ１２２０に衝突し、（例えば、回折によって）接眼レンズの中に結合され、それらは、全内部反射によって接眼レンズの内側に伝搬する。図示される実施形態では、フレーム１２３０は、高速光検出器であり得る１つ以上の光学検出器１２３２を支持する。１つ以上の光学検出器１２３２は、いくつかの角度において反射される光を捕捉するために、接眼レンズおよびフレームの周辺の周囲に整列されることができる。光は、直交結合要素、例えば、外部結合格子の使用を伴わずに接眼レンズから光学検出器に結合されることができるが、図１２Ａに示されるように、接眼レンズの縁を通して光学検出器に通過することができる。接眼レンズから光学検出器への結合の効率は、したがって、典型的には、直交結合要素を使用して達成されるものよりも高くあり得る。本実施形態では、接眼レンズは、したがって、接眼レンズと統合される１つ以上の光学検出器と結合され、ユーザの視野の外側に設置される反射光を検出するように動作可能であり得る収集要素として使用される。検出器の動作は、本明細書の他の実施形態に関連して議論される検出器と類似する機能性を共有することができる。
【0096】
図１２Ｂは、本発明の代替実施形態による、眼追跡システムの側面図を図示する、簡略化された概略図である。本代替実施形態では、付加的回折構造１２２１が、網膜から反射された光を１つ以上の検出器１２５２に回折するために、接眼レンズ１２２０と統合される。実施例として、赤外線波長において効率的である付加的回折構造１２２１が、反射光１２２４を検出器１２５２ａおよび１２５２ｂに指向するために、接眼レンズ１２２０と統合され得る（例えば、接眼レンズの後部に積層される）。検出器１２５２ａおよび１２５２ｂは、フレームの上部および底部において図示されるが、それらは、眼鏡のテンプルの近傍を含む、他の周辺部分において統合され得ることを理解されたい。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0097】
図１２Ａに関連して議論されるように、ＴＩＲによって付加的回折構造１２２１内で伝搬する光は、直交結合要素、例えば、外部結合格子の使用を伴わずに付加的回折構造から光学検出器に結合されることができるが、図１２Ｂに示されるように、付加的回折構造の縁を通して光学検出器に通過することができる。その結果、付加的回折構造から光学検出器１２５２ａ／１２５２ｂへの結合の効率は、したがって、典型的には、直交結合要素を使用して達成されるものよりも高くあり得る。
【0098】
図１２Ａおよび１２Ｂに図示されないが、光学検出器は、接眼レンズ９２０の右（すなわち、正面）に設置され、網膜から反射された光を検出するために使用され得る。加えて、赤外光を優先的に反射するビームスプリッタまたはミラー（すなわち、ホットミラー）が、他の波長帯域内の反射光から反射赤外光を分離するために利用されることができる。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0099】
接眼レンズまたは付加的回折構造のいずれかの回折性質は、本システムを使用して利用可能な情報コンテンツを増加させるために、空間的に変動されることができる。回折構造は、画像中継（すなわち、画像保存）であり得るか、または結像効果を保存しないであろうかのいずれかであることに留意されたい。実施例として、検出器に結合される多モードファイバが、非画像保存用途のために周辺場所において接眼レンズに光学的に結合され得る。別の実施例として、上記に議論される空間的変動に関連して、空間的に分離されるファイバのアレイが、接眼レンズに光学的に結合され得る。眼／角膜が回転する際、空間的に分離されたアレイに衝突する反射光の分布は、変動し、眼／角膜が回転する際の本時間的／空間的変動は、眼の配向をエンコードするために使用されることができる。
【0100】
例えば、付加的回折構造の接眼レンズの空間的変動は、それぞれ、周辺に搭載され、半径断面のそれぞれと関連付けられる検出器に向かって光を回折する、半径断面のセットとして実装され得る。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0101】
図１２Ｃは、本発明の別の代替実施形態による、眼追跡システムの側面図を図示する、簡略化された概略図である。図１２Ｃに図示される実施形態は、図１２Ａおよび１２Ｂに図示される実施形態と共通要素を共有し、図１２Ａおよび１２Ｂに関連して提供される説明は、適宜、図１２Ｃに適用可能である。図１２Ｃに図示される実施形態では、回折反射器１２４０が、回折を通して、網膜から反射された光を１つ以上の検出器１２５２に反射するために、接眼レンズ１２２０と統合される。実施例として、赤外線波長を反射することに効率的であり得る回折反射器１２４０が、周辺に、かつ接眼レンズと眼との間の縦方向位置に（すなわち、ｚ軸に沿って）位置付けられ得る、検出器１２５２ａおよび１２５２ｂに光１２２４を反射するために、接眼レンズ１２２０と統合され得る（例えば、接眼レンズの後部に積層される）。例えば、検出器１２５２ａおよび１２５２ｂは、眼鏡のテンプル内に搭載され得る。当業者は、多くの変形例、修正、および代替を認識するであろう。
【0102】
故に、図１２Ｃに図示される回折反射器は、図１２Ａおよび１２Ｂに図示される導波実装の代替を提供する。加えて、回折反射器の使用は、検出器が、眼鏡のフレームから離れるように、例えば、眼鏡のテンプルに沿った１つ以上の所定の位置に移動され得るため、検出器設置における柔軟性を可能にする。上記に議論されるように、検出器は、画像を保存する必要はなく、高速フォトダイオードとして実装され、システム複雑性および費用を低減させることができる。
【0103】
また、本明細書に説明される実施例および実施形態は、例証目的のためだけのものであり、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付される請求項の範囲内に含まれるものであることを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
