特表 2024-533033 網膜投影ディスプレイシステムのための視線追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】網膜投影ディスプレイシステムのための視線追跡

(51)【国際特許分類】

   G02B 27/02 20060101AFI20240905BHJP

   G09G 5/00 20060101ALI20240905BHJP

【ＦＩ】

G02B27/02 Z

G09G5/00 550C

G09G5/00 X

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024505563

(86)(22)【出願日】2022-08-29

(85)【翻訳文提出日】2024-01-30

(86)【国際出願番号】 US2022075597

(87)【国際公開番号】W WO2023034752

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】63/239,915

(32)【優先日】2021-09-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000003067

【氏名又は名称】ＴＤＫ株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100129296

【弁理士】

【氏名又は名称】青木 博昭

(72)【発明者】

【氏名】福澤 英明

(72)【発明者】

【氏名】ヘシュマティ アルダラン

【テーマコード（参考）】

2H199

5C182

【Ｆターム（参考）】

2H199CA06

2H199CA12

2H199CA29

2H199CA32

2H199CA42

2H199CA47

2H199CA72

2H199CA86

2H199CA96

5C182AA02

5C182AA03

5C182AA06

5C182AA31

5C182AB02

5C182AB08

5C182AC02

5C182AC03

5C182AC38

5C182AC43

5C182BA04

5C182BA06

5C182BA27

5C182BA29

5C182BA56

5C182CB12

5C182CB42

5C182CC24

5C182DA65

5C182DA70

(57)【要約】

網膜投影ディスプレイシステムは、可視光画像を投影するための少なくとも１つの可視光源と、赤外光を投影するための赤外光源と、可視光画像よりも大きい視野を有する走査ミラーと、可視光画像が投影され、赤外光が少なくとも部分的にユーザの眼に向かって反射される反射面であって、可視光画像よりも大きい反射面と、ユーザの眼から反射した反射赤外光を受光するための少なくとも１つの赤外光検出器と、プロセッサ及びメモリを備えるハードウェア計算モジュールであって、反射赤外光に少なくとも部分的に基づいてユーザの視線方向を決定するように構成されたハードウェア計算モジュールと、を含む。
【選択図】 図１Ａ

【特許請求の範囲】

【請求項1】

可視光画像を投影するための少なくとも１つの可視光源と、
赤外光を投影するための赤外光源と、
前記可視光画像よりも大きい視野を有する走査ミラーと、
前記可視光画像が投影され、前記赤外光が少なくとも部分的にユーザの眼に向かって反射される反射面であって、前記可視光画像よりも大きい前記反射面と、
前記ユーザの前記眼から反射した反射赤外光を受光するための少なくとも１つの赤外光検出器と、
プロセッサ及びメモリを備えるハードウェア計算モジュールであって、前記反射赤外光に少なくとも部分的に基づいて前記ユーザの視線方向を決定するように構成された前記ハードウェア計算モジュールと、
を備える、網膜投影ディスプレイシステム。

【請求項2】

前記ハードウェア計算モジュールは、前記可視光画像が前記ユーザの網膜に投影されるように、前記視線方向に基づいて前記反射面上に前記可視光画像を投影するための走査ミラー及び前記少なくとも１つの可視光源の動作を調整するように更に構成される、請求項１に記載の網膜投影ディスプレイシステム。

【請求項3】

前記少なくとも１つの可視光源と前記赤外光源とは位置合わせされており、前記ハードウェア計算モジュールは、前記走査ミラーを制御して前記可視光画像を前記視線方向に向かって前記反射面上に投影するように更に構成される、請求項２に記載の網膜投影ディスプレイシステム。

【請求項4】

前記少なくとも１つの可視光源と前記赤外光源とは位置合わせされておらず、前記ハードウェア計算モジュールは、前記少なくとも１つの可視光源と前記赤外光源との間のずれを補償して前記視線方向を決定し、前記視線方向に向かって前記反射面上に前記可視光画像を投影するように前記走査ミラーを制御するように更に構成される、請求項２に記載の網膜投影ディスプレイシステム。

【請求項5】

瞳孔間距離アライメントが、前記ユーザに対する較正動作中に決定され、前記瞳孔間距離アライメントは、前記ユーザの既知の視線方向に対する前記反射面の可視領域を識別する、請求項４に記載の網膜投影ディスプレイシステム。

【請求項6】

前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれは、前記視線方向及び前記瞳孔間距離アライメントに少なくとも部分的に基づく、請求項５に記載の網膜投影ディスプレイシステム。

【請求項7】

前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれは、製造較正動作中に決定され、前記メモリに記憶される、請求項４に記載の網膜投影ディスプレイシステム。

【請求項8】

前記少なくとも１つの可視光源は、複数の可視光源を備え、前記複数の可視光源間の可視光源のずれは、製造較正動作中に決定され、前記メモリに記憶される、請求項１に記載の網膜投影ディスプレイシステム。

【請求項9】

前記ハードウェア計算モジュールは、前記可視光源のずれに少なくとも部分的に基づいて前記複数の可視光源を位置合わせするように構成される、請求項８に記載の網膜投影ディスプレイシステム。

【請求項10】

前記ハードウェア計算モジュールは、
前記反射面の前記視野にわたって前記赤外光を走査し、
前記少なくとも１つの赤外光検出器において前記ユーザの前記眼から反射する反射赤外光を受光し、
前記反射面上の前記走査ミラーの前記視野にわたる前記反射赤外光の量を測定し、
前記反射面上の前記走査ミラーの前記視野にわたる前記反射赤外光の前記量をマッピングして、前記走査ミラーの前記視野の赤外反射率マップを生成するように更に構成され、
前記赤外反射率マップは前記視線方向を識別する、請求項１に記載の網膜投影ディスプレイシステム。

【請求項11】

前記反射面は少なくとも部分的に透明である、請求項１に記載の網膜投影ディスプレイシステム。

【請求項12】

前記ユーザによって装着されるように構成される眼鏡フレームと、
前記眼鏡フレーム内に搭載される少なくとも１つのレンズと、
を更に備え、
前記反射面は、前記少なくとも１つのレンズの少なくとも一部上に配置される、請求項１に記載の網膜投影ディスプレイシステム。

【請求項13】

前記少なくとも１つの赤外光検出器は、前記眼鏡フレーム上に配置される、請求項１２に記載の網膜投影ディスプレイシステム。

【請求項14】

前記少なくとも１つの赤外光検出器は、前記少なくとも１つの可視光源及び前記赤外光源を備えるモジュールの内部に配置される、請求項１２に記載の網膜投影ディスプレイシステム。

【請求項15】

網膜投影ディスプレイの方法であって、
少なくとも１つの可視光源からの可視光画像を、前記可視光画像よりも大きい視野を有する走査ミラーを使用して、前記可視光画像よりも大きい反射面上に投影することと、
赤外光源からの赤外光を、前記走査ミラーを使用して前記反射面上に投影することであって、前記赤外光は、前記走査ミラーの前記視野にわたって投影され、少なくとも部分的にユーザの眼に向かって前記反射面から反射される、ことと、
少なくとも１つの赤外光検出器において、前記ユーザの前記眼から反射する反射赤外光を受光することと、
前記反射赤外光に少なくとも部分的に基づいて前記ユーザの視線方向を決定することと、
を含む、方法。

【請求項16】

前記可視光画像が前記ユーザの網膜に投影されるように、前記視線方向に基づいて前記反射面上に前記可視光画像を投影するための走査ミラー及び前記少なくとも１つの可視光源の動作を調整することを更に含む、請求項１５に記載の方法。

【請求項17】

前記少なくとも１つの可視光源と前記赤外光源とは位置合わせされており、
前記方法は、前記可視光画像を前記視線方向に向かって前記反射面上に投影するように前記走査ミラーを制御することを更に含む、請求項１６に記載の方法。

【請求項18】

前記少なくとも１つの可視光源と前記赤外光源とは位置合わせされておらず、
前記方法は、
前記少なくとも１つの可視光源と前記赤外光源との間のずれを決定することと、
前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれを補償して前記視線方向を決定し、前記視線方向に向かって前記反射面上に前記可視光画像を投影するように前記走査ミラーを制御することと、
を更に含む、請求項１６に記載の方法。

【請求項19】

前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれを決定することは、前記ユーザに対する瞳孔間距離アライメントを取得することを含み、
前記瞳孔間距離アライメントは、前記ユーザの既知の視線方向に対する前記反射面の可視領域を識別し、前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれは、前記視線方向及び前記瞳孔間距離アライメントに少なくとも部分的に基づく、請求項１８に記載の方法。

【請求項20】

前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれを決定することは、前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれを取得することを含み、
前記少なくとも１つの可視光源と前記赤外光源との間の前記ずれは、製造較正動作中に決定され、メモリユニットに記憶される、請求項１８に記載の方法。

【請求項21】

前記少なくとも１つの可視光源は、複数の可視光源を備え、前記複数の可視光源間の可視光源のずれは、製造較正動作中に決定され、メモリユニットに記憶される、請求項１５に記載の方法。

【請求項22】

前記可視光源のずれに少なくとも部分的に基づいて前記複数の可視光源を位置合わせすることを更に含む、請求項２１に記載の方法。

【請求項23】

前記反射赤外光に少なくとも部分的に基づいて前記ユーザの視線方向を決定することは、
前記反射面上の前記走査ミラーの前記視野にわたる前記反射赤外光の量を測定することと、
前記反射面上の前記走査ミラーの前記視野にわたる前記反射赤外光の前記量をマッピングして、前記走査ミラーの前記視野の赤外反射率マップを生成することと、を含み、
前記赤外反射率マップは前記視線方向を識別する、請求項１５に記載の方法。

【発明の詳細な説明】

【関連出願】

【0001】

[0001]本出願は、２０２１年９月１日に出願され、代理人整理番号ＩＶＳ－１０１７－ＰＲを有し、本出願の譲受人に譲渡された、Ｈｅｓｈｍａｔｉらによる「ＡＤＡＰＴＩＶＥ ＥＹＥ－ＢＯＸ ＷＩＴＨ ＩＲ ＬＡＳＥＲ ＩＮ ＡＲ ＳＭＡＲＴ ＧＬＡＳＳＥＳ」と題する同時係属中の米国仮特許出願第６３／２３９，９１５号の優先権及び利益を主張し、その米国仮特許出願の全体が参照により本明細書に組み込まれる。

【0002】

[0002]本出願は、２０２２年８月２６日に出願され、代理人整理番号ＩＶＳ－１０１７を有し、本出願の譲受人に譲渡された、Ｈｅｓｈｍａｔｉらによる「ＧＡＺＥ ＴＲＡＣＫＩＮＧ ＦＯＲ Ａ ＲＥＴＩＮＡＬ ＰＲＯＪＥＣＴＩＯＮ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ」と題する米国特許出願第１７／８２２，６１９号に関連し、その米国特許出願の全体が参照により本明細書に組み込まれる。

【背景技術】

【0003】

[0003]仮想網膜ディスプレイ（ＶＲＤ）とも称される網膜投影ディスプレイ（ＲＰＤ）は、眼の瞳孔を通して網膜上に直接画像を投影するために使用される。画像レンダリングは、人間の眼が画像の連続ビデオストリームを知覚するのに十分な速さで実行される。「アイボックス」とも称される、画像が瞳孔を通して網膜上に投影される面積が小さいため、画像が眼に進入することを確実にするように、ＲＰＤと眼との間の正確な位置合わせが行われることが不可欠である。さらに、ユーザの視線方向はＲＰＤの使用中に変化する可能性があり、それによりアイボックスの位置を変化させるので、ＲＰＤの使用中の視線方向の変化を考慮する必要がある。

【0004】

[0004]実施形態の説明に組み込まれ、その一部を形成する添付の図面は、主題の様々な非限定的かつ非網羅的な実施形態を示し、実施形態の説明とともに、以下で論じられる主題の原理を説明するのに役立つ。特に明記しない限り、この図面の簡単な説明において参照される図面は、一定の縮尺で描かれていないものとして理解されるべきであり、同様の参照番号は、別段の指定がない限り、様々な図を通して同様の部分を指す。

【図面の簡単な説明】

【0005】

【図1A】いくつかの実施形態に係る、例示的な網膜投影ディスプレイシステムを示す図である。

【図1B】いくつかの実施形態に係る、眼鏡フレーム上に配置された赤外線センサを含む例示的な視線追跡システムを示す図である。

【図1C】実施形態に係る、視線追跡において使用するための赤外光源を含む例示的な光源モジュールを示す図である。

【図1D】実施形態に係る、視線追跡において使用するための赤外光源と内部赤外センサとを含む例示的な光源モジュールを示す図である。

【図2A】いくつかの実施形態に係る、例示的な網膜投影ディスプレイシステムの機能ブロック図を示す図である。

【図2B】いくつかの実施形態に係る、例示的な視線追跡システムの機能ブロック図を示す図である。

【図3】いくつかの実施形態に係る、アライメント画像を反射面上に投影することによる例示的な瞳孔間距離アライメント動作を示す図である。

【図4A】いくつかの実施形態に係る、例示的な視線追跡動作における手順を示す図である。

【図4B】いくつかの実施形態に係る、例示的な視線追跡動作における手順を示す図である。

【図4C】いくつかの実施形態に係る、例示的な視線追跡動作における手順を示す図である。

【図4D】いくつかの実施形態に係る、例示的な視線追跡動作における手順を示す図である。

【図5A】一実施形態に係る、走査ミラーの全走査範囲にわたる例示的な走査パターンを示す図である。

【図5B】走査ミラーの走査範囲が投影画像のサイズである場合の例示的な走査パターンを示す図である。

【図6】一実施形態に係る、走査ミラーの走査範囲が投影画像のサイズよりも大きい場合の例示的な画像レンダリング動作を示す図である。

【図7】本明細書で説明される実施形態が実装され得る例示的な電子デバイスのブロック図である。

【図8A】いくつかの実施形態に係る、網膜投影の例示的なプロセスを示す図である。

【図8B】いくつかの実施形態に係る、視線追跡の例示的なプロセスを示す図である。

【図9】いくつかの実施形態に係る、瞳孔間距離アライメントを決定するための例示的なプロセスを示す図である。

【発明を実施するための形態】

【0006】

[0020]以下の実施形態の説明は、単に例として提供され、限定するものではない。さらに、前述の背景技術又は以下の実施形態の説明において提示されるいかなる明示的又は暗示的な理論によっても拘束される意図はない。

【0007】

[0021]ここで、主題の様々な実施形態が詳細に参照され、その例が添付の図面に示される。様々な実施形態が本明細書で論じられるが、それらはこれらの実施形態に限定することを意図するものではないことが理解されよう。反対に、提示された実施形態は、添付の特許請求の範囲によって定義される様々な実施形態の精神及び範囲内に含まれ得る代替物、改変物、及び均等物を包含することが意図される。
さらに、この実施形態の説明では、本主題の実施形態の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、実施形態は、これらの具体的な詳細なしに実施されてもよい。他の例では、説明される実施形態の態様を不必要に曖昧にしないように、周知の方法、手順、構成要素、及び回路は詳細に説明されていない。

【0008】

表記法及び命名法
[0022]以下の詳細な説明のいくつかの部分は、電気デバイス内のデータに対する動作の手順、論理ブロック、処理、及び他の記号表現に関して提示される。これらの説明及び表現は、データ処理技術分野の当業者によって、彼らの作業の内容を他の当業者に最も効果的に伝えるために使用される手段である。本出願では、手順、論理ブロック、プロセスなどは、所望の結果をもたらす１つ又は複数の首尾一貫した手順又は命令であると考えられる。手順は、物理量の物理的操作を必要とするものである。通常、必ずではないが、これらの量は、電子デバイスによって送信及び受信されることが可能な音響（例えば、超音波）信号、及び／又は電気デバイス内で記憶され、転送され、組み合わせられ、比較され、その他の方法で操作されることが可能な電気信号もしくは磁気信号の形態を取る。

【0009】

[0023]しかしながら、これらの用語及び同様の用語のすべては、適切な物理量に関連付けられるべきであり、これらの量に適用される単に便利なラベルであることに留意されたい。以下の説明から明らかなように、特に明記しない限り、実施形態の説明全体を通して、「実行する（performing）」、「決定する（determining）」、「検出する（detecting）」、「向ける（directing）」、「計算する（calculating）」、「補正する（correcting）」、「提供する（providing）」、「受信する（receiving）」、「分析する（analyzing）」、「確認する（confirming）」、「表示する（displaying）」、「提示する（presenting）」、「使用する（using）」、「完了する（completing）」、「命令する（instructing）」、「比較する（comparing）」、「実行する（executing）」、「追跡する（tracking）」、「移動する（moving）」、「取得する（retrieving）」、「投影する（projecting）」、「較正する（calibrating）」、「調整する（coordinating）」、「生成する（generating）」、「位置合わせする（aligning）」、「測定する（measuring）」、「マッピングする（mapping）」などの用語を利用する説明は、電気デバイスなどの電子デバイスの動作及びプロセスを指すことが理解される。

【0010】

[0024]本明細書で説明される実施形態は、１つ又は複数のコンピュータ又は他のデバイスによって実行される、プログラムモジュールなど、何らかの形態の非一時的プロセッサ読取可能媒体上に存在するプロセッサ実行可能命令の一般的なコンテキストにおいて説明され得る。一般に、プログラムモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。プログラムモジュールの機能は、様々な実施形態において要望どおりに組み合わされてもよく、分散されてもよい。

【0011】

[0025]図では、単一のブロックは、１つ又は複数の機能を実行するものとして説明され得るが、実際には、そのブロックによって実行される１つ又は複数の機能は、単一の構成要素においてもしくは複数の構成要素にわたって実行されてもよく、及び／又はハードウェアを使用して、ソフトウェアを使用して、もしくはハードウェアとソフトウェアとの組み合わせを使用して実行されてもよい。ハードウェア及びソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、ロジック、回路、及びステップが、それらの機能に関して一般的に説明された。そのような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、特定の適用例及びシステム全体に課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。また、本明細書で説明される例示的な超音波感知システム及び／又はモバイル電子デバイスは、周知の構成要素を含む、示されたもの以外の構成要素を含んでもよい。

【0012】

[0026]本明細書で説明される様々な技法は、特定の方法で実装されるものとして具体的に説明されない限り、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装されてもよい。モジュール又はコンポーネントとして説明される任意の特徴はまた、集積論理デバイスにおいて一緒に、又は別個であるが相互運用可能な論理デバイスとして別々に実装されてもよい。ソフトウェアで実装される場合、技法は、実行されたとき、本明細書で説明される方法のうちの１つ又は複数を実行する命令を備える非一時的プロセッサ読取可能記憶媒体によって少なくとも部分的に実現されてもよい。非一時的プロセッサ読取可能データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成してもよい。

【0013】

[0027]非一時的プロセッサ読取可能記憶媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、他の既知の記憶媒体などを備えてもよい。本技法は、追加的に又は代替的に、命令又はデータ構造の形態でコードを搬送又は通信するプロセッサ読取可能通信媒体であって、コンピュータ又は他のプロセッサによってアクセスされ、読み取られ、及び／又は実行され得るプロセッサ読取可能通信媒体によって少なくとも部分的に実現されてもよい。

【0014】

[0028]本明細書で説明される様々な実施形態は、１つ又は複数の動き処理ユニット（ＭＰＵ）、センサ処理ユニット（ＳＰＵ）、ホストプロセッサもしくはそのコア、デジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理コントローラ（ＰＬＣ）、コンプレックスプログラマブル論理デバイス（ＣＰＬＤ）、ディスクリートゲートもしくはトランジスタ論理、ディスクリートハードウェアコンポーネント、又は本明細書で説明される機能を実行するように設計されたそれらの任意の組み合わせなどの１つ又は複数のプロセッサ、あるいは他の同等の集積回路もしくはディスクリート論理回路によって実行されてもよい。本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、又は本明細書で説明される技法の実装に適した任意の他の構造を指してもよい。本明細書で使用される場合、「プロセッサ」という用語は、限定はされないが、シングルコアプロセッサ、ソフトウェアマルチスレッド実行機能を有するシングルプロセッサ、マルチコアプロセッサ、ソフトウェアマルチスレッド実行機能を有するマルチコアプロセッサ、ハードウェアマルチスレッド技術を有するマルチコアプロセッサ、並列プラットフォーム、及び分散共有メモリを有する並列プラットフォームを含む、実質的に任意のコンピューティング処理ユニット又はデバイスを指すことができる。さらに、プロセッサは、空間使用を最適化するか又はユーザ機器の性能を向上させるために、限定はされないが、分子及び量子ドットをベースとしたトランジスタ、スイッチ、及びゲートなどのナノスケールアーキテクチャを利用することができる。プロセッサはまた、コンピューティング処理ユニットの組み合わせとして実装されてもよい。

【0015】

[0029]加えて、いくつかの態様では、本明細書で説明される機能は、本明細書で説明されるように構成された専用ソフトウェアモジュール又はハードウェアモジュール内で提供されてもよい。また、技法は、１つ又は複数の回路又は論理要素において完全に実装され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＳＰＵ／ＭＰＵとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＳＰＵコア、ＭＰＵコア、又は任意の他のそのような構成と組み合わせた１つ又は複数のマイクロプロセッサ、として実装されてもよい。

【0016】

説明の概要
[0030]議論は、例示的な網膜投影ディスプレイシステムの説明から開始する。網膜投影ディスプレイシステムのための視線追跡システムの説明について議論を続ける。次に、網膜投影ディスプレイシステム及び視線追跡システムの例示的な動作について説明する。

【0017】

[0031]本明細書で説明する実施形態は、可視光画像を投影するための少なくとも１つの可視光源と、赤外光を投影するための赤外光源と、可視光画像よりも大きい視野を有する走査ミラーと、可視光画像が投影され、赤外光が少なくとも部分的にユーザの眼に向かって反射される反射面であって、可視光画像よりも大きい反射面と、ユーザの眼から反射した反射赤外光を受光するための少なくとも１つの赤外光検出器と、プロセッサ及びメモリを備えるハードウェア計算モジュールであって、反射赤外光に少なくとも部分的に基づいてユーザの視線方向を決定するように構成されたハードウェア計算モジュールと、を含む網膜投影ディスプレイシステムを提供する。

【0018】

[0032]いくつかの実施形態では、反射面は少なくとも部分的に透明である。いくつかの実施形態では、網膜投影システムは、ユーザによって装着されるように構成される眼鏡フレームと、眼鏡フレーム内に搭載される少なくとも１つのレンズと、を更に含み、反射面は、少なくとも１つのレンズの少なくとも一部上に配置される。いくつかの実施形態では、少なくとも１つの赤外光検出器は、眼鏡フレーム上に配置される。いくつかの実施形態では、少なくとも１つの赤外光検出器は、少なくとも１つの可視光源及び赤外光源を備えるモジュールの内部に配置される。

【0019】

[0033]いくつかの実施形態では、ハードウェア計算モジュールは、反射面の視野にわたって赤外光を走査するように更に構成される。ユーザの眼から反射する反射赤外光は、少なくとも１つの赤外光検出器で受光される。反射面上の走査ミラーの視野にわたる反射赤外光の量が測定される。反射面上の走査ミラーの視野にわたる反射赤外光の量は、走査ミラーの視野の赤外反射率マップを生成するためにマッピングされ、赤外反射率マップは視線方向を識別する。

【0020】

[0034]いくつかの実施形態では、ハードウェア計算モジュールは、可視光画像がユーザの網膜に投影されるように、視線方向に基づいて反射面上に可視光画像を投影するための走査ミラー及び少なくとも１つの可視光源の動作を調整するように更に構成される。いくつかの実施形態では、少なくとも１つの可視光源と赤外光源とは位置合わせされており、ハードウェア計算モジュールは、走査ミラーを制御して可視光画像を視線方向に向かって反射面上に投影するように更に構成される。他の実施形態では、少なくとも１つの可視光源と赤外光源とは位置合わせされておらず、ハードウェア計算モジュールは、少なくとも１つの可視光源と赤外光源との間のずれを補償して視線方向を決定し、視線方向に向かって反射面上に可視光画像を投影するように走査ミラーを制御するように更に構成される。いくつかの実施形態では、瞳孔間距離アライメントが、ユーザに対する較正動作中に決定され、瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面の可視領域を識別する。いくつかの実施形態では、少なくとも１つの可視光源と赤外光源との間のずれは、視線方向及び瞳孔間距離アライメントに少なくとも部分的に基づく。いくつかの実施形態では、少なくとも１つの可視光源と赤外光源との間のずれは、製造較正動作中に決定され、メモリに記憶される。

【0021】

[0035]いくつかの実施形態では、少なくとも１つの可視光源は、複数の可視光源を備え、複数の可視光源間の可視光源のずれは、製造較正動作中に決定され、メモリに記憶される。いくつかの実施形態では、ハードウェア計算モジュールは、可視光源のずれに少なくとも部分的に基づいて複数の可視光源を位置合わせするように構成される。

【0022】

[0036]本明細書に記載される他の実施形態は、網膜投影の方法を提供する。可視光画像は、可視光画像よりも大きい視野を有する走査ミラーを使用して、少なくとも１つの可視光源から反射面上に投影され、反射面は可視光画像よりも大きい。赤外光源からの赤外光は、走査ミラーを使用して反射面上に投影され、赤外光は、走査ミラーの視野にわたって投影され、少なくとも部分的にユーザの眼に向かって反射面から反射される。ユーザの眼から反射する反射赤外光は、少なくとも１つの赤外光検出器で受光される。ユーザの視線方向は、反射赤外光に少なくとも部分的に基づいて決定される。

【0023】

[0037]いくつかの実施形態では、走査ミラー及び少なくとも１つの可視光源の動作は、可視光画像がユーザの網膜に投影されるように、視線方向に基づいて反射面上に可視光画像を投影するように調整される。いくつかの実施形態では、少なくとも１つの可視光源と赤外光源とが位置合わせされている場合、走査ミラーは、可視光画像を視線方向に向かって反射面上に投影するように制御される。他の実施形態では、少なくとも１つの可視光源と赤外光源とが位置合わせされていない場合、少なくとも１つの可視光源と赤外光源との間のずれが決定される。走査ミラーは、少なくとも１つの可視光源と赤外光源との間のずれを補償して視線方向を決定し、視線方向に向かって反射面上に可視光画像を投影するように制御される。

【0024】

[0038]いくつかの実施形態では、少なくとも１つの可視光源と赤外光源との間のずれを決定することは、ユーザに対する瞳孔間距離アライメントを取得することを含み、瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面の可視領域を識別し、少なくとも１つの可視光源と赤外光源との間のずれは、視線方向及び瞳孔間距離アライメントに少なくとも部分的に基づく。他の実施形態では、少なくとも１つの可視光源と赤外光源との間のずれを決定することは、少なくとも１つの可視光源と赤外光源との間のずれを取得することを含み、少なくとも１つの可視光源と赤外光源との間のずれは、製造較正動作中に決定され、メモリユニットに記憶される。

【0025】

[0039]いくつかの実施形態では、少なくとも１つの可視光源は、複数の可視光源を備え、複数の可視光源間の可視光源のずれは、製造較正動作中に決定され、メモリユニットに記憶される。いくつかの実施形態では、複数の可視光源は、可視光源のずれに少なくとも部分的に基づいて位置合わせされる。

【0026】

[0040]いくつかの実施形態では、反射赤外光に少なくとも部分的に基づいてユーザの視線方向を決定することは、反射面上の走査ミラーの視野にわたる反射赤外光の量を測定することを含む。反射面上の走査ミラーの視野にわたる反射赤外光の量は、走査ミラーの視野の赤外反射率マップを生成するためにマッピングされ、赤外反射率マップは視線方向を識別する。

【0027】

例示的な網膜投影ディスプレイシステム
[0041]図１Ａは、いくつかの実施形態に係る、例示的な網膜投影ディスプレイシステム１００を示す。網膜投影ディスプレイシステム１００は、光源１１０と、走査ミラー１２０と、反射面１３０とを含む。図示される実施形態では、網膜投影ディスプレイシステム１００の構成要素は、ユーザによって装着されるように構成される眼鏡フレーム１６０内に含まれる。眼鏡フレーム１６０は、その中に搭載される少なくとも１つのレンズ１６２を含み、反射面１３０は、レンズ１６２を通して注視するときに反射面１３０がユーザの視野内にあるように、レンズ１６２の少なくとも一部の上又は前に配置される。反射面１３０は、レンズ１６２（例えば、フィルム又は固着層）上に位置してもよく、又は別様にユーザの眼とレンズ１６２との間に配置されてもよいことを理解されたい。いくつかの実施形態では、反射面１３０は少なくとも部分的に透明であり、ユーザが反射面１３０及びレンズ１６２を通して見ることを可能にする。光源１１０及び走査ミラー１２０といった網膜投影ディスプレイシステム１００の種々の構成要素は、空洞眼鏡フレーム１６０上又はその中に（例えば、アーム／テンプルの空洞１１５内に）配置され、光ビーム１１２が反射面１３０上に投影されるように位置付けられ得ることを理解されたい。

【0028】

[0042]動作中、光源１１０（例えば、レーザ）は、走査ミラー１２０上に投影される光ビーム１１２を生成することによって、反射面１３０の一部分上に画像を投影する。いくつかの実施形態では、光源１１０は、完全な画像を投影することができる単一の光源である。いくつかの実施形態では、光源１１０は、完全な画像を投影するために協調して動作する別個の赤色、緑色、及び青色（ＲＧＢ）レーザなどの複数の光源を含む。多くのタイプの光源が、説明される実施形態に従って使用され得ることを理解されたい。

【0029】

[0043]走査ミラー１２０は、光ビーム１１２が反射面１３０上で走査されて画像の各点を反射面１３０上に配置するように、光ビーム１１２を移動させて方向付けるように構成され、反射面１３０は、光ビーム１１２を、ユーザの眼１５０の瞳孔１５４を通して網膜１５２上に方向付ける。以下に説明するように、様々な走査パターンが使用され得ることを理解されたい。画像走査プロセスは、ユーザが画像全体を、又は画像の連続ビデオとして知覚するように十分に速い（例えば、６０Ｈｚを超える）走査速度で実行されることを理解されたい。いくつかの実施形態では、走査ミラー１２０は微小電気機械（ＭＥＭＳ）デバイスである。

【0030】

[0044]走査ミラー１２０は、意図された可視画像のサイズよりも大きい視野（ＦＯＶ）を有し、可視画像が投影される反射面１３０も意図された可視画像よりも大きい。走査ミラー１２０は、画像がユーザの網膜１５２上に投影されるように、反射面１３０の可視領域上に画像を投影する。より大きいＦＯＶは、網膜投影ディスプレイシステム１００が、眼１５０の移動及び回転から独立して、画像を瞳孔１５４の中及び網膜１５２上に適切に投影することを可能にする。いくつかの実施形態によれば、網膜投影ディスプレイシステム１００は、走査ミラーのダイナミックレンジのウィンドウ上の反射面１３０の可視領域上に投影することによって、意図された可視画像を投影して瞳孔１５４と位置合わせすることを容易にする。

【0031】

[0045]瞳孔間距離アライメントは、光ビーム１１２を眼１５０の瞳孔１５４内に方向付けるために使用され、瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面１３０の可視領域を識別する。いくつかの実施形態では、瞳孔間距離アライメントは、ユーザに対する較正動作中に決定される。いくつかの実施形態では、画像は、較正動作中に反射面１３０の複数の場所に表示され、瞳孔間距離アライメントは、反射面の可視領域を識別するユーザからのフィードバックに応答して決定される。例えば、ユーザフィードバックは、網膜投影ディスプレイシステム１００のユーザインターフェースを使用して提供されることができ、多くの方法、例えば、音声コマンド、眼鏡フレーム１６０上に位置するボタン、スマートフォンといった接続されたデバイス上のアプリケーションなどで受信されることができる。

【0032】

[0046]いくつかの実施形態では、網膜投影ディスプレイシステム１００はまた、ユーザの視線方向を追跡するための視線追跡器１４０を含む。反射面１３０の可視領域は、ユーザの視線方向に対応する。走査ミラー１２０は、ユーザの視線方向及びユーザの瞳孔間距離アライメントに従って反射面１３０上で画像を動的に移動させるように構成される。ユーザに対する瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面１３０の可視領域を識別するので、走査ミラー１２０は、視線方向に従って反射面の可視領域に対応するように画像を移動させることができる。

【0033】

[0047]いくつかの実施形態によれば、網膜投影ディスプレイシステム１００の視線追跡器１４０は、ユーザの視線方向を決定するために、赤外光源及び少なくとも１つの赤外線センサ（例えば、赤外光検出器）を利用する。説明される実施形態の視線追跡を実行するために、赤外光がユーザの眼に投影され、反射された赤外光が感知され、視線方向を決定するために使用される。人間の眼の異なる部分は、赤外光に対して異なる反射率を有することを理解されたい。例えば、人間の眼の瞳孔は、ほとんどの赤外光が内側の眼に吸収されるので、赤外光に対してほとんど反射率を有しない。人間の眼球の外側の大部分を覆う白い部分である強膜は、瞳孔の反射率に対して高反射性であり、ほとんどの赤外光は強膜から反射される。瞳孔を取り囲み、眼の色を画定する眼の一部である虹彩は、瞳孔よりも高反射性であり、強膜よりも低反射性であり、部分的に虹彩の眼の色に依存する反射率を有する。

【0034】

[0048]説明される実施形態の視線追跡は、ユーザの視線方向を識別するために、眼の外側の組織の部分の反射率の特性を利用する。図１Ｂは、いくつかの実施形態に係る、眼鏡フレーム１６０上に位置する赤外線センサ１７０を含む例示的な視線追跡システム１４０を示す。図１Ｂに示されるように、複数の赤外線センサ１７０は、レンズ１６２の周囲に配置された眼鏡フレーム１６０上の異なる位置に配置される。図示の実施形態では、光源１１０は赤外光源を含み、走査ミラー１２０を使用して赤外光を（矢印１７５で示されるように）反射面１３０上に投影する。赤外光は、ユーザの眼球の外側の部分から反射し、赤外線センサ１７０で受光される。赤外線センサ１７０で受光された赤外光は、ユーザの視線方向を判定するために用いられる。

【0035】

[0049]図１Ｃは、実施形態に係る、視線追跡において使用するための赤外光源１８６を含む例示的な光源モジュール１２５を示す。いくつかの実施形態では、光源モジュール１２５は、開口部１９０を通して放出される光が、走査ミラー１２０を使用して反射面１３０上に投影されるように、眼鏡フレーム１６０上に位置付けられる。図示のように、光源１１０は、別個の赤色光源１８０、緑色光源１８２、青色光源１８４、及び赤外光源１８６を含む複数の光源を含む。いくつかの実施形態では、赤色光源１８０、緑色光源１８２、及び青色光源１８４は、完全な赤色、緑色、及び青色（ＲＧＢ）画像を投影するように協調して動作するレーザである。赤外光源１８４は、ユーザの眼に投影するために、開口部１９０を通して走査ミラー１２０を介して反射面１３０に赤外光を投影するように構成される。いくつかの実施形態では、光源モジュール１２５はキャビティ１１５内に配置される。

【0036】

[0050]図１Ｂ及び図１Ｃの実施形態は、ユーザの眼から反射する赤外光を直接受信するために赤外光センサ１７０が反射面１３０の周りに配置された例示的な視線追跡システム１４０を示す。他の実施形態では、ユーザの眼から反射する赤外光を間接的に受光するために、１つ以上の赤外光センサが配置されることができる。

【0037】

[0051]図１Ｄは、実施形態に係る、視線追跡において使用するための赤外光源１８６と内部赤外線センサ１９２とを含む例示的な光源モジュール１３５を示す。いくつかの実施形態では、光源モジュール１３５は、開口部１９０を通して放出される光が、走査ミラー１２０を使用して反射面１３０上に投影されるように、眼鏡フレーム１６０上に配置される。図示のように、光源１１０は、別個の赤色光源１８０、緑色光源１８２、青色光源１８４、及び赤外光源１８６を含む複数の光源を含む。いくつかの実施形態では、赤色光源１８０、緑色光源１８２、及び青色光源１８４は、完全な赤色、緑色、及び青色（ＲＧＢ）画像を投影するように協調して動作するレーザである。赤外光源１８４は、ユーザの眼に投影するために、開口部１９０を通して走査ミラー１２０を介して反射面１３０に赤外光を投影するように構成される。いくつかの実施形態では、光源モジュール１３５はキャビティ１１５内に配置される。

【0038】

[0052]光源モジュール１３５はまた、ユーザの眼の一部から反射して開口部１９４を通る赤外光を受光するための内部赤外線センサ１９２を含む。いくつかの実施形態では、ユーザの眼の一部から反射する赤外光はまた、反射表面１３０及び／又は走査ミラー１２０から反射し、開口部１９４を通して方向付けられ、赤外線センサ１９２において受光される。赤外線センサ１９２で受光された赤外光は、ユーザの視線方向を判定するために用いられる。

【0039】

[0053]いくつかの実施形態では、可視画像のジッタを回避するために、走査ミラー１２０は、視線方向が移動閾値を満たしたことに応答して、ユーザの視線方向に従って反射面１３０上で画像を動的に移動させるように構成される。例えば、走査ミラー１２０は、視線方向の十分な移動が検出された場合にのみ、反射面上の画像を移動させる。いくつかの実施形態では、走査ミラー１２０が、画像が可視領域の外側に移動したことに応答して、ユーザの視線方向に従って反射面１３０上で画像を動的に移動させるように構成されるように、ジッタは、反射面１３０の可視領域よりも小さいレンダリングされた画像を提供することによって考慮される。これにより、反射面１３０上のより広い範囲の位置にわたって画像を見ることができ、ジッタが最小限に抑えられる。

【0040】

[0054]いくつかの実施形態では、画像の不鮮明化を回避するために、走査ミラー１２０は、視線方向の変化後の所定の時間遅延後にユーザの視線方向に従って反射面１３０上の画像を動的に移動させるように構成され、画像を移動させる前に眼１５０が新しい視線方向に落ち着くことを可能にする。

【0041】

[0055]いくつかの実施形態では、走査ミラー１２０の走査範囲は、可視領域内の画像のサイズに対応するように動的に調整される。他の実施形態では、走査ミラー１２０の走査範囲は、反射面１３０の表示エリアのサイズに対応し、このため、光源１１０は、走査ミラー１２０が反射面１３０の可視領域内に画像を投影しているときにのみ、画像を表示するために作動される。

【0042】

[0056]図２Ａは、いくつかの実施形態に係る、例示的な網膜投影ディスプレイシステム２００の機能ブロック図を示す。網膜投影ディスプレイシステム２００は、光源２１０と、赤外光源２１２と、走査ミラー２２０と、視線追跡器２３０と、反射面２４０とを含む。光源２１０は、投影のためにデータソースから画像データ２０５を受信する。画像データ２０５は、静止画像データ、ビデオデータ（例えば、一連の画像）、又はユーザによる視覚化のための他のデータを含む、画像を表示又はレンダリングするための任意のタイプのデータを含むことができることを理解されたい。いくつかの実施形態では、光源２１０は、完全な画像を投影することができる単一の光源である。いくつかの実施形態では、光源２１０は、完全な画像を投影するために協調して動作する別個の赤色、緑色、及び青色（ＲＧＢ）レーザなどの複数の光源を含む。多くのタイプの光源が、説明される実施形態に従って使用され得ることを理解されたい。

【0043】

[0057]赤外光源２１２は、赤外光２１４を反射面２４０上に（例えば、走査ミラー２２０を介して）投影するように構成される。赤外光源２１２は、可視光源２１０とは異なる走査パターンを使用して、異なる位置に赤外光２１４を投影することができることを理解されたい。いくつかの実施形態では、網膜投影ディスプレイシステム２００は、可視光が投影される反射面２４０の可視領域よりも広い領域にわたって赤外光２１４を投影するように構成される。例えば、いくつかの実施形態では、赤外光２１４は、反射面２４０の表面全体にわたって投影される。いくつかの実施形態では、光源２１０及び赤外光源２１２は、単一の光源モジュール内に含まれる。

【0044】

[0058]光源２１０（例えば、レーザ）は、画像２１５を走査ミラー２２０上に投影する。画像２１５は、画像２１５の画素の走査として投影され、走査ミラー２２０は、レンダリングのために反射面２４０の適切な位置に各画素を配置するように動的に移動することを理解されたい。走査ミラー２２０は、画像２１５の画素が反射面２４０上で走査されて画像の各点を反射面２４０上に配置するように、画像２１５の画素を移動させて方向付けるように構成されており、反射面２４０は、画像２１５をユーザの瞳孔内及び網膜上に方向付ける。以下に説明するように、様々な走査パターンが使用され得ることを理解されたい。画像走査プロセスは、ユーザが画像全体を、又は画像の連続ビデオとして知覚するように十分に速い（例えば、６０Ｈｚを超える）走査速度で実行されることを理解されたい。

【0045】

[0059]走査ミラー２２０は、ユーザに対する瞳孔間距離アライメント２２５及び視線方向２３５を利用して、画像２１５のピクセルの位置を、それらがユーザの網膜上に向けられるように制御する。瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面２４０の可視領域を識別する。

【0046】

[0060]図３は、いくつかの実施形態に係る、アライメント画像を反射面上に投影することによる例示的な瞳孔間距離アライメント動作３００を示す。いくつかの実施形態では、瞳孔間距離アライメント動作３００は、ユーザに対する較正動作中に決定される。いくつかの実施形態では、瞳孔間距離アライメント動作３００中、アライメント画像３１０は、反射面３３０の複数の場所に表示され、瞳孔間距離アライメントは、反射面３３０の可視領域３２０を識別するユーザからのフィードバックに応答して決定される。例えば、ユーザフィードバックは、網膜投影ディスプレイシステム１００のユーザインターフェースを使用して提供されることができ、多くの方法、例えば、音声コマンド、眼鏡フレーム１６０上に位置するボタン、スマートフォンといった接続されたデバイス上のアプリケーションなどで受信されることができる。

【0047】

[0061]瞳孔間距離アライメント動作３００中、ユーザは、特定の方向（例えば、真っ直ぐ前方）を見るように（例えば、ユーザインターフェースを介して）指示される。アライメント画像３１０は、反射面３３０上にレンダリングされ、走査ミラーのダイナミックレンジにわたって移動されて、反射面３３０上の複数の場所にアライメント画像を表示する。ユーザは、アライメント画像３１０が完全に見えるか、部分的に見えるか、又は見えないかに関するフィードバックを（例えば、促されたときに）提供する。アライメント画像３１０が可視領域３２０内にあり、例えば部分的に又は完全にユーザに見える場合、ユーザは、アライメント画像３１０が見えることを示すフィードバックを提供する。いくつかの実施形態では、アライメント画像３１０は、アライメントを助けるように構成される。例えば、アライメント画像３１０は、文字、矢印、色、又は他のインジケータといったアライメント画像３１０の部分を識別する情報を含んでもよく、当該情報は、網膜投影ディスプレイシステムがアライメント画像３１０を可視領域３２０内にどのように移動させるかを知るように、アライメント画像３１０のどの部分を見るかを示すためにユーザが使用することができる情報である。

【0048】

[0062]図示のように、アライメント画像３１０は反射面３３０上に投影される。図示の例では、第１時間３４０において、アライメント画像３１０は、ユーザの既知の視線方向（例えば、真っ直ぐ前方）に対応する反射面３３０のユーザの可視領域３２０内にない。ユーザは、アライメント画像３１０がユーザに見えないというフィードバックを提供する。第２時間３５０において、アライメント画像３１０は、依然として可視領域３２０内にない反射面３３０の異なる位置に移動される。図示されるように、可視領域３２０は、瞳孔間距離アライメント動作３００中に実質的に静止している。ユーザは、アライメント画像３１０がユーザに見えないというフィードバックを提供する。

【0049】

[0063]第３時間３６０において、アライメント画像３１０は、部分的に可視領域３２０内にある反射面３３０の異なる位置に移動される。ユーザは、アライメント画像３１０がユーザに部分的に見えるというフィードバックを提供する。第４時間３７０において、アライメント画像３１０は、完全に可視領域３２０内にある反射面３３０の異なる位置に移動される。ユーザは、アライメント画像３１０がユーザに完全に見えるというフィードバックを提供する。第４時間３７０におけるアライメント画像３１０の位置は、記憶され、ユーザの既知の視線方向（例えば、真っ直ぐ前方）に対する瞳孔間距離アライメントとして使用される。瞳孔間距離アライメントは、（例えば、網膜投影ディスプレイシステムのメモリ内に）記憶される。

【0050】

[0064]図２Ａを参照すると、視線追跡器２３０は、ユーザの視線方向２３５を追跡するためのものである。反射面２４０の可視領域は、ユーザの視線方向に対応し、視線方向２３５が移動すると、反射面２４０上のユーザの可視領域も移動する。走査ミラー２２０は、ユーザの視線方向２３５及びユーザの瞳孔間距離アライメント２２５に従って、反射面２４０上で画像２１５を動的に移動させるように構成される。ユーザに対する瞳孔間距離アライメント２２５は、ユーザの既知の視線方向に対する反射面２４０の可視領域を識別するので、走査ミラー２２０は、視線方向２３５に従って反射面２４０の可視領域に対応するように画像２１５を移動させることができる。

【0051】

[0065]図２Ｂは、いくつかの実施形態に係る、例示的な視線追跡システム（例えば、視線追跡器２３０）の機能ブロック図を示す。視線追跡システム２３０は、１つ又は複数の赤外線センサ２５０ａ～ｎと、赤外線測定モジュール２６０と、視線方向決定器２７０と、を含む。赤外線センサ２５０ａ～ｎは、赤外光を受光して感知するように構成される。視線追跡システム２３０は、ユーザの眼から反射された赤外光を受光するように配置された任意の数の赤外線センサ２５０ａ～ｎを含むことができることを理解されたい。赤外線測定モジュール２６０は、赤外線センサ２５０ａ～ｎで感知された赤外線を受光し、各赤外線センサ２５０ａ～ｎで受光された赤外線の量を感知時間として測定するように構成される。いくつかの実施形態では、赤外線測定モジュール２６０は、反射面２４０上の走査ミラー２２０の視野にわたる赤外光の量を測定するように構成される。

【0052】

[0066]視線方向決定器２７０は、各赤外線センサ２５０ａ～ｎにおいて受光された赤外光の量に基づいて視線方向２３５を決定するように構成される。いくつかの実施形態では、視線方向決定器２７０は赤外線マッピングモジュール２７２を含む。赤外線マッピングモジュール２７２は、反射面２４０上の走査ミラー２２０の視野にわたる反射赤外光の量をマッピングして、走査ミラー２２０の視野の赤外反射率マップを生成するように構成される。赤外反射率マップは、感知された反射赤外光の強度に基づいて視線方向を識別する。

【0053】

[0067]図４Ａ～図４Ｄは、いくつかの実施形態に係る、例示的な視線追跡動作４００における手順を示す。視線追跡動作４００中に、視線追跡器（例えば、図１Ａの視線追跡器１４０又は図２Ａの視線追跡器２３０）は、ユーザの視線方向を追跡するように構成される。いくつかの実施形態では、視線追跡動作４００は、可視画像の投影と同時に実行され、網膜投影ディスプレイシステムが、可視光画像がユーザの網膜内に投影されるように、視線方向に基づいて可視光画像を反射面上に投影するための走査ミラー及び少なくとも１つの可視光源の動作を調整することを可能にする。

【0054】

[0068]図４Ａは、走査ミラーの全走査範囲４１０にわたって走査されている赤外光の例示的な走査パターンを示し、走査ミラーは、反射面上のどこにでも画像をレンダリングすることができ、反射面は、走査面の可視領域よりも大きい。図示のように、走査ミラーは、ｘ方向及びｙ方向に移動するように構成され、走査位置４２０は、走査パターンに従って全走査範囲４１０にわたって移動し、走査位置４２０は、ある時点における走査パターンの位置を示す。

【0055】

[0069]走査ミラーを使用して反射面上に投影された赤外光は、ユーザの眼から反射され、反射された赤外光は、全走査範囲４１０にわたる位置における赤外光の量を測定するための少なくとも１つの赤外線センサで受光される。

【0056】

[0070]図４Ｂは、少なくとも１つの赤外線センサによって感知された走査ミラーの走査範囲にわたる反射赤外光の強度の例示的なマッピングを示す。人間の眼の異なる部分の反射特性により、反射光の強度のマッピングは、ユーザの視線方向を示す。図示されるように、反射光の強度のマッピングは、走査ミラーの全走査範囲の３つの走査領域４３０、４３２、及び４３４を含み、走査領域４３０は、最も高い反射率を示し、走査領域４３４は、最も低い反射率を示し、走査領域４３２は、走査領域４３０と走査領域４３４との間の反射率を示す。例えば、走査領域４３０は強膜から反射する赤外光に関連付けられ、走査領域４３２は虹彩から反射する赤外光に関連付けられ、走査領域４３４は瞳孔から反射する赤外光に関連付けられる。したがって、走査領域４３４がユーザの視線方向を示すと判定することができる。走査領域４３０、４３２、及び４３４の矩形形状が示されているが、走査領域４３０、４３２、及び４３４は、任意の形状又は形状因子を有することができることを理解されたい。

【0057】

[0071]図４Ｃは、実施形態に係る、ユーザの視線方向を識別する走査領域４３４上への可視画像４４０の例示的な投影を示す。走査領域４３４は走査ミラーの走査範囲にわたって最も低い反射率を示すので、走査領域４３４がユーザの視線方向を識別することが判定される。したがって、可視領域４４０は、ユーザの瞳孔内及びユーザの網膜上への最終的な投影のために走査領域４３４上に投影される。図４Ｃは、赤外光源及び可視光源が完全に位置合わせされ、位置ずれしていない例を示すことを理解されたい。

【0058】

[0072]図４Ｄは、赤外光源と可視光源とが位置合わせされておらず、互いに位置ずれしている場合の、走査ミラー上への可視画像４４０の例示的な投影を示す。図示のように、領域４３６は、図４Ａ～図４Ｃに従って説明されたように、ユーザの可視領域として識別される。赤外光源と可視光源とは位置合わせされていないので、調整前の可視画像４４０は、領域４３６内に完全には投影されない。

【0059】

[0073]いくつかの実施形態では、網膜投影ディスプレイシステムは、少なくとも１つの可視光源と赤外光源との間のずれ４５０を補償して視線方向を決定し、可視光画像を領域４３６上に投影するように構成される。いくつかの実施形態では、瞳孔間距離アライメントは、ずれ４５０を補償するために使用される。ユーザに対する瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面の可視領域を識別するので、それを使用して、走査ミラーの動作を調整して、可視画像４４０を反射面の領域４３６に対応するように移動させ、ずれ４５０を補償することができる。

【0060】

[0074]いくつかの実施形態では、可視画像のジッタを回避するために、可視領域（例えば、領域４３６）は、視線方向の十分な移動が検出された（例えば、移動閾値が満たされた）場合にのみ移動される。いくつかの実施形態では、ユーザの視線方向が可視領域の外側に移動したことに応答して可視領域が移動されるように、可視領域よりも小さいレンダリングされた画像を提供することによってジッタが考慮される。これにより、より広い範囲の位置にわたって画像を見ることができ、ジッタが最小限に抑えられる。いくつかの実施形態では、画像の不鮮明化を回避するために、可視領域は、視線方向の変化後の所定の時間遅延後にユーザの視線方向に従って移動され、画像を移動させる前にユーザの眼が新しい視線方向に落ち着くことを可能にする。

【0061】

[0075]図２Ａを参照すると、走査ミラー２２０は、画像２１５がユーザの網膜内に投影されるように、反射面２４０の可視領域上に（例えば、ピクセルごとに）画像２１５を投影する。いくつかの実施形態では、走査ミラー２２０の走査範囲は、可視領域内の画像のサイズに対応するように動的に調整される。他の実施形態では、走査ミラー２２０の走査範囲は、反射面２４０の表示エリアのサイズに対応し、このため、光源２１０は、走査ミラー２２０が反射面２４０の可視領域内に画像を投影しているときにのみ、画像を表示するために作動される。

【0062】

[0076]図５Ａ及び図５Ｂは、一実施形態に係る、走査ミラーの走査範囲が投影画像のサイズである場合の例示的な画像レンダリング動作５００を示す。図５Ａは、走査ミラーの全走査範囲５１０にわたる例示的な走査パターンを示し、走査ミラーは、反射面上の任意の場所において画像をレンダリングすることができ、反射面は、走査面の可視領域よりも大きい。図示されるように、走査ミラーは、ｘ方向及びｙ方向に移動するように構成され、中心位置５２０は、ユーザの識別された視線方向及び可視領域の中心位置である。アイトラッキングは、可視領域の中心位置を特定するために使用される。

【0063】

[0077]図５Ｂは、走査ミラーの走査範囲が投影画像のサイズである場合の例示的な走査パターンを示す。図５Ｂに示されるように、中心位置５３０は、視線追跡を使用して識別され、中心位置５３０は、中心位置５２０に対して移動される。ｘ及びｙ走査範囲５５０が、中心位置Ｂによって識別される可視領域５４０をカバーするように、走査ミラーのパン角度が制御される。図示の実施形態では、走査ミラーの走査範囲５５０は、反射面全体ではなく、反射面のカバー可視領域５４０に縮小される。いくつかの実施形態において、赤外線反射は、低反射率を有するユーザの瞳孔との適切な位置合わせを確保するために、この縮小された走査範囲にわたって赤外線センサによって測定される。ある閾値よりも高い反射率が測定された場合、走査パターンが拡大され、図４Ａ及び図４Ｂに示されるような視線追跡動作が再開されて新しい視線を追跡する。

【0064】

[0078]図６は、一実施形態に係る、走査ミラーの走査範囲６１０が投影画像のサイズよりも大きい場合の例示的な画像レンダリング動作６００を示す。図示されるように、走査ミラーは、ｘ方向及びｙ方向に移動するように構成され、中心位置６２０は、ユーザの識別された視線方向及び可視領域の中心位置である。アイトラッキングは、可視領域の中心位置を特定するために使用される。

【0065】

[0079]図６に示されるように、中心位置６３０は、視線追跡を使用して識別され、中心位置６３０は、中心位置６２０に対して移動される。中心位置６３０による視線方向に応じて、光源は、走査ミラーが可視領域６４０内にあるときにのみ作動される。走査ミラーのパン角度は、ｘ及びｙ走査範囲６１０が反射面領域全体をカバーするが、走査ミラーが可視領域６４０内にあるときにのみ光源を作動させるように制御される。

【0066】

[0080]図７は、本発明の実施形態を実装することができる例示的な電子デバイス７００のブロック図である。図７は、本明細書で論じられる様々な実施形態に従って、又はそれらを実装するために使用され得る電子デバイス７００のタイプ（例えば、コンピュータシステム）の一例を示す。説明される網膜投影ディスプレイシステムの実施形態は、例示的な電子デバイス７００を使用して実装され得ることを理解されたい。

【0067】

[0081]図７の電子デバイス７００は一例にすぎず、本明細書で説明される実施形態は、限定はされないが、汎用ネットワーク化コンピュータシステム、組み込みコンピュータシステム、モバイル電子デバイス、スマートフォン、サーバデバイス、クライアントデバイス、様々な中間デバイス／ノード、スタンドアロンコンピュータシステム、メディアセンター、ハンドヘルドコンピュータシステム、マルチメディアデバイスなどを含むいくつかの異なるコンピュータシステム上で又はそれらの中で動作し得ることを理解されたい。いくつかの実施形態では、図７の電子デバイス７００は、例えば、電子フラッシュメモリデータ記憶デバイス、フロッピーディスク、コンパクトディスク、デジタル多用途ディスク、他のディスクベースの記憶装置、ユニバーサルシリアルバス「サム」ドライブ、リムーバブルメモリカードなどが結合された周辺有形コンピュータ読取可能記憶媒体７０２を有するように十分に適合される。有形コンピュータ読取可能記憶媒体は、本質的に非一時的である。

【0068】

[0082]図７の電子デバイス７００は、情報を通信するためのアドレス／データバス７０４と、情報及び命令を処理するための、バス７０４に結合されたプロセッサ７０６Ａとを含む。バス７０４は、限定はしないが、周辺コンポーネント相互接続エクスプレス（ＰＣＩｅ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ユニバーサル非同期受信機／送信機（ＵＡＲＴ）シリアルバス、好適な高度マイクロコントローラバスアーキテクチャ（ＡＭＢＡ）インターフェース、集積回路間（Inter-Integrated Circuit）（Ｉ２Ｃ）バス、シリアルデジタル入出力（ＳＤＩＯ）バス、シリアル周辺インターフェース（ＳＰＩ）又は他の同等物を含む任意の好適なバス又はインターフェースであってもよい。

【0069】

[0083]図７に示されるように、電子デバイス７００はまた、複数のプロセッサ７０６Ａ、７０６Ｂ、及び７０６Ｃが存在するマルチプロセッサ環境にもよく適している。逆に、電子デバイス７００は、例えば、プロセッサ７０６Ａなどの単一のプロセッサを有することにもよく適している。プロセッサ７０６Ａ、７０６Ｂ、及び７０６Ｃは、様々なタイプのマイクロプロセッサのいずれであってもよい。電子デバイス７００はまた、プロセッサ７０６Ａ、７０６Ｂ、及び７０６Ｃのための情報及び命令を記憶するための、バス７０４に結合された、コンピュータ使用可能揮発性メモリ７０８、例えば、ランダムアクセスメモリ（ＲＡＭ）などのデータ記憶機能を含む。電子デバイス７００はまた、プロセッサ７０６Ａ、７０６Ｂ、及び７０６Ｃのための静的な情報及び命令を記憶するための、バス７０４に結合された、コンピュータ使用可能不揮発性メモリ７１０、例えば、読取専用メモリ（ＲＯＭ）を含む。電子デバイス７００には、情報及び命令を記憶するための、バス７０４に結合されたデータ記憶ユニット７１２（例えば、磁気又は光ディスク及びディスクドライブ）も存在する。電子デバイス７００はまた、プロセッサ７０６Ａ又はプロセッサ７０６Ａ、７０６Ｂ、及び７０６Ｃに情報及びコマンド選択を通信するための、バス７０４に結合された英数字キー及びファンクションキーを含む英数字入力デバイス７１４を含む。電子デバイス７００はまた、ユーザ入力情報及びコマンド選択をプロセッサ７０６Ａ又はプロセッサ７０６Ａ、７０６Ｂ及び７０６Ｃに通信するための、バス７０４に結合されたカーソル制御デバイス７１６を含む。一実施形態では、電子デバイス７００はまた、情報を表示するための、バス７０４に結合されたディスプレイデバイス７１８を含む。アーキテクチャに応じて、異なるバス構成を必要に応じて採用することができる。例えば、プロセッサ７０６Ａとメモリコンピュータ使用可能揮発性メモリ７０８又はコンピュータ使用可能不揮発性メモリ７１０との間の専用バスを使用することなどによって、電子デバイス７００の様々な構成要素を結合するために追加のバスが使用されてもよい。

【0070】

[0084]引き続き図７を参照すると、図７のディスプレイデバイス７１８は、反射面上に画像データを投影するための光源（例えば、図１Ａの光源１１０）を含んでもよい。他の実施形態では、ディスプレイデバイス７１８は、液晶デバイス（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）デバイス、プラズマディスプレイデバイス、タッチスクリーンデバイス、又はユーザが認識可能なグラフィック画像及び英数字を作成するのに適した他のディスプレイデバイスであってもよい。カーソル制御デバイス７１６は、コンピュータ・ユーザがディスプレイデバイス７１８の表示画面上の可視シンボル（カーソル）の移動を動的に知らせ、ディスプレイデバイス７１８上に表示された選択可能な項目のユーザ選択を示すことを可能にする。トラックボール、マウス、タッチパッド、タッチスクリーン、ジョイスティック、又は所与の方向の移動もしくは変位の方式を信号伝達することが可能な英数字入力デバイス７１４上の特殊キーを含む、カーソル制御デバイス７１６の多くの実装が当該技術分野で知られている。あるいは、カーソルは、特殊キー及びキーシーケンスコマンドを使用して、英数字入力デバイス７１４からの入力を介して、方向付けられ及び／又は作動されることができることを理解されたい。電子デバイス７００は、例えば、音声コマンドのような他の手段によってカーソルを方向付けることにも適している。様々な実施形態において、英数字入力デバイス７１４、カーソル制御デバイス７１６、及びディスプレイデバイス７１８、又はそれらの任意の組み合わせ（例えば、ユーザインターフェース選択デバイス）は、プロセッサ（例えば、プロセッサ７０６Ａ又はプロセッサ７０６Ａ、７０６Ｂ、及び７０６Ｃ）の指示の下で、グラフィカルユーザインターフェース（ＧＵＩ）７３０を提供するように集合的に動作してもよい。ＧＵＩ７３０は、ユーザが、英数字入力デバイス７１４及び／又はカーソル制御デバイス７１６と対話することによって、ディスプレイデバイス７１８上に提示されるグラフィカル表現を通じて電子デバイス７００と対話することを可能にする。

【0071】

[0085]電子デバイス７００はまた、電子デバイス７００を外部エンティティと結合するためのＩ／Ｏデバイス７２０を含む。例えば、一実施形態では、Ｉ／Ｏデバイス７２０は、電子デバイス７００と、限定されないがインターネットなどの外部ネットワークとの間の有線又は無線通信を可能にするためのモデムである。一実施形態では、Ｉ／Ｏデバイス７２０は送信機を含む。電子デバイス７００は、Ｉ／Ｏデバイス７２０を介してデータを送信することによってネットワークと通信してもよい。

【0072】

[0086]引き続き図７を参照すると、電子デバイス７００のための様々な他の構成要素が示されている。具体的には、存在する場合、オペレーティングシステム７２２、アプリケーション７２４、モジュール７２６、及びデータ７２８は、典型的には、コンピュータ使用可能揮発性メモリ７０８（例えば、ＲＡＭ）、コンピュータ使用可能不揮発性メモリ７１０（例えば、ＲＯＭ）、及びデータ記憶ユニット７１２のうちの１つ又はいくつかの組み合わせに存在するように示される。いくつかの実施形態では、本明細書で説明される種々の実施形態の全て又は一部は、例えば、ＲＡＭ７０８内のメモリロケーション、データ記憶ユニット７１２内のコンピュータ読取可能記憶媒体、周辺コンピュータ読取可能記憶媒体７０２、及び／又は他の有形コンピュータ読取可能記憶媒体内のアプリケーション７２４及び／又はモジュール７２６として記憶される。

【0073】

網膜投影ディスプレイシステムを動作させるための例示的な動作
[0087]図８Ａは、いくつかの実施形態に係る網膜投影の例示的なプロセスを示し、図８Ｂは、いくつかの実施形態に係る視線追跡の例示的プロセスを示し、図９は、いくつかの実施形態に係る瞳孔間距離アライメントを決定するための例示的なプロセスを示す。これらの方法の手順は、本明細書で説明される様々な図の要素及び／又は構成要素を参照して説明される。いくつかの実施形態では、手順は説明されたものとは異なる順序で実行されてもよく、説明された手順のいくつかは実行されなくてもよく、及び／又は説明されたものに対して１つ又は複数の追加の手順が実行されてもよいことが理解される。フロー図は、様々な実施形態において、非一時的コンピュータ読取可能記憶媒体に記憶されたコンピュータ読取可能かつコンピュータ実行可能な命令の制御下で１つ以上のプロセッサ（例えば、ホストプロセッサ又はセンサプロセッサ）によって実行されるいくつかの手順を含む。フロー図で説明される１つ又は複数の手順は、ハードウェア、又はハードウェアとファームウェア及び／もしくはソフトウェアとの組み合わせで実装され得ることを更に理解されたい。

【0074】

[0088]図８Ａを参照すると、フロー図８００は、いくつかの実施形態に係る、網膜投影の例示的なプロセスを示す。フロー図８００の手順８１０において、光源からの画像は、画像よりも大きい視野を有する走査ミラーを使用して、画像よりも大きい反射面上に投影される。いくつかの実施形態では、光源は複数の可視光源を含み、複数の可視光源間の可視光源のずれは、製造較正動作中に決定されてメモリユニットに記憶される。いくつかの実施態様において、複数の可視光源は、可視光源のずれに少なくとも部分的に基づいて位置合わせされる。いくつかの実施形態では、走査ミラーの走査範囲は、可視領域内の画像のサイズに対応するように動的に調整される。いくつかの実施形態では、走査ミラーの走査範囲は、反射面の表示エリアのサイズに対応し、このため、走査ミラーが可視領域内に画像を投影しているときにのみ、光源は画像を表示するために作動される。いくつかの実施形態では、反射面は少なくとも部分的に透明である。

【0075】

[0089]手順８２０において、ユーザに対する反射面の可視領域が決定される。いくつかの実施形態では、手順８２２に示されるように、ユーザに対する瞳孔間距離アライメントが（例えば、メモリから）取得され、瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面の可視領域を識別する。いくつかの実施形態では、手順８２４に示されるように、ユーザの視線方向が追跡され、可視領域は視線方向に対応する。

【0076】

[0090]いくつかの実施形態では、手順８２４は、図８Ｂのフロー図８２４に従って実行される。図８Ｂは、いくつかの実施形態に係る、視線追跡の例示的なプロセスのフロー図８２４を示す。フロー図８２４の手順８３０では、赤外光源からの赤外光が、走査ミラーを使用して反射面上に投影され、赤外光は、走査ミラーの視野にわたって投影され、反射面から少なくとも部分的にユーザの眼に向かって反射される。手順８４０において、ユーザの眼から反射した反射赤外光は、少なくとも１つの赤外光検出器で受光される。

【0077】

[0091]手順８５０において、ユーザの視線方向は、反射赤外光に少なくとも部分的に基づいて決定される。一実施形態では、手順８５２に示されるように、反射面上の走査ミラーの視野にわたる反射赤外光の量が測定される。手順８５４において、反射面上の走査ミラーの視野にわたる反射赤外光の量がマッピングされて、走査ミラーの視野の赤外反射率マップが生成され、赤外反射率マップは視線方向を識別する。

【0078】

[0092]手順８６０において、可視光画像を反射面上に投影するための走査ミラー及び少なくとも１つの可視光源の動作は、可視光画像がユーザの網膜に投影されるように、視線方向に基づいて調整される。一実施形態では、手順８７０において、少なくとも１つの可視光源と赤外光源とが位置合わせされているか否かが判定される。少なくとも１つの可視光源と赤外光源とが位置合わせされている場合、手順８８０に示されるように、走査ミラーは、可視光画像を視線方向に向かって反射面上に投影するように制御される。

【0079】

[0093]少なくとも１つの可視光源と赤外光源とが位置合わせされていない場合、手順８９０に示されるように、少なくとも１つの可視光源と赤外光源との間のずれが決定され、可視光画像が視線方向に向かって反射面上に投影されるようにずれが補償される。いくつかの実施形態では、ずれは、ユーザに対する瞳孔間距離アライメントを取得することによって決定され、瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面の可視領域を識別し、少なくとも１つの可視光源と赤外光源との間のずれは、視線方向及び瞳孔間距離アライメントに少なくとも部分的に基づく。他の実施形態では、ずれは、少なくとも１つの可視光源と赤外光源との間のずれを取得することによって決定され、少なくとも１つの可視光源と赤外光源との間のずれは、製造較正動作中に決定されてメモリユニットに記憶される。

【0080】

[0094]図８Ａに戻って、手順８３０において、画像は、画像がユーザの網膜に投影されるように、反射面の可視領域上に向けられる。いくつかの実施形態では、手順８３２に示されるように、画像は、走査ミラーを使用して、ユーザの視線方向及びユーザの瞳孔間距離アライメントに従って、反射面上で動的に移動される。

【0081】

[0095]いくつかの実施形態では、手順８３４に示されるように、視線方向の移動量は、ユーザの視線方向を追跡することに基づいて決定され、視線方向の移動量が移動閾値を満たしたことに応答して、画像は、ユーザの視線方向及びユーザの瞳孔間距離アライメントに従って反射面上で移動される。いくつかの実施形態では、手順８３６に示されるように、画像は、所定の時間遅延後、ユーザの視線方向及びユーザの瞳孔間距離アライメントに従って、反射面上で移動される。いくつかの実施形態では、手順８３８に示されるように、画像が可視領域の外側にあると判定したことに応答して、画像は、ユーザの視線方向及びユーザの瞳孔間距離アライメントに従って反射面上で移動される。

【0082】

[0096]図９は、いくつかの実施形態に係る、例えば較正動作中に瞳孔間距離アライメントを決定するための例示的なフロー図９００を示す。フロー図９００の手順９１０では、アライメント画像が反射面上に投影される。手順９２０において、ユーザが既知の視線方向を注視している間に、アライメント画像の視認性に関するユーザフィードバックが受信される。手順９３０では、ユーザフィードバックに従って、アライメント画像が可視領域内にあるかどうかが判定される。アライメント画像が可視領域内にない場合、フロー図９００は手順９４０に進む。手順９４０では、アライメント画像の位置が反射面上で別の位置に移動される。アライメント画像が可視領域内にある場合、フロー図９００は手順９５０に進む。

【0083】

[0097]手順９５０において、ユーザフィードバックに従って、アライメント画像が完全に可視領域内にあるかどうかが判定される。アライメント画像が完全に可視領域内にあるわけではない場合、フロー図９００は手順９４０に進む。手順９４０では、アライメント画像の位置が反射面上で別の位置に移動される。アライメント画像が完全に可視領域内にある場合、フロー図９００は手順９６０に進む。手順９６０において、ユーザの既知の視線方向に対する反射面の可視領域を識別する瞳孔間距離アライメントが決定される。いくつかの実施形態では、瞳孔間距離アライメントは、網膜投影ディスプレイ動作中に検索するために（例えば、メモリに）記憶される。

【0084】

結論
[0098]本明細書に記載の実施例は、最もよく説明し、特定の用途を説明し、それによって当業者が記載された実施例の実施形態を作製及び使用することを可能にするために提示された。しかしながら、当業者であれば、前述の説明及び実施例は、説明及び例示のみを目的として提示されていることを認識するであろう。上述した異なる例示的な実施形態の多くの態様を組み合わせて新しい実施形態にすることができる。記載された説明は、網羅的であること、又は実施形態を開示された正確な形態に限定することを意図していない。むしろ、上述した特定の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。

【0085】

[0099]本明細書全体を通して、「一実施形態」、「特定の実施形態」、「ある実施形態」、「様々な実施形態」、「いくつかの実施形態」、又は同様の用語への言及は、実施形態に関連して説明される特定の特徴、構造、又は特性が少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書を通して様々な場所におけるそのような語句の出現は、必ずしもすべてが同じ実施形態に言及しているわけではない。さらに、任意の実施形態の特定の特徴、構造、又は特性は、限定することなく、任意の適切な方法で、１つ又は複数の他の実施形態の１つ又は複数の他の特徴、構造、又は特性と組み合わせることができる。

【0086】

[00100]概して、本書は、少なくとも以下を開示する。

【0087】

[00101]網膜投影ディスプレイシステムは、可視光画像を投影するための少なくとも１つの可視光源と、赤外光を投影するための赤外光源と、可視光画像よりも大きい視野を有する走査ミラーと、可視光画像が投影され、赤外光が少なくとも部分的にユーザの眼に向かって反射される反射面であって、可視光画像よりも大きい反射面と、ユーザの眼から反射した反射赤外光を受光するための少なくとも１つの赤外光検出器と、プロセッサ及びメモリを備えるハードウェア計算モジュールであって、反射赤外光に少なくとも部分的に基づいてユーザの視線方向を決定するように構成されたハードウェア計算モジュールと、を含む。

【0088】

[00102]本書は、少なくとも以下の実装形態を更に開示する。

【0089】

[00103]本明細書における技術の第１実装形態は、網膜投影ディスプレイシステムであって、
[00104]可視光画像を投影するための少なくとも１つの可視光源と、
[00105]赤外光を投影するための赤外光源と、
[00106]可視光画像よりも大きい視野を有する走査ミラーと、
[00107]可視光画像が投影され、赤外光が少なくとも部分的にユーザの眼に向かって反射される反射面であって、可視光画像よりも大きい反射面と、
[00108]ユーザの眼から反射した反射赤外光を受光するための少なくとも１つの赤外光検出器と、
[00109]プロセッサ及びメモリを備えるハードウェア計算モジュールであって、反射赤外光に少なくとも部分的に基づいてユーザの視線方向を決定するように構成されたハードウェア計算モジュールと、を備える網膜投影ディスプレイシステムを備える。

【0090】

[00110]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、ハードウェア計算モジュールは、可視光画像がユーザの網膜に投影されるように、視線方向に基づいて反射面上に可視光画像を投影するための走査ミラー及び少なくとも１つの可視光源の動作を調整するように更に構成される。

【0091】

[00111]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、少なくとも１つの可視光源と赤外光源とは位置合わせされており、ハードウェア計算モジュールは、走査ミラーを制御して可視光画像を視線方向に向かって反射面上に投影するように更に構成される。

【0092】

[00112]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、少なくとも１つの可視光源と赤外光源とは位置合わせされておらず、ハードウェア計算モジュールは、少なくとも１つの可視光源と赤外光源との間のずれを補償して視線方向を決定し、視線方向に向かって反射面上に可視光画像を投影するように走査ミラーを制御するように更に構成される。

【0093】

[00113]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、瞳孔間距離アライメントが、ユーザに対する較正動作中に決定され、瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面の可視領域を識別する。

【0094】

[00114]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、少なくとも１つの可視光源と赤外光源との間のずれは、視線方向及び瞳孔間距離アライメントに少なくとも部分的に基づく。

【0095】

[00115]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、少なくとも１つの可視光源と赤外光源との間のずれは、製造較正動作中に決定され、メモリに記憶される。

【0096】

[00116]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、少なくとも１つの可視光源は、複数の可視光源を備え、複数の可視光源間の可視光源のずれは、製造較正動作中に決定され、メモリに記憶される。

【0097】

[00117]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、ハードウェア計算モジュールは、可視光源のずれに少なくとも部分的に基づいて複数の可視光源を位置合わせするように構成される。

【0098】

[00118]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、ハードウェア計算モジュールは、
[00119]反射面の視野にわたって赤外光を走査し、
[00120]少なくとも１つの赤外光検出器においてユーザの眼から反射する反射赤外光を受光し、
[00121]反射面上の走査ミラーの視野にわたる反射赤外光の量を測定し、
[00122]反射面上の走査ミラーの視野にわたる反射赤外光の量をマッピングして、走査ミラーの視野の赤外反射率マップを生成するように更に構成され、赤外反射率マップは視線方向を識別する。

【0099】

[00123]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、反射面は少なくとも部分的に透明である。

【0100】

[00124]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態は、
[00125]ユーザによって装着されるように構成される眼鏡フレームと、
[00126]眼鏡フレーム内に搭載される少なくとも１つのレンズと、を更に備え、反射面は、少なくとも１つのレンズの少なくとも一部上に配置される。

【0101】

[00127]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、少なくとも１つの赤外光検出器は、眼鏡フレーム上に配置される。

【0102】

[00128]網膜投影ディスプレイシステムの前述又は後述の実装形態のいずれかの更なる実装形態では、少なくとも１つの赤外光検出器は、少なくとも１つの可視光源及び赤外光源を備えるモジュールの内部に配置される。

【0103】

[00129]本明細書における技術のさらなる実装形態は、網膜投影ディスプレイの方法を含み、当該方法は、
[00130]少なくとも１つの可視光源からの可視光画像を、可視光画像よりも大きい視野を有する走査ミラーを使用して、可視光画像よりも大きい反射面上に投影することと、
[00131]赤外光源からの赤外光を、走査ミラーを使用して反射面上に投影することであって、赤外光は、走査ミラーの視野にわたって投影され、少なくとも部分的にユーザの眼に向かって反射面から反射される、ことと、
[00132]少なくとも１つの赤外光検出器において、ユーザの眼から反射する反射赤外光を受光することと、
[00133]反射赤外光に少なくとも部分的に基づいてユーザの視線方向を決定することと、を含む。

【0104】

[00134]前述又は後述の実装形態のいずれかの更なる実装形態は、
[00135]可視光画像がユーザの網膜に投影されるように、視線方向に基づいて反射面上に可視光画像を投影するための走査ミラー及び少なくとも１つの可視光源の動作を調整することを含む方法を更に含む。

【0105】

[00136]前述又は後述の実装形態のいずれかの更なる実装形態は、少なくとも１つの可視光源と赤外光源とは位置合わせされており、
[00137]可視光画像を視線方向に向かって反射面上に投影するように走査ミラーを制御することを更に含む方法を更に含む。

【0106】

[00138]前述又は後述の実装形態のいずれかの更なる実装形態は、少なくとも１つの可視光源と赤外光源とは位置合わせされておらず、
[00139]少なくとも１つの可視光源と赤外光源との間のずれを決定することと、
[00140]少なくとも１つの可視光源と赤外光源との間のずれを補償して視線方向を決定し、視線方向に向かって反射面上に可視光画像を投影するように走査ミラーを制御することと、を更に含む方法を更に含む。

【0107】

[00141]前述又は後述の実装形態のいずれかの更なる実装形態は、少なくとも１つの可視光源と赤外光源との間のずれを決定することは、
[00142]ユーザに対する瞳孔間距離アライメントを取得することを含み、瞳孔間距離アライメントは、ユーザの既知の視線方向に対する反射面の可視領域を識別し、少なくとも１つの可視光源と赤外光源との間のずれは、視線方向及び瞳孔間距離アライメントに少なくとも部分的に基づく、方法を更に含む。

【0108】

[00143]前述又は後述の実装形態のいずれかの更なる実装形態は、少なくとも１つの可視光源と赤外光源との間のずれを決定することは、
[00144]少なくとも１つの可視光源と赤外光源との間のずれを取得することを含み、少なくとも１つの可視光源と赤外光源との間のずれは、製造較正動作中に決定され、メモリユニットに記憶される、方法を更に含む。

【0109】

[00145]前述又は後述の実装形態のいずれかの更なる実装形態は、少なくとも１つの可視光源は、複数の可視光源を備え、複数の可視光源間の可視光源のずれは、製造較正動作中に決定され、メモリユニットに記憶される、方法を更に含む。

【0110】

[00146]前述又は後述の実装形態のいずれかの更なる実装形態は、可視光源のずれに少なくとも部分的に基づいて複数の可視光源を位置合わせすることを更に含む方法を更に含む。

【0111】

[00147]前述又は後述の実装形態のいずれかの更なる実装形態は、反射赤外光に少なくとも部分的に基づいてユーザの視線方向を決定することは、
[00148]反射面上の走査ミラーの視野にわたる反射赤外光の量を測定することと、
[00149]反射面上の走査ミラーの視野にわたる反射赤外光の量をマッピングして、走査ミラーの視野の赤外反射率マップを生成することと、を含み、赤外反射率マップは視線方向を識別する、方法を更に含む。

【図1A】

【図1B】

【図1C】

【図1D】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【国際調査報告】