特許 6853310 ニアアイディスプレイ用装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6853310

(24)【登録日】2021年3月15日

(45)【発行日】2021年3月31日

(54)【発明の名称】ニアアイディスプレイ用装置

(51)【国際特許分類】

   G02B 27/02 20060101AFI20210322BHJP

   H04N 5/64 20060101ALI20210322BHJP

   G02F 1/37 20060101ALI20210322BHJP

【ＦＩ】

   G02B27/02 Z

   H04N5/64 511A

   G02F1/37

【請求項の数】15

【全頁数】16

(21)【出願番号】特願2019-140435(P2019-140435)

(22)【出願日】2019年7月31日

(62)【分割の表示】特願2017-542913(P2017-542913)の分割

【原出願日】2016年2月5日

(65)【公開番号】特開2020-13132(P2020-13132A)

(43)【公開日】2020年1月23日

【審査請求日】2019年7月31日

(31)【優先権主張番号】15156666.8

(32)【優先日】2015年2月26日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】ヤルヴェンパー トニ

【審査官】 大室 秀明

(56)【参考文献】

【文献】 国際公開第２００７／０８５６８２（ＷＯ，Ａ１）

【文献】 国際公開第２００９／１０１２３８（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０４９０１２（ＷＯ，Ａ１）

【文献】 特開２００９−２４４８６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１２

Ａ６１Ｂ ３／１３−３／１６

Ｇ０２Ｂ２７／００−２７／６４

Ｇ０２Ｆ １／００−１／１２５

Ｇ０２Ｆ １／２１−７／００

Ｇ０９Ｆ ９／００

Ｈ０４Ｎ ５／６４−５／６５５

(57)【特許請求の範囲】

【請求項1】

第１の波長領域及び第２の波長領域を有する光を生成するように動作しうる光源と；
前記第１の波長領域の光を受光し、該第１の波長領域の光からイメージビームを生成するように位置する光変調器であって、前記第２の波長領域の光を受光すると共に、前記光変調器による前記イメージビームの生成と同時に、該第２の波長領域の光から探査ビームを生成するように構成される、光変調器と；
一つ又は複数のインカップリング素子領域及び一つ又は複数のアウトカップリング素子領域をそれぞれ備える、第１のライトガイド及び第２のライトガイドと；
を備える装置であって、
前記第１のライトガイドの前記一つ又は複数のインカップリング素子領域はそれぞれ、前記イメージビーム及び前記探査ビームを受光し、両ビームを前記第１のライトガイドにインカップリングさせるように構成され；
前記第２のライトガイドの前記一つ又は複数のインカップリング素子領域はそれぞれ、前記イメージビーム及び前記探査ビームを受光し、両ビームを前記第２のライトガイドにインカップリングさせるように構成され；
前記第１のライトガイドの前記一つ又は複数のアウトカップリング素子領域は、前記イメージビームをユーザに見せるために、前記イメージビームを前記第１のライトガイドから前記ユーザの目へアウトカップリングさせるように構成され、
前記第２のライトガイドの前記一つ又は複数のアウトカップリング素子領域は、前記探査ビームの前記ユーザの目からの反射を検出するために、前記探査ビームを前記第２のライトガイドから前記ユーザの目へアウトカップリングさせるように構成される、
装置において、
前記探査ビームの反射を検出するように構成される検出器と、
検出された反射探査ビームに基づいてユーザの注視を決定するコントローラと、
を更に備える、装置。

【請求項2】

前記光変調器は更に、
前記探査ビームのパターン、形状、サイズの何れか又は全ての制御と；
前記探査ビームのパターンの動的変更の
何れか又は両方を行うように構成される、請求項１に記載の装置。

【請求項3】

前記コントローラは、反射した探査ビームの方向に応じて前記探査ビームを変更するように構成される、請求項１又は２に記載の装置。

【請求項4】

前記反射した探査ビームを前記検出器へ更に反射させるように構成される反射体を更に備える、請求項１から３のいずれかに記載の装置。

【請求項5】

前記第１の波長領域の光は可視光を含み、前記第２の波長領域の光は赤外線を含む、請求項１から４の何れか一項に記載の装置。

【請求項6】

前記光源は、前記第１の波長領域の光及び前記第２の波長領域の光を同時に発光するように構成される、請求項１から５の何れか一項に記載の装置。

【請求項7】

前記第１の波長領域の光及び前記第２の波長領域の光の何れかを選択的にフィルタする選択的制御可能フィルタを更に備える、請求項１から６の何れか一項に記載の装置。

【請求項8】

前記第１の波長領域の光及び前記第２の波長領域の光を連続して発光するように構成される光源を更に備える、請求項１から７の何れか一項に記載の装置。

【請求項9】

前記一つ又は複数のインカップリング素子領域及び前記一つ又は複数のアウトカップリング素子領域は、単一のライトガイドに具備される、請求項１から８の何れか一項に記載の装置。

【請求項10】

前記一つ又は複数のライトガイドは射出瞳拡大器として構成される、請求項１から９の何れか一項に記載の装置。

【請求項11】

ニアアイディスプレイ及び注視追跡器として構成される、請求項１から１０の何れか一項に記載の装置。

【請求項12】

前記一つ又は複数のインカップリング素子領域は、少なくとも一つのインカップリング回折素子領域を含む、請求項１から１１の何れかに一項に記載の装置。

【請求項13】

前記一つ又は複数のアウトカップリング素子領域は、少なくとも一つのアウトカップリング回折素子領域を含む、請求項１から１２の何れかに一項に記載の装置。

【請求項14】

請求項１から１３の何れか一項に記載の装置を備える、モジュール。

【請求項15】

請求項１から１３の何れか一項に記載の装置を一つ又は複数備えるデバイスであって、
携帯型、装着型、頭部装着型、無線通信型の少なくとも一つで使用されるように構成される、デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、ニアアイディスプレイ用装置に関する。実施例によっては、前述を害さずにニアアイディスプレイにおける注視追跡を提供する装置に関するものもある。

【背景】

【0002】

注視追跡とは即ち、ユーザの目に関連する視線の決定、又はユーザが見ている場所の決定（その結果、ユーザが見ているものの決定）を行えるように、ユーザの目の注視点を決定する処理である。これは一般に、ユーザの片目（又は両目）から見える動画像の取込みに頼っている。こうした注視追跡に基づく動画は通常、目（例えば、目の角膜又は表面）に赤外線を当ててその反射又は閃光を検出するために赤外線（ＩＲ）ＬＥＤや赤外線レーザーを使用する。ユーザの注視の決定は、検出された赤外線反射と、瞳孔位置等の検出された目の特徴に基づいて計算されてもよい。注視追跡機能を有するシステムを統合した従来のニアアイディスプレイは、常に最適化されているとは限らず、特に追加部品の観点等においてはそうである。さらに、ニアアイディスプレイに注視追跡機能と表示機能を統合するのに伴って、複雑さも増し、サイズや重量も大きくなっている。

【0003】

本願における公開済み文献または背景の列挙や議論は、こうした文献や背景が当該技術分野の状況の一部であること、または共通の一般知識であることとして必ずしも理解されなくてもよい。本開示の一つ又は複数の態様／実施例がこうした背景にある課題の一つ又は複数を解決してもよく、そうでなくてもよい。

【摘要】

【0004】

本発明の態様は特許請求の範囲に提示されている。

【0005】

本開示の全ての実施例を必ずしも含まないが、少なくとも一部の実施例によれば、
第１の波長領域の光を受光し、該第１の波長領域の光からイメージビームを生成するように構成され、更に第２の波長領域の光を受光し、該第２の波長領域の光から探査ビームを生成するように構成される、光変調器と；
一つ又は複数のインカップリング回折素子領域、及び、一つ又は複数のアウトカップリング回折素子領域を備える一つ又は複数のライトガイドと；
を備える装置であって、
前記一つ又は複数のインカップリング回折素子領域は、前記イメージビーム及び前記探査ビームを受光し、両ビームを一つ又は複数のライトガイドにインカップリングさせるように構成され；
前記一つ又は複数のアウトカップリング回折素子領域は、前記イメージビーム及び前記探査ビームを前記一つ又は複数のライトガイドからユーザの目へアウトカップリングさせるように構成され、ここで、前記イメージビームは前記ユーザに見せるために、前記探査ビームは前記ユーザの目からの反射を検出するために、それぞれアウトカップリングさせられる；
装置が提供される。

【0006】

本開示の全ての実施例を必ずしも含まないが、少なくとも一部の実施例によれば、
第１の波長領域の光を受光し、該第１の波長領域の光からイメージビームを生成するように構成され、更に第２の波長領域の光を受光し、該第２の波長領域の光から探査ビームを生成するように構成される、手段と；
一つ又は複数のインカップリング回折手段、及び、一つ又は複数のアウトカップリング回折手段を備える一つ又は複数の導光手段と；
を備える装置であって、
前記一つ又は複数のインカップリング回折手段は、前記イメージビーム及び前記探査ビームを受光し、両ビームを一つ又は複数の導光手段にインカップリングさせるように構成され、
前記一つ又は複数のアウトカップリング回折手段は、前記イメージビーム及び前記探査ビームを前記一つ又は複数の導光手段からユーザの目へアウトカップリングさせるように構成され、ここで、前記イメージビームは前記ユーザに見せるために、前記探査ビームは前記ユーザの目からの反射を検出するために、それぞれアウトカップリングさせられる、
装置が提供される。

【0007】

本開示の全ての実施例を必ずしも含まないが、少なくとも一部の実施例によれば、
第１の波長領域の光のイメージビームを生成するように構成され、更に第２の波長領域の光の探査ビームを生成するように構成される、手段と；
一つ又は複数のインカップリング回折手段、及び、一つ又は複数のアウトカップリング回折手段を備える一つ又は複数の導光手段と；
を備える装置であって、
前記一つ又は複数のインカップリング回折手段は、前記イメージビーム及び前記探査ビームを受光し、両ビームを一つ又は複数の導光手段にインカップリングさせるように構成され、
前記一つ又は複数のアウトカップリング回折手段は、前記イメージビーム及び前記探査ビームを前記一つ又は複数の導光手段からユーザの目へアウトカップリングさせるように構成され、ここで、前記イメージビームは前記ユーザに見せるために、前記探査ビームは前記ユーザの目からの反射を検出するために、それぞれアウトカップリングさせられる、
装置が提供される。

【0008】

こうした装置の実施例は、デバイス用モジュールとして、又はデバイス自体として提供されてもよい。デバイスは、携帯型、装着型、頭部装着型の少なくとも一つで使用されるように構成されてもよい。装置の実施例によっては、表示機能と注視追跡機能の両方を提供し、ニアアイディスプレイ（ＮＥＤ）と共に使用されるように構成される。

【0009】

本開示及び添付の特許請求の範囲の実施例は、当業者にとって明らかな仕方で適切に組み合わせることができる。

【図面の簡単な説明】

【0010】

本開示の詳細な説明と特定の実施形態の理解に有用な本開示の種々の実施例を更によく理解するために、一例として次の添付図面を参照する。

【図1】本開示に従う装置の実施例を概略的に示す。

【図2】本開示に従う装置の更なる実施例を概略的に示す。

【図3】本開示の実施例を使用するのに適切な回折光ライトガイドの実施例を概略的に示す。

【図4】本開示に従う装置のまた更なる実施例を概略的に示す。

【図5A】本開示の実施例を使用するのに適切な光変調器の実施例を概略的に示す。

【図5B】本開示の実施例を使用するのに適切な光変調器の実施例を概略的に示す。

【詳細説明】

【0011】

本開示に従う装置の実施例を、添付図面を参照して説明する。図面では、同一の事項を示すために同一の参照番号が用いられている。どの図面においても明瞭となるように、必要な参照番号のみが記載されている。

【0012】

図1は、本開示の実施例に従う装置１００のブロック図を概略的に示す。図１は、装置の動作を記述するために必要な機能コンポーネントに焦点を当てている。

【0013】

装置１００は、第１の波長領域の光１０２を受光し、それからイメージビーム１０３を生成するように構成される光変調器１０１を備える。光変調器１０１は更に、第２の波長領域の光104を受光し、それから探査ビーム105を生成するように構成される。

【0014】

装置１００は更に、一つ又は複数のインカップリング回折素子領域１０７と一つ又は複数のアウトカップリング回折素子領域１０８を備える一つ又は複数のライトガイド１０６を備える。一つ又は複数のインカップリング回折素子領域１０７は、イメージビーム１０３と探査ビーム１０５を受光し、それらのビームを一つ又は複数のライトガイド１０６にインカップリングさせるように構成される。一つ又は複数のアウトカップリング回折素子領域１０８は、イメージビーム１０３と探査ビーム１０５を一つ又は複数のライトガイド１０６からユーザの目１１０へアウトカップリングさせるように構成される。ここで、イメージビーム１０９はユーザに見せるために、探査ビーム１１１はユーザの目１１０からの反射を検出するために、それぞれアウトカップリングさせられる。

【0015】

前述のコンポーネントの各々は、それぞれのコンポーネントに対応する機能を実行するように構成される素子やデバイス、機構、手段の何れか一つ又は複数でもよい。こうしたコンポーネントは以降でより詳しく説明される。図１のコンポーネントブロックは機能的なものであり、描かれた機能が単一の物理的実体によって実行されてもよく、そうでなくてもよい。例えば、光変調器１０１は複数のコンポーネントの集合又は組合せに対応してもよい。これは特に、図５A又は図５B等で示されている。その結果、ブロックは特定された機能を実行する手段の組み合わせをサポートする。

【0016】

光変調器１０１は、第１及び第２の波長領域の入射光１０２・１０４を変調又は変更してイメージ又はパターンを伝え、可変イメージ又はパターンを含む一つ又は複数の平行ビーム１０３・１０５を生成するように構成される光変調／変更手段を備えてもよい。光変調器１０１は、光学エンジンや光エンジン、マイクロディスプレイ、光学系（拡大光学系、平行光学系等）、プロジェクタ、デジタルライトプロセッシング（ＤＬＰ）システム、エルコス（ＬＣｏＳ：liquid crystal on silicone）、網膜走査ディスプレイ、レーザー走査ディスプレイ、（走査／網膜走査用等の）微小電子機械（ＭＥＭ）システムの一つ又は複数を含んでもよい。光変調器１０１は、ある実施例では、反射型ディスプレイや透過型ディスプレイ、放出型ディスプレイでもよい。

【0017】

実施例によっては、光変調器は、第１及び第２の波長領域の光を受光してそれらからイメージビームと探査ビームを生成する代わりに、第１の波長領域の光をイメージビーム、第２の波長領域の光を探査ビームとしてそれら自体を生成できるように構成されてもよい。例えば、光変調器は一つ又は複数の表示素子を備え、表示素子それ自体が画素化されたイメージ又は探査のパターンを生成し、このパターンは、一つ又は複数のライトガイドにインカップリングさせるために、光学装置を経由してＯＬＥＤディスプレイやＬＥＤアレイディスプレイ等に投影されてもよい。

【0018】

イメージビーム１０３は平行光ビームを含んでもよい。平行光ビームは、像を見て知覚できるように拡大されてユーザの目１１０に導かれる。像は光変調器１０１によって、イメージビーム１０３を形成する光１０２に与えられる。第１の波長領域の光１０２が一つ又は複数の可視光色チャネル、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の一つ又は複数を含む場合、イメージビーム１０３もそれに応じて、電磁スペクトルの可視領域内の光、例えば、Ｒ、Ｇ、Ｂの一つ又は複数を含んでもよい。ある実施例では、一つ又は複数のイメージビームは、異なる色チャネルの像に対応して生成されてもよい。例えばＲ、Ｇ、Ｂの一つ又は複数が、それぞれの色チャネルで受光された光から生成されてもよい。

【0019】

探査ビーム１０５は、ユーザの目１１０に反射させるために拡大されてユーザの目に導かれる平行光ビームを含んでもよい。ある実施例（図２を参照）では、こうした反射は検出され、目１１０の注視又は視線方向を決定するために部分的に使用される。光変調器１０１は、探査ビーム１０５を形成する光１０４に対して可変のパターンや像、形状、サイズを与えてもよい。第２の波長領域の光が赤外線を含む場合、探査ビームもそれに応じて、電磁スペクトルにおける赤外線領域内の光を含んでもよい。

【0020】

一つ又は複数のライトガイド１０６は、ビームをライトガイドに又はライトガイドから回折させる回折光学素子等の一つ又は複数の手段を備える導光手段を備えてもよい。ライトガイドは例えば、一つ又は複数の実質的に平面の基板でもよい。こうした基板は、基板の下面又は上面に配置された、あるいは基板内部にも配置された一つ又は複数の領域や回折素子／回折格子／回折溝を備える。ライトガイドは、入射ビーム１０３・１０５を一つ又は複数の方向に拡大されるように構成される射出瞳拡大器でもよい。ライトガイドは透明でもよく、装置は、ユーザがその装置又はライトガイドを通じて仮想イメージ又は仮想世界を見ながら現実世界も見ることができるように構成されてもよい。

【0021】

装置の実施例は、ディスプレイ・注視追跡統合デバイスの複雑さを減らし、こうした統合を改善し、必要部品を減らせる。その結果、種々の部品の共有又は再利用を可能にすることによって、装置を軽くしてサイズも小さくできる。これにより、統合型ニアアイディスプレイ及び注視追跡のための小型で効率的な装置の提供が可能となる。例えば、イメージビーム１０３を生成する光変調器１０１は、探査ビーム１０５の生成にも使用される。別の実施例では、イメージビーム１０３用発光光源が、探査ビーム１０５用の光の発生にも使用される。

【0022】

探査ビーム１０５の生成に光変調器１０１を使用することによって、探査ビームのパターンや形状、サイズを動的に変更できてもよい。探査ビームのこうした制御は、探査ビームの形状やサイズ、パターン、像を複雑可変なものにできる。また、探査ビームは最適な方向と測定結果が得られるように使用中でも動的に調整可能で、それによって、注視追跡の較正を簡素化させるだけでなくよりロバストな注視追跡を可能にする。

【0023】

さらに、実施例（図１を参照）は、イメージビーム１０３と探査ビーム１０５の両方をインカップリングさせる又はアウトカップリングさせる、あるいはその両方を行うために、一つ又は複数のインカップリング回折素子１０７、一つ又は複数のアウトカップリング回折素子１０８の何れか又は両方を共有可能又は利用可能にする。その結果、光学部品の数を減らし、これまでイメージビームと探査ビームの各々を別々にかつ独立に導くために必要とされてきた可能性のある部品で構成される複雑さも軽減できる。

【0024】

また更に、実施例によっては（図５Ａ等を参照）、イメージビーム１０３用の光１０２と探査ビーム１０５用の光１０４の両方を同時に発生する統合光源１０２の使用も可能である。その結果、装置の部品数（そして装置の重量、サイズ、複雑さも）を減らせる。

【0025】

図１の実施例において、ライトガイド１０６は、対面する第１及び第２の面を有する、光学材料から成る基板を備える。基板は、インカップリング回折素子１０７の領域とアウトカップリング回折素子１０８の領域を備え、これらの領域は、例えば平面基板の何れかの端で基板の横方向に沿って互いに離隔されていてもよい。インカップリング回折素子領域は、一つ又は複数光学ビーム、即ち、イメージビーム１０３（"イメージ表示ビーム"）又は探査ビーム１０５（"注視追跡探査ビーム"）を受け取り、入射光学ビームを実質的に第１の面と第２の面の間で回折させるように構成される。こうして、基板内部において全反射によりアウトカップリング回折素子領域１０８にカップリングする回折光学ビームを与えるようになる。アウトカップリング回折素子領域は、出力光学ビーム、即ち、イメージ表示ビームの出力１０９又は注視追跡探査ビームの出力１１１を出すために、基板からの回折光学ビームを更に回折させるように構成される。

【0026】

アウトカップリング回折素子１０８は、基板から回折光学ビームを出力するだけでなく、特定方向で回折光学ビームを拡大するように構成されてもよい。二つの方向に拡大可能である出力ビーム１０９・１１１を出すように、回折光学ビームを別の方向に拡大する追加の回折素子（例えば、図３に示される３１６ａ）が提供されてもよい。

【0027】

実施例によっては、インカップリング及びアウトカップリング素子は、回折格子や回折溝以外の光学的方法に基づいてもよい。こうした方法には例えば、体積ホログラムや体積格子、半透鏡構造等がある。

【0028】

図１の装置は、単眼装置の概略図を示す。ただし、装置が双眼鏡の形態で構成可能であることも理解されるべきである。こうした双眼鏡形態は、２台の装置１００をユーザの両目のそれぞれに使用することに対応しうる。例えば、（図２に示したもののように）図１に示された装置１００をユーザの右目に、装置１００の鏡像版をユーザの左目にそれぞれ提供することに対応する。こうした横方向に隣接する二つのライトガイドを使用する代わりに、単一のライトガイドであって、その両端に二つのアウトカップリング回折素子領域を備え、この領域の間にインカップリング回折素子領域を有する単一ライトガイドを提供してもよい。ここで、インカップリング回折素子領域は、二つの回折入射光学ビームを提供し、その一方は二つのアウトカップリング回折素子領域の一方、例えば、ライトガイドの左側端にカップルし、もう一方の回折入射光学ビームはもう一つのアウトカップリング回折素子領域、即ち、ライトガイドの右側端にカップルするように構成される。

【0029】

図１は、一つのインカップリング回折素子領域１０７を具備する単一回折ライトガイド１０６を示す。インカップリング回折素子領域１０７は、第１の波長領域（例えば、電磁スペクトルの可視領域）の光と第２の波長領域（例えば、電磁スペクトルの赤外線領域）の光を回折させるように構成される。その結果、回折素子領域１０７は、イメージ表示ビームと注視追跡探査ビームの両方をインカップリングさせるように構成可能である。すなわち、回折素子領域は、電磁スペクトルの赤外線及び赤、緑、青の各色チャネル領域の各々を回折可能に（又は、少なくとも回折に対して許容効率を有するように）、あるいは、色チャネルの一部を回折可能に構成される。ただし、可視スペクトルの他の色チャネル又は色割当も想定可能である点も理解されるべきである。同様に、単一のアウトカップリング回折素子領域１０８も、対応する幅広い波長領域をアウトカップリングさせるように構成されてもよい。

【0030】

広い波長領域の入射ビーム１０３・１０５をインカップリングさせる単一のインカップリング回折素子領域を使用する代わりに、複数のインカップリング回折素子領域をそれぞれライトガイドの空間的に別々の領域に備えつけ、その各々が特定の狭い波長領域を回折させるように構成及び最適化されていてもよい。例えば、一つ又は複数の色チャネルが赤外線、赤、緑、青であって、一つ又は複数のアウトカップリング回折素子領域によって基板からアウトカップリングさせるために、基板内部でこうした波長を持つ光の一つ又は複数の回折光学ビームを提供してもよい。

【0031】

同様に、複数のアウトカップリング回折素子がライトガイドに具備され、その各々が特定の狭い波長領域の光を回折させ、ライトガイドからアウトカップリングさせるように構成されてもよい。

【0032】

さらに別の代替例では、（一つ又は複数のインカップリング回折素子領域及び一つ又は複数のアウトカップリング回折要素領域を有する）単一ライトガイドを有する代わりに、複数のライトガイドが、例えば垂直配向で互いの上面に積まれて提供されてもよい。こうした積層ライトガイドの各々は、一つ又は複数のインカップリング又はアウトカップリング回折素子領域を有し、一つ又は複数の特定の色チャネルをインカップル又はアウトカップリングさせるように構成・最適化可能である。したがって、ライトガイド１台当たりのインカップリング及びアウトカップリング回折素子領域の数、積層するライトガイドの数の可能な組合せには様々なものが想定されることも理解すべきである。

【0033】

図２は、積層ライトガイド１０６ａ・１０６ａ'から成る右側のセットと積層ライトガイド１０６ｂ・１０６ｂ'から成る左側のセットを合わせ持つ双眼鏡形態の装置２００を示す。簡略化のため、以降では装置の右側の構成のみに焦点を合わせて説明する。装置の左側にも同じコンポーネント（ただし、対応する参照番号には"ａ"ではなく"ｂ"が付けられる）が具備されることを理解すべきである。

【0034】

二つの積層ライトガイド１０６ａ・１０６ａ'の一方は、スペクトルの緑及び青等の可視光をインカップリングさせ、拡大し、アウトカップリングさせるように構成・最適化される。もう一方のライトガイドは、赤外線と赤の可視光をインカップリングさせ、拡大し、アウトカップリングさせるように構成・最適化される。

【0035】

他の配置も容易に想定されることを理解すべきである。特に、複数の積層ライトガイドにおいて各ライトガイドがそれぞれ青、緑、赤、赤外線の何れかに最適化されてもよく、あるいは、図１と同様の単一ライトガイドが赤外線、赤、緑、青（ＲＧＢ）全ての光ビーム波長をインカップル・アウトカップリングさせるように具備されてもよい。また、ＲＧＢに対して最適化されたライトガイドが別の赤外線用ライトガイドを具備することもできる。こうした赤外線に最適化されたライトガイドは、ＲＧＢライトガイドよりも薄くなるように製造可能である。また、他の統合された使用に合わせて構成されてもよい。こうした使用とは、保護素子や顔又は目の動き検出のための電気容量測定面、ＬＣシャッタ、ホットミラー等としての使用であり、以降で詳述する。

【0036】

単一光源２１２ａは、イメージ表示ビーム１０３（即ち、可視光）と注視追跡探査ビーム（即ち、赤外線）の両方の光１０２・１０４を発する。可視光と赤外線の両方を同時に発光するこうした光源は、シリコンベース光源に搭載したレーザー結晶に相当してもよく、図５Ａに関連して詳述する。あるいは、可視光と赤外線の両方を同時に発光する光源を用いる代わりに、可視光と赤外線を独立して発光する別々の光源が具備されてもよい。例えば、別々の光源が可視光と赤外線をそれぞれ発光するように構成されてもよい。特に、別々の赤、緑、青、赤外線ＬＥＤが互いに隣接して配置され、それぞれ別個に独立して制御又は切換えが可能であって、表示イメージを生成する場合、可視光のみが発光されて光変調器で受光され、同様に、注視追跡探査ビームを発生する場合、赤外線のみが発光されて光変調器で受け取られる。

【0037】

光源２１２ａは、第１の波長領域の光１０２と第２の波長領域の光１０４も発し、それぞれが光変調器２０１ａに入射する。光変調器は、この入射光からそれぞれイメージ表示ビーム１０３と注視追跡探査ビーム１０５を生成する。光源を集束、コリメートして光のビームにするために、レンズや鏡、ＭＥＭシステム等の追加光学系が他の機構と共に具備されもよい。こうした光のビームは更に、インカップリング回折素子の中に走査又はラスターされてもよい。

【0038】

光変調器２０１ａからのイメージ表示ビームは、第１のインカップリング回折素子領域１０７ａに入射して第１のライトガイド１０６ａにインカップリングされ、ユーザの目１１０に向かって行くように、（ライトガイド１０６ａ'内部を伝播して）アウトカップリング回折素子１０８ａを経由してアウトカップリングされる。第１のライトガイドは、可視光スペクトルの緑及び青領域でイメージ表示ビームの光をインカップル、拡大、アウトカップル可能に構成・最適化されてもよい。別のライトガイド１０６ａ'には、インカップリング回折素子１０７ａ'とアウトカップリング回折素子１０８ａ'が具備されてもよい。これらの回折素子は、可視光スペクトルの赤領域でイメージ表示ビームの光をインカップル、拡大、アウトカップリングさせるように構成・最適化される。第２のライトガイド１０６ａ'は更に、出力注視追跡探査ビーム１１１を提供するために、赤外線をインカップル、拡大、アウトカップリングさせるように構成・最適化されてもよい。出力ビームはユーザの目に入射し、そこから反射される。

【0039】

ユーザの目からの注視追跡探査ビームの反射光２１４、即ち、赤外線によるユーザの目の像／映像を検出する赤外線検出器／センサ又はカメラのような検出器２１３が具備されてもよい。赤外線注視追跡探査ビームのこうした反射光２１４の検出及び測定は、ユーザの注視を計算して決定するコントローラ２１５によって部分的に使用されてもよい。

【0040】

実施例によっては、ユーザの瞳孔の位置など目に関する他の特徴も測定及び捕捉されてもよい。実施例によっては、赤外線検出器又はアイカメラが、参照反射光又は閃光２１４の捕捉と測定だけでなく、瞳孔位置の捕捉と測定に使用されてもよい。
この決定は、検出された瞳孔位置に対する参照反射光２１４の検出位置によって行われてもよい。注視方向の変化の検出には、瞳孔と参照反射光の間の相対的動きの差を用いることができる。

【0041】

注視の決定は、生成された注視追跡探査ビームに依存しても、即ち、生成され出力された赤外線注視追跡探査ビームの一つ又は複数の特性が考慮されてもよい。例えば、ユーザの目からの反射前における最初の形状やサイズ、強度を、反射後に検出された注視追跡探査ビームの形状、サイズ、強度と比較してもよい。

【0042】

コントローラ215の実装は、ハードウェアのみ（例えば、一つ又は複数のプロセッサを備える処理回路、一つ又は複数のメモリ素子を備えるメモリ回路のような回路）におけるものとすることができ、ファームウェアのみを含んだソフトウェアにおける特定の態様を有する、あるいは、ハードウェア及び（ファームウェアを含んだ）ソフトウェアの組合せとすることが可能である。

【0043】

コントローラ２１５は、一つ又は複数の光源２１２ａ及び光変調器２０１ａを制御してイメージ表示ビーム及び注視追跡探査ビームをそれぞれ制御可能にするために使用されてもよい。生成された注視追跡探査ビームは、例えば、検出された反射注視追跡探査ビームに応じてそのサイズや形状が修正されてもよい。反射注視追跡探査ビームの検出からのこうしたフィードバックは、装置の較正を助け、注視追跡探査ビームのパターンや形状、サイズをそのときの使用状況に合わせて最適化できる。

【0044】

図２は、ユーザの片目、即ち右目の注視を検出する単一の検出器２１３を示しているが、これとは別に、あるいはこれに加えて、ユーザの別の目の注視を決定するように構成を変更できる。図２は、ユーザの片目、即ち右目の注視を検出する単一の検出器２１３を示しているが、これとは別に、あるいはこれに加えて、二台以上の検出器でユーザの目の注視を決定するようにも構成変更である。図２は、二つの光源２１２ａ・２１２ｂと二台の変調器２０１ａ・２０１ｂを示しているが、二つのインカップリング回折素子領域１０７ａ・１０７の各々に入射するイメージ表示ビームと探査ビームを生成するために、単一の光源、単一の光変調器の何れか又は両方が具備されてもよい。

【0045】

図２の装置では、可視光・赤外線複合光源が使用されている。すなわち、複合光源は可視光と赤外線の両方を同時に発光するものであり（これは、可視光と赤外線を別々に独立して発光し、それによって可視光と赤外線の発光が別々に独立して制御可能である構成とは対照的である）、装置は更に、可視光（又はその中の一部の色チャネル）と赤外線の何れかを選択的にフィルタして除去する選択的制御可能なフィルタを備えてもよい。

【0046】

実施例によっては、例えば、赤外線用に最適化されたライトガイド（赤外線最適化ライトガイド）がＲＧＢ用に最適化されたライトガイド（ＲＧＢ最適化ライトガイド）の下にある（そして、ＲＧＢ最適化ライトガイドよりも目の近くに配置されている）場合、ＲＧＢ最適化ライトガイドのインカップリング領域と赤外線最適化ライトガイドのインカップリング領域の間にパッシブ赤外線パスフィルターを配置でき、例えば、赤外線ライトガイドに対するＲＧＢ光のインカップリングを減らせる。あるいは別の実施例において、例えば、ＲＧＢ最適化ライトガイドが赤外線最適化ライトガイドの下にある（そして、赤外線最適化ライトガイドよりも目の近くに配置されている）場合、関連するインカップリング領域の間に赤外線遮蔽フィルタを配置でき、例えば、ＲＧＢライトガイドに対する赤外線のインカップリングを減らせる。

【0047】

実施例によっては、ライトガイドと外部環境又は外界／現実世界との間に液晶（ＬＣ）シャッタを配置できる。例えば、液晶シャッタは、装置の外部ハウジングに選択的透過領域の一部を形成でき、装置を通じて選択的に現実世界が見えるように構成可能である。シャッタの透過率の調節により、そのシャッタと透明ライトガイドを通じて目に届く周辺光の量が制御される。実施例によっては、液晶シャッタは赤外線最適化ライトガイドに組み込み可能であり、この場合、一つ（又は複数）のＲＧＢ最適化ライトガイドと外部環境又は外界／現実世界の間にライトガイドが配置され、それによってライトガイドから目に届くＲＧＢ光を遮らないようにしてもよい。

【0048】

実施例によっては、赤外線注視追跡探査ビームをインカップル、拡大、アウトカップリングさせるライトガイド１０６ａ'は、それを透過する赤外線を選択的にフィルタできるように構成されてもよい。ライトガイド１０６ａ'は、それを透過する赤外線の選択的に遮蔽しつつ、可視光を透過させるようにする液晶シャッタとして動作するように構成されてもよい。

【0049】

イメージ表示ビームが生成されて出力される場合、赤外線を遮蔽するために選択的制御可能なフィルタが使用されてもよい。それによって、イメージ表示ビーム出力をユーザに見せている間、ユーザの目には可視光のみが入射するようになる。同様に別の実施例では、可視光が選択的にフィルタ又は遮蔽、切換えされ、それによって、赤外線注視追跡探査ビームを出力するとき、赤外線注視光追跡探査ビームのみが生成され、ユーザの目に入射してもよい。

【0050】

図３は、本開示の実施例を使用するのに適切なライトガイド３０６ａ・３０６ｂの実施例を概略的に示す。例えば、ライトガイド３０６ａ・３０６ｂは、図２のライトガイド１０６ａ・１０６ｂ又は１０６ａ'・１０６ｂ'として使用されるように構成されてもよい。

【0051】

ライトガイド３０６ａは、入射ビーム３０５ａを基板にインカップリングさせるインカップリング回折領域３０７ａを備える。ビームは回折素子領域３１６ａでｙ軸方向に拡大され、次いでｘ軸方向に拡大され、アウトカップリング回折要素３０８ａを経由してライトガイドからアウトカップルさせられ、出力ビーム３１１ａを生成できる。入射光学ビーム３０５ａは、イメージ表示ビーム（又は、イメージ表示ビームの成分、例えば、その中の赤や緑、青の成分）又は赤外線注視追跡探査ビームに対応してもよい。

【0052】

図２の装置において、反射注視追跡探査ビーム２１４は、検出器に到達して検出されるために、積層ライトガイド１０６ａ'・１０６ａを経由して伝播しなくてはならない。図４は、こうした問題を回避する装置４００を概略的に示す。

【0053】

図４は、装置をユーザの頭部に保持する支持部材又はアーム４１８を有する眼鏡又はゴーグルの形態である装置を概略的に示す。この実施例では、検出器４１３はライトガイドに配置されていない。その代わり、赤外線を反射するように構成される鏡又はホットミラーのような反射体素子４１７が具備される。こうした反射体素子は、例えばライトガイドの内側、即ち、下側ライトガイドの内部又は下面に具備される。反射体素子は目の前方であれば任意の場所に配置可能で、ライトガイドの層の反対側でもよい。

【0054】

反射体は、反射注視追跡探査ビームを検出器４１３に更に反射させる４１９ように構成され、それによって、検出器の位置に対応する高い柔軟性を持たせられる。この実施例では、検出器は、支持アーム４１８のような装置のハウジングの一部に配置される。反射体４１７は更に、検出器４１３に向かう反射注視追跡探査ビーム２１４を集光させるための屈折力を有するように構成されてもよい。

【0055】

図５Ａは、可視光・赤外線混合又は高集積光源５１２を備える装置５００の実施例を概略的に示す。こうした光源５１２は、レーザープロジェクタエンジンとして使用されてもよい。レーザーダイオード５２１は赤外線を発光し、赤外線はレンズ５２２によって周期的分極反転ニオブ酸リチウム（ＰＰＬＮ）のような非線形結晶５２３に集光される。非線形結晶は表面ブラッグ格子を備え、それによって、赤外線は赤、緑、青の可視光波長に変換される。ただし、一部の赤外線はこうした変換の影響を受けずに非線形結晶を通過する。従来のレーザープロジェクションエンジンは、こうした変換されない赤外線（非変換赤外線）を遮蔽することがよくあり、これが望ましくないノイズ信号になると考えられている。しかし、こうした非変換赤外線は、本願の適用実施例においては赤外線照射源として有利に用いることができる。その結果、光源５１２は可視光と赤外線の両方を同時に発光する。これらは光変調器５０１に入射して、コントローラ５１５の制御の下、入射した可視光と赤外線からそれぞれイメージ表示ビームと注視追跡探査ビームを連続して生成できる。選択制御可能フィルタ又はシャッタは、イメージ表示ビームが生成されているとき、赤外線を選択的にフィルタ又は遮蔽するために使用されてもよい。同様に、このフィルタ又はシャッタは、注視追跡探査ビームが生成されているとき、可視光を選択的にフィルタ又は遮蔽するために使用されてもよい。

【0056】

光変調器５０１は二軸走査鏡を備え、この二軸走査鏡は、光源からの可視光に像を与えてイメージ表示ビームを生成するために使用できる。また光変調器は、光源からの赤外線に所定のパターンを与えて注視追跡探査ビームを生成するために使用できる。

【0057】

図５Bは、別の光源５１２と別の光変調器５０１を備える装置５３０を概略的に示す。光源５１２は、可視光（及びその一部の光成分チャネルの何れか又は両方）と赤外線を独立かつ別々に発生するように構成される。光源５１２は、一つ又は複数の別々の光源に対応してもよく、例えば、赤、緑、青、赤外線の各ＬＥＤで、コントローラ５１５の制御下で独立に動作可能であるＬＥＤでもよい。ＬＥＤからの光は、ビームスプリッタ５３２を経由して反射型マイクロディスプレイ５３１に導かれる。マイクロディスプレイから反射した変調／変化光は次に、プリズム５３３に導かれてそこからライトガイド５０６のインカップリング回折素子領域５０７に反射され、アウトカップリング回折要素領域５０８を経由してユーザの目１１０にアウトカップリングされる。ユーザの目から反射されるアウトカップリング光を検出するように構成される検出器５１３も具備される。

【0058】

前述において種々説明された複数の装置が単一のモジュールで提供されてもよい。本願で記載するように、「モジュール」という用語は、装置のユニットであって、エンドメーカーやユーザによって追加されるパーツ／部品を除いたものを表わす。

【0059】

実施例によっては、装置がデバイスとして提供され、このデバイスが携帯型、装着型、頭部装着型の少なくとも一つで使用されるように構成されてもよい。デバイスは、表示及び注視追跡以外の機能を提供するように構成されてもよい。例えば、デバイスは追加的に、オーディオ／テキスト／ビデオ通信機能（例えば、電話通信，ビデオ通信，及び／又はテキスト通信，ショートメッセージサービス（SMS）／マルチメディアメッセージサービス（MMS）／電子メールの機能）；インタラクティブ／非インタラクティブ表示機能（例えば、ウェブ閲覧，ナビゲーション，テレビ／番組表示の機能）；音楽録音／再生機能（例えば、Moving Picture Experts Group-1 Audio Layer 3（MP3）や他のフォーマット及び／又は（周波数変調／振幅変調）ラジオ放送の録音／再生）；データのダウンロード／設定機能；画像録画機能（例えば、（内蔵の）デジタルカメラ）；ゲーム機能の一つ又は複数を提供するように構成されてもよい。

【0060】

装置は、眼鏡やゴーグル等のＮＥＤデバイスの一部であってもよい。ただし、こうした眼鏡やゴーグルが本開示の実装例から利益を享受するＮＥＤデバイスの単なる例であることを理解すべきであり、それ故、本開示の範囲を制限するものと受け取られてはならない。例えば、装置はバイザーやヘルメットのような他の形態をとってもよく、とりわけハンドデバスや形態デバイスのような他の電子デバイスに実装されてもよい。

【0061】

前述のように装置が種々のコンポーネントを備えるという観点で装置の実施例が説明されてきたが、こうしたコンポーネントが装置において対応する処理素子やプロセッサ、回路として具現化、あるいは制御可能であることを理解すべきである。

【0062】

なお本願において使用される「回路（circuitry）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む），ソフトウェア，一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

【0063】

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（circuitry）」という用語は、単独（または複数）のプロセッサだけの実装やプロセッサの一部，付随するソフトウェアおよび／またはファームウェアによる実装も網羅するものである。

【0064】

これまでに記述してきた事項は、明示的に記述された組合せだけでなく、それ以外の組合せで用いられてもよい。

【0065】

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。特定の実施例を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施例で用いられてもよい。本開示の様々な実施例がこれまでの段落において説明されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱せずに、こうした実施例を変形することができる。

【0066】

本明細書において「含む、備える（comprise）」という用語は、排他的な意味ではなく、包括的な意味で使用される。「Ｙを含むＸ」に関しては全て、「Ｘは１つのＹしか含むことができない」又は「複数のＹを含むことができる」を意味する。排他的な意味を有する「含む、備える（comprise）」を意図する場合は、「〜を１つのみ含むこと」又は「〜から成る」と言及することにより、文脈内で明確にされよう。

【0067】

本記述において、「カップル／カップリング／結合（couple）」、「接続（connect）」、「通信（communication）」などの語句、及びこれらの派生的語句は、動作上のカップル／カップリング／結合、接続、通信を意味する。当然のことながら、介在するコンポーネンツは（介在するコンポーネンツが何もない場合も含め）任意の数または組合せで存在できる。

【0068】

本明細書では、様々な例への参照がなされてきた。実施例に関する特徴または機能の説明は、これらの特徴または機能が、その実施例に認められることを示す。本明細書中の「実施例（example）」「例えば（for example）」「〜できる、〜場合がある（may）」といった単語の使用は、明示的であれ非明示的であれ、特徴及び機能が、少なくとも記載された実施例に存在することを意味する。実施例としての記載及び不記載にかかわらず、これら特徴及び機能が、他の一部または全ての実施例に存在する可能性があるが、必ずしもそうではないことを意味する。このように、「実施例」「例えば」「〜できる、〜の場合がある」は、ある例示群における特定の事例であることを指す。上記特定の事例の特性は、その事例のみの特性である場合、または上記例示群に属する一部の群の特性である場合がある。すなわち、上記特定の事例の特性は、例示群中の例示の全特性とは限らないが特性の一部を含む。

【0069】

本明細書において、「一つの／特定の（特徴、要素／素子、コンポーネント／部品、手段、…）」という表現が示唆することは、「少なくとも一つの（特徴、要素／素子、コンポーネント／部品、手段、…）」として解釈されるものであり、「一つ」と明記されているものと解されてはならない。

【0070】

前述では本開示の実施例の一部が説明されたに過ぎず、当業者であれば、本願においてこれまでに説明してきた構造及び特徴に関する特定の実施例と同等の機能を提供することが可能な別の構造及び方法的特徴が存在し、そうした別の構造及び方法的特徴が簡略化と明確化のために前述の説明から省略されていたのだと分かるであろう。それにも拘わらず、前述の説明は、こうした別の構造及び方法的特徴が本開示の実施例に関する前述の説明で明確に除外されていない限り、同等の機能を提供するような別の構造及び方法的特徴に対する言及を示唆的に含むものとして読まれなくてはならない。

【0071】

前述のように本明細書において、とりわけ重要であると考えられる本開示の実施例におけるこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】