特許 7559815 眼球の傾き位置検知装置、表示装置、及び検眼装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】眼球の傾き位置検知装置、表示装置、及び検眼装置

(51)【国際特許分類】

   A61B 3/113 20060101AFI20240925BHJP

   G02B 27/02 20060101ALN20240925BHJP

   G02B 26/10 20060101ALN20240925BHJP

【ＦＩ】

A61B3/113

G02B27/02 Z

G02B26/10 104Z

【請求項の数】 23

(21)【出願番号】P 2022201974

(22)【出願日】2022-12-19

(62)【分割の表示】P 2018045947の分割

【原出願日】2018-03-13

(65)【公開番号】P2023026500

(43)【公開日】2023-02-24

【審査請求日】2023-01-17

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】三宮 俊

【審査官】北島 拓馬

(56)【参考文献】

【文献】米国特許第０８９５６３９６（ＵＳ，Ｂ１）

【文献】特表２０１７－５３１８１７（ＪＰ，Ａ）

【文献】特開平０７－１０４１７０（ＪＰ，Ａ）

【文献】特開２００２－１３１６９３（ＪＰ，Ａ）

【文献】特開平０１－１８５２４１（ＪＰ，Ａ）

【文献】特開平１０－３１９３４２（ＪＰ，Ａ）

【文献】特表２００７－５２２５２９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１６６１４６（ＵＳ，Ａ１）

【文献】特表２０１４－５３２５４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

Ａ６１Ｂ ５／０６ － ５／２２

Ｇ０２Ｂ ２６／１０ －２６／１２

Ｇ０２Ｂ ２７／００ －３０／６０

(57)【特許請求の範囲】

【請求項1】

眼鏡型支持体又は頭部装着型ウェアラブルデバイスに実装される眼球の傾き位置検知装置であって、
光を射出する複数の発光部と、
前記発光部で射出された光を所定角度で眼球に入射させる、前記眼球の傾き位置を検知するときに可動しない光偏向部と、
前記光偏向部により偏向され前記眼球で反射された光を受光する受光部と、
を有し、
前記光偏向部は、前記複数の発光部から射出された光のそれぞれを、異なる向きで前記眼球に入射させ、
前記複数の発光部から射出された光が前記眼球に至るまでの光路に、前記眼球の傾き位置を検知するときに可動する、前記光偏向部とは別の光偏向部が配置されない
ことを特徴とする眼球の傾き位置検知装置。

【請求項2】

前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスは、人の頭部に直接又は間接的に装着される
ことを特徴とする請求項１に記載の眼球の傾き位置検知装置。

【請求項3】

前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスは、レンズと、フレームと、を備える
ことを特徴とする請求項１又は２に記載の眼球の傾き位置検知装置。

【請求項4】

前記発光部から射出され、前記受光部で検出される光は、前記眼球の傾き位置検知装置で１回又は２回反射される
ことを特徴とする請求項１乃至３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項5】

前記光が前記眼球の傾き位置検知装置で２回反射されるとき、前記反射は、前記眼球の傾き位置を検知するときに可動しない前記光偏向部で行われる
ことを特徴とする請求項４に記載の眼球の傾き位置検知装置。

【請求項6】

前記眼球の傾き位置を検知するときに可動しない前記光偏向部のうち少なくとも１つは、前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスにおける前記眼球の正視方向に交差する面に設けられる
ことを特徴とする請求項１乃至３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項7】

前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスにおける前記眼球の正視方向に交差する面は、前記眼球の正視方向に対して垂直な面である
ことを特徴とする請求項６に記載の眼球の傾き位置検知装置。

【請求項8】

前記発光部から射出された光が、前記眼球の傾き位置を検知するときに可動しない前記光偏向部で反射する位置と、前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスの前記面に対して垂直な平面であって前記発光部を含む平面と、の距離は、前記眼球の傾き位置を検知するときに可動しない前記光偏向部で偏向された光が前記眼球で反射する位置と、前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスの前記面に対して垂直な平面であって前記発光部を含む平面と、の距離よりも近い
ことを特徴とする請求項６又は７に記載の眼球の傾き位置検知装置。

【請求項9】

前記眼球の傾き位置を検知するときに可動しない前記光偏向部のうち少なくとも１つは、前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスにおいて前記発光部が設けられる部材と異なる部材に設けられる
ことを特徴とする請求項１乃至３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項10】

前記発光部は、前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスにおける前記眼球の正視方向に交差する面に向けて光を射出する
ことを特徴とする請求項１乃至３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項11】

前記眼球の傾き位置を検知するときに可動しない前記光偏向部のうち少なくとも１つは、前記発光部から射出した光を前記眼鏡型支持体又は前記頭部装着型ウェアラブルデバイスにおける前記眼球の正視方向に交差する面に向けて偏向する
ことを特徴とする請求項１乃至３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項12】

前記発光部が平面内に配列されている面発光レーザーを有することを特徴とする請求項１乃至１１の何れか１項に記載の眼球の傾き位置検知装置。

【請求項13】

複数の前記発光部間の発光タイミングは所定のタイミングで変化している
ことを特徴とする請求項１乃至１２の何れか１項に記載の眼球の傾き位置検知装置。

【請求項14】

前記受光部は、撮像素子を有することを特徴とする請求項１乃至１３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項15】

前記撮像素子は、撮像面に入射した光の空間強度分布に基づいて光の位置を検出する
ことを特徴とする請求項１４に記載の眼球の傾き位置検知装置。

【請求項16】

前記受光部は、２次元のＰＳＤ（Position Sensitive Detector）を有する
ことを特徴とする請求項１乃至１３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項17】

前記受光部は、所定方向に配列された複数の１次元のＰＳＤ（Position Sens
itive Detector）を有する
ことを特徴とする請求項１乃至１３の何れか１項に記載の眼球の傾き位置検知装置。

【請求項18】

前記発光部と、前記眼球の傾き位置を検知するときに可動しない前記光偏向部と、は同一の基板に配置されている
ことを特徴とする請求項１乃至１７の何れか１項に記載の眼球の傾き位置検知装置。

【請求項19】

前記発光部は第１の基板に配置され、前記眼球の傾き位置を検知するときに可動しない前記光偏向部は第２の基板に配置され、
前記第１の基板と、前記第２の基板とは接触して配置されている
ことを特徴とする請求項１乃至１８の何れか１項に記載の眼球の傾き位置検知装置。

【請求項20】

前記受光部は、前記眼球に対し、前記発光部と同じ側に配置されている
ことを特徴とする請求項１乃至１９の何れか１項に記載の眼球の傾き位置検知装置。

【請求項21】

前記眼球の傾き位置の検知処理を実行する処理手段を有し、
前記処理手段は、前記発光部の発光を制御する発光制御手段と、
前記受光部の出力に基づき、前記眼球の傾き位置を算出する位置算出手段と、
を有し、
前記発光制御手段は、発光させる前記発光部と、前記発光部の発光タイミングと、を制御する
ことを特徴とする請求項１乃至２０の何れか１項に記載の眼球の傾き位置検知装置。

【請求項22】

請求項１乃至２１の何れか１項に記載の眼球の傾き位置検知装置を有する表示装置。

【請求項23】

請求項１乃至２１の何れか１項に記載の眼球の傾き位置検知装置を有する検眼装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼球の傾き位置検知装置、表示装置、及び検眼装置に関する。

【背景技術】

【0005】

角膜の位置を検知して映像の描画位置等にフィードバックするために、眼球上でレーザーを走査するＭＥＭＳ（Micro Electro Mechanical Systems）ミラーと、反射光強度を検出するための光検出器と、検出強度から眼球上の角膜位置を推定する電子回路を備えたアイトラッキング技術が開示されている（例えば、特許文献１、非特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら特許文献１及び非特許文献１の技術では、ＭＥＭＳミラー等の可動構造を有するため、振動や外的衝撃等に起因し、角膜位置等の、眼球の傾き位置の検出精度が低下する場合があった。

【0007】

本発明は、上記の点に鑑みてなされたものであって、振動や外的衝撃に強い、眼球の傾き位置検知装置を提供することを課題とする。

【課題を解決するための手段】

【0008】

開示の技術の一態様に係る技術は、眼鏡型支持体又は頭部装着型ウェアラブルデバイスに実装される眼球の傾き位置検知装置であって、光を射出する複数の発光部と、前記発光部で射出された光を所定角度で眼球に入射させる、前記眼球の傾き位置を検知するときに可動しない光偏向部と、前記光偏向部により偏向され前記眼球で反射された光を受光する受光部と、を有し、前記光偏向部は、前記複数の発光部から射出された光のそれぞれを、異なる向きで前記眼球に入射させ、前記複数の発光部から射出された光が前記眼球に至るまでの光路に、前記眼球の傾き位置を検知するときに可動する、前記光偏向部とは別の光偏向部が配置されないことを特徴とする。

【発明の効果】

【0009】

本発明の実施形態によれば、振動や外的衝撃に強い、眼球の傾き位置検知装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態の瞳孔位置検知装置の構成の一例を示す図である。

【図2】第１の実施形態の瞳孔位置検知装置による瞳孔位置検知の動作の一例を説明する図である。

【図3】第１の実施形態の処理部のハードウェア構成の一例を機能ブロックで示す図である。

【図4】第１の実施形態の処理部が有する構成要素の一例を機能ブロックで示す図である。

【図5】第１の実施形態の瞳孔位置算出部による処理の一例を示すフローチャートである。

【図6】第１の実施形態の瞳孔位置検知装置における瞳孔位置検知の原理検証のために実施した数値シミュレーションを説明する図である。

【図7】第２の実施形態の瞳孔位置検知装置の構成の一例を示す図である。

【図8】第３の実施形態の光偏向手段の一例を示す図である。

【図9】第３の実施形態の配光モジュールを眼鏡型支持体に配置する構成の一例を示す図である。

【図10】第４の実施形態の表示装置の構成の一例を示す図である。

【図11】特許文献１に記載されたアイトラッキング装置の構成を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0012】

実施形態における「眼球の傾き位置」は、眼球の瞳孔や角膜の位置等である。以下では「眼球の傾き位置」を瞳孔の位置とし、「眼球の傾き位置検知装置」を「瞳孔位置検知装置」とした一例を説明する。以下では、「眼球の傾き位置検知装置」を単に「瞳孔位置検知装置」と称する。また「瞳孔位置検知装置」を眼鏡型支持体に実装した場合を一例として説明する。

【0013】

尚、実施形態では、「人」の右目の眼球の瞳孔位置検知装置を一例として説明するが、左目の眼球に対しても同様である。また瞳孔位置検知装置を２つ備え、両目の眼球に対して適用することもできる。

【0014】

［第１の実施形態］
図１は、本実施形態の瞳孔位置検知装置の構成の一例を示す図である。尚、図中に示されている矢印は、Ｘ方向、Ｙ方向、及びＺ方向を示している。

【0015】

図１おいて、瞳孔位置検知装置１０は、光源アレイ１と、レンズ２と、平面ミラー３と、光位置検出素子４と、処理部１００とを有している。光源アレイ１と、レンズ２は、眼鏡型支持体２０の眼鏡フレーム２１に設けられ、平面ミラー３と、光位置検出素子４は、眼鏡型支持体２０の眼鏡レンズ２２に設けられている。処理部１００は、発光制御部１１０と、瞳孔位置算出部１２０とを有している。

【0016】

光源アレイ１は、平面内に２次元的に配列された複数の発光部を有している。尚、「複数の発光部」は、「複数の発光点」、又は「複数の発光素子」と同義である。

【0017】

各発光部は図中上向きに、指向性を有するレーザー光を射出する。光源アレイ１は、例えば、図中上向きを射出方向としたＶＣＳＥＬ（垂直共振器面発光レーザー；Vertical Cavity Surface Emitting LASER）である。但し、これに限定されることはなく、例えば指向性を有するレーザー光を射出する複数のＬＤ（半導体レーザ；Laser Diode）を平面内に２次元的に配列し、光源アレイ１を構成してもよい。

【0018】

光源アレイ１から射出される光の波長は、瞳孔位置を検知される「人」の視認を阻害しないように、非可視光である近赤外光の波長であることが好ましい。但しこれに限定はされず、可視光であっても構わない。

【0019】

レンズ２は、光源アレイ１から射出された光を所定方向に偏向する。レンズ２は、例えば凸レンズであり、通過する光を屈折させることで、通過光を所定の方向に偏向する。光源アレイ１と、レンズ２とは同一の基板５ａに固定されて一体化され、配光モジュール５を構成している。配光モジュール５は、眼鏡型支持体２０の備える眼鏡フレーム２１等の、安定に静止した支持体に固定されている。

【0020】

レンズ２で偏向された光は、平面ミラー３により眼球３０に向けて反射される。平面ミラー３は眼鏡型支持体２０の眼鏡レンズ２２に固定されている。レンズ２による偏向と、平面ミラー３による反射とにより、光源アレイ１からの光は、正視時における眼球３０の瞳孔３１の中心に、所定角度で入射する。レンズ２と平面ミラー３は光源アレイ１からの光を偏向して眼球３０に入射させる機能を有する。レンズ２と平面ミラー３は、「光を所定角度で眼球に入射させる光偏向手段」の一例である。

【0021】

尚、光偏向手段は、レンズ２と平面ミラー３に限定されない。光源アレイ１からの光を所定角度で眼球に入射させることが可能であれば、任意の部材、又は任意の部材の組合せであってもよい。但し光偏向手段として、上記の凸レンズの他、マイクロレンズアレイ、凹型曲面ミラー、ホログラム回折素子、プリズムアレイ、又は回折格子の何れか１つ、又は何れか２つ以上の組合せを用いることで、瞳孔検知範囲の拡大、装置の小型化、瞳孔位置検知装置１０の組み立て負荷低減等の効果が得られる。このような光偏向手段の他の例については、第３の実施形態で詳述する。

【0022】

瞳孔表面（角膜表面）は水分を含む透明体であり、約２～４％の反射率を有するのが一般的である。瞳孔３１付近に入射した光は眼球３０の瞳孔表面（角膜表面）の反射点Ｐで反射され、反射光は光位置検出素子４に入射する。光位置検出素子４は、例えば２次元ＰＳＤ（Position Sensitive Detector）である。

【0023】

尚、ＰＳＤが検知するのは、反射点の法線ベクトルの向き、すなわち３次元形状である。検知された３次元形状と眼球モデルとの対応により瞳孔中心位置が「推定」される。

【0024】

二次元ＰＳＤは、受光面への入射光の位置から、受光面内で直交する２方向において、電極までの距離に応じた電流値を検出し、２方向の電流値の比から入射光の位置を算出して出力する。二次元ＰＳＤは、入射光の光強度に依存せずに、入射光の位置を検出することができる。そのため、眼球３０における反射位置等に起因して反射光量に差が生じたとしても、反射光量の差の影響を受けずに高感度の位置検出が可能である。また光位置検出素子４として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を用いた場合と比較して、位置検出に複雑な画像処理を要さないことから処理負荷を低減できる効果がある。

【0025】

但し、光位置検出素子４は二次元ＰＳＤに限定はされない。Ｘ方向における入射光の位置を検出可能な１次元ＰＳＤをＹ方向に配列させたり、Ｙ方向における入射光の位置を検出可能な１次元ＰＳＤをＸ方向に配列させたりして、入射光のＸＹ平面内での位置を検出してもよい。この場合は、１次元ＰＳＤは２次元ＰＳＤ等と比較して安価であることから、瞳孔位置検知装置１０のコストを抑制できる等の効果が得られる。

【0026】

また、光位置検出素子４としてＣＣＤやＣＭＯＳ等の撮像素子を用い、撮像面に入射した光の空間強度分布に基づく画像処理により、光の位置の検出、又は推定を行っても構わない。

【0027】

尚、光位置検出素子４の受光面に入射する光の位置は、「眼球からの反射光の光位置」の一例である。

【0028】

処理部１００の有する発光制御部１１０は、光源アレイ１と電気的に接続し、光源アレイ１に制御信号を送信する。発光制御部１１０は、制御信号により、光源アレイ１において発光させる発光部と、発光のタイミングとを制御する。つまり複数の発光部において発光部間の発光タイミングは所定のタイミングで変化している。これにより発光制御部１１０は、眼球３０への光の入射角度を時系列に変化させることができる。処理部１００は、「眼球の傾き位置の検知処理を実行する処理手段」の一例であり、発光制御部１１０は、「発光制御手段」の一例である。

【0029】

瞳孔位置算出部１２０は、光位置検出素子４と電気的に接続し、光位置検出素子４の受光面に入射した光の位置に応じて光位置検出素子４が出力する検出信号を受信する。瞳孔位置算出部１２０は、検出信号に基づき、瞳孔３１の位置を算出する。瞳孔位置算出部１２０は、「位置算出手段」の一例である。

【0030】

眼球３０の回旋等の眼球運動により、眼球３０での反射光の方向が変わると、反射光が光位置検出素子４の受光面を外れてしまう場合がある。これを防ぐために発光制御部１１０は、光源アレイ１で発光させる発光部を順次、又は選択的に変更する。発光部が変わると、光源アレイ１において発光部が配列された平面内での発光の位置が変わり、レンズ２と平面ミラー３を介して眼球３０に入射する光の入射角度が変化する。眼球３０への入射角度の変化により、眼球３０で反射され、光位置検出素子４の受光面に入射する光の位置を変化させられる。従って眼球３０の眼球運動に応じて光源アレイ１で発光させる発光部を変化させることで、眼球３０での反射光が光位置検出素子４の受光面から外れることを防止できる。

【0031】

光位置検出素子４が検出する信号は、眼球３０での光の反射位置の変化を示すものである。瞳孔位置算出部１２０は、光位置検出素子４の検出信号に基づき、眼球３０の回旋角及び瞳孔位置を算出する。

【0032】

図２は、瞳孔位置検知装置１０による瞳孔位置検知の動作の一例を説明する図である。図２では、光源アレイ１の位置の異なる２つの発光部から射出された光の振る舞いを示している。一方の発光部からの光１ａは点線で表され、他方の発光部からの光１ｂは一点鎖線で表されている。また、（ａ）は眼球３０の正視時、つまり眼球３０が正面を向いている時を示し、（ｂ）は眼球３０が回旋している時を示している。

【0033】

（ａ）において、点線で示されている光１ａは、眼球３０で反射され、光位置検出素子４の受光面の中央付近に入射している。従って光位置検出素子４は、眼球３０の回旋に応じた、光１ａの受光面への入射位置の変化を検出できる。瞳孔位置算出部１２０は、光位置検出素子４の検出信号に基づき、瞳孔３１の位置を算出することができる。一方、一点鎖線で示されている光１ｂは、眼球３０で反射された後、光位置検出素子４の受光面に入射していない。従って光１ｂは、光位置検出素子４の検出信号に寄与しない。そのため、瞳孔位置算出部１２０は、瞳孔３１の位置を算出することができない。

【0034】

一方、（ｂ）に示されているように、（ａ）に対して眼球３０が大きく回旋した場合、正視時に光位置検出素子４の受光面に入射していた光１ａは、光位置検出素子４の受光面から外れ、光位置検出素子４の検出信号に寄与しなくなっている。そのため、瞳孔位置算出部１２０は瞳孔３１の位置を算出することができない。反対に、光１ｂは、光位置検出素子４の受光面の中央付近に入射している。従って光位置検出素子４は、眼球３０の回旋に応じた、光１ｂの受光面への入射位置の変化を検出できる。瞳孔位置算出部１２０は、光位置検出素子４の検出信号に基づき、瞳孔３１の位置を算出することができる。

【0035】

このように、一つの発光部からの光では、限られた角度範囲でしか眼球３０の眼球運動を検知できないのに対し、本実施形態では、光源アレイ１の発光部を変化させることで、眼球３０への入射角度を変化させ、眼球３０の眼球運動の検知範囲を拡大する。これにより、瞳孔３１の位置の検知範囲を拡大することができる。

【0036】

光源アレイ１の発光部の変化は、眼球３０の眼球運動に応じて、発光制御部１１０からの制御信号により、時系列に行われる。眼球３０の眼球運動に応じて（追従して）発光部を制御することで、光利用効率向上や推定時間の短縮を図ることができる。但し、必ずしも「眼球運動に応じる」必要はない。例えば、眼球運動とは独立に一定時間間隔で発光部位置をラスター走査し、眼球の粗動位置を得ることもできる。

【0037】

図２では説明を簡略化するため、２つの発光部から射出された光のみを例示したが、本実施形態では、眼球３０の眼球運動に応じて、光源アレイ１の備えるさらに多くの発光部を利用することができる。この場合、光位置検出素子４の受光面の大きさと眼球の大きさに応じて、瞳孔３１の位置が適正に検知されるように、光源アレイ１の発光部の数、及び位置は適正化される。

【0038】

図３は、本実施形態の処理部１００のハードウェア構成の一例を機能ブロックで示す図である。

【0039】

処理部１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、入出力Ｉ／Ｆ（Interface）１０４とを有している。これらは、システムバス１０５を介して相互に接続されている。

【0040】

ＣＰＵ１０１は、処理部１００の動作を統括的に制御する。またＣＰＵ１０１は、光位置検出素子４の検出信号に基づき、瞳孔３１の位置を算出する処理を実行する。

【0041】

ＣＰＵ１０１は、ＲＡＭ１０３をワークエリア（作業領域）としてＲＯＭ１０２等に格納されたプログラムを実行することで、上記の制御及び処理を実行し、後述する各種機能を実現する。尚、ＣＰＵ１０１の有する機能の一部、又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（Field-Programmable Gate Array）といったワイヤードロジックによるハードウェアにより実現させてもよい。

【0042】

入出力Ｉ／Ｆ１０４は、ＰＣ（Personal Computer）や映像機器等の外部機器と接続するためのインターフェースである。

【0043】

図４は、本実施形態の処理部１００が有する構成要素の一例を機能ブロックで示す図である。尚、図４に図示される各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、上述のＣＰＵ１０１にて実行されるプログラムにて実現され、或いはワイヤードロジックによるハードウェアとして実現されうる。

【0044】

上述のように、処理部１００は発光制御部１１０と、瞳孔位置算出部１２０とを有している。発光制御部１１０の機能は、上述した通りである。瞳孔位置算出部１２０は、検出信号受信部１２１と、眼球回旋角度推定部１２２と、瞳孔中心位置算出部１２３とを有している。

【0045】

検出信号受信部１２１は、光位置検出素子４が出力する検出信号を受信し、眼球回旋角度推定部１２２に出力する。

【0046】

眼球回旋角度推定部１２２は、光位置検出素子４の検出信号に基づき、眼球３０の回旋角度を推定し、推定した回旋角度を瞳孔中心位置算出部１２３に出力する。

【0047】

瞳孔中心位置算出部１２３は、眼球３０の回旋角度に基づき、瞳孔３１の中心位置を算出する。

【0048】

図５は、本実施形態の瞳孔位置算出部１２０による処理の一例を示すフローチャートである。

【0049】

ステップＳ６１に先立ち、瞳孔位置算出のための事前準備として、光源アレイ１から射出された光が眼球３０に入射する角度が設計され、眼球３０の回旋角度の算出式が決定されている。

【0050】

眼球３０の回旋角度の算出式は、１次関数、又は２次関数の算出式である。但し、これに限定はされない。設計された光線入射角度と光位置検出素子上の反射光線の着地位置から回旋角度が定まる算出式であれば式の形式は問わない。簡単な近似式として、シミュレーションでは２次関数による算出式を採用している。

【0051】

光が眼球３０に入射する角度の設計には、眼球３０の表面形状のモデルが利用される。一般的な眼球表面形状のモデルとしては、略式模型眼などが古くから知られている（例えば、「眼の光学的機構」、精密機械２７－１１、１９６１参照）。

【0052】

平面ミラー３（図１、及び図２参照）は、光源アレイ１から射出された光の集光点に配置されている。平面ミラー３で反射された光は、眼球３０に入射する。眼球３０への入射光は、所定の角度だけ回旋した眼球３０で反射され、光位置検出素子４に向けて伝搬する。この伝搬光が光位置検出素子４の受光面の中心位置に入射するように、眼球３０に入射させる光の角度を、予め光線追跡計算等により算出し、設計しておく。

【0053】

光位置検出素子４の受光面への光の入射位置は、眼球３０への光の入射角度、眼球３０での光の反射位置、及び眼球３０表面の接面の傾きに基づき、理論解析可能である。このような理論解析の解から、多項式近似により眼球３０の回旋角度を推定する逆演算式（近似式）を決定する。

【0054】

以上が、図５のステップＳ６１に先立ち、瞳孔位置算出のために実施される事前準備である。眼球３０に入射させる光の角度と、眼球３０の回旋角度を推定する逆演算式は、処理部１００のＲＯＭ１０２等のメモリに記憶され、発光制御部１１０による発光制御や、瞳孔位置算出部１２０による瞳孔位置算出において、参照され、利用される。

【0055】

図５において、先ず発光制御部１１０は、事前に設計された光の入射角度に応じて、光源アレイ１の発光部の少なくとも１つを、所定のタイミングで発光させる。光位置検出素子４は、光源アレイ１から射出され、眼球３０での反射した光が光位置検出素子４の受光面に入射する位置を検出し、処理部１００に出力する。処理部１００において、瞳孔位置算出部１２０の有する検出信号受信部１２１は、光位置検出素子４の検出信号を受信する（ステップＳ６１）。検出信号受信部１２１は、眼球回旋角度推定部１２２に検出信号を出力する。

【0056】

次に、眼球回旋角度推定部１２２は入力された検出信号（位置データ）を、上述の逆演算式に代入し、眼球回旋角度を算出する（ステップＳ６３）。眼球回旋角度推定部１２２は、算出した眼球回旋角度を瞳孔中心位置算出部１２３に出力する。

【0057】

瞳孔中心位置算出部１２３は、入力された眼球回旋角度に基づき、眼球表面形状のモデルを用いて、瞳孔中心位置を算出する（ステップＳ６５）。

【0058】

このようにして眼球３０における瞳孔３１の位置を検知することができる。

【0059】

図６は、本実施形態の瞳孔位置検知装置１０における瞳孔位置検知の原理検証のために実施した数値シミュレーションを説明する図である。

【0060】

この数値シミュレーションでは、図１において、眼球３０から－Ｚ軸方向に１０ｍｍ離れた平面内に配置された平面ミラー３、及び光位置検出素子４を想定する。眼球３０の回旋角度をＸ方向に５点、Ｙ方向に３点、ともに５°刻みで変化させた場合を、眼球３０の基準角度（θｘ，θｙ）とする。

【0061】

図６の横軸はＸ方向の眼球回旋角度の変化量で、縦軸はＹ方向の眼球回旋角度の変化量である。回旋角度をＸ方向に５点、Ｙ方向に３点、ともに５°刻みで変化させたそれぞれの入射角を基準（角度変化量（０、０））にした値である。

【0062】

数値シミュレーションでは、眼球３０で反射され、光位置検出素子４の中央に入射する光の平面ミラー３の位置での射出角度（平面ミラー３での反射角度）を、眼球３０の基準角度毎に数値演算により求めた。尚、光位置検出素子４の中央は、座標（０、０）として表現される。

【0063】

また、射出角度毎の光と、眼球３０の基準角度（θｘ，θｙ）との差分（Δθｘ、Δθｙ）を、光位置検出素子４の受光面への入射位置（ｘ，ｙ）から推定する逆演算式を用いて２次関数により表現し、その係数をテイラー展開による方法で数値的に算出した。

【0064】

図６（ａ）は、基準角度を（θｘ，θｙ）＝（０°，０°）とした場合、すなわち正視状態を基準角度とした場合の、眼球３０の回旋角度の推定結果を表わすグラフである。（ａ）のグラフにおいて、格子点は実際の眼球３０の回旋角度であり、ドットが推定位置である。眼球３０の回旋角度が小さい場合には、良好な一致が得られている。この場合、｜Δθｘ｜≦２．５°の範囲で、誤差は最大０．１°程度に収まっている。ここで２．５°という数値は、基準角度を５°刻みとした半分の値であり、光が検出されていない領域が生じないための条件を意味している。また、平面ミラー３と光位置検出素子４を平面内でＸ方向に配置した構成を想定したことから、Ｙ方向の誤差はＸ方向よりも小さな値となっている。

【0065】

図６（ｂ）は、基準角度を（θｘ，θｙ）＝（１０°，５°）とした場合、すなわち瞳孔３１の位置が、正視の状態から右上方にある場合の結果である。（ａ）の結果と同等の誤差範囲で、眼球３０の回旋角度が推定されている。

【0066】

上記の数値シミュレーション結果は、眼球３０の回旋角度の推定値を示したものである。眼球３０の回旋角度は、正視の方向であるＺ軸に対し、眼球３０の中心、すなわち回旋の中心位置と角膜の中心位置とを結ぶ直線がなす角度と定義することができる。従って瞳孔３１の位置は、眼球３０の中心位置と角膜の中心位置との距離だけ、眼球３０の中心位置から眼球３０の回旋角度の方向に離れた座標として、算出可能である。尚、眼球３０の中心位置から角膜の中心位置までの距離は、予め眼球モデルで与えられる。

【0067】

このように、図５に示した瞳孔位置算出部１２０の算出処理によって、十分な精度で瞳孔３１の位置を算出できることが、数値シミュレーションにより検証されている。

【0068】

以上説明してきたように、本実施形態によれば、指向性を有する光を射出する発光部を、複数備える光源アレイ１と、発光部からの光の眼球での反射光の位置を検出する検出素子とを有する。光源アレイ１の発光部を所定のタイミングで変化させることで、眼球３０への入射角度を変化させ、瞳孔３１の位置の検知範囲を拡大する。本実施形態では、このような瞳孔位置の検知を、ＭＥＭＳミラー等の可動構造を用いず、非機械式の構成で行っている。これにより、振動や外的衝撃に強い瞳孔位置の検知を実現することができる。換言すると、本実施形態によれば、振動や外的衝撃に強い、瞳孔位置等の眼球の傾き位置検知装置を提供することができる。

【0069】

本実施形態によれば、ＭＥＭＳミラー等の可動部を有さないため、眼球で反射された光のうち、光検出器に到達しない光が多くなることを抑え、光利用効率を向上させることができる。また周辺の環境光等のノイズの影響を抑制することができる。さらに、ＭＥＭＳミラー等のような動的変形がないため、瞳孔の位置の検出精度を、煩雑な調整を行うことなく確保することができる。

【0070】

本実施形態によれば、２次元のＰＳＤ、又は１次元のＰＳＤを光位置検出素子４として用い、眼球に照射した光の反射光の光位置検出素子４の受光面での入射位置を検出する。入射光の光強度に依存せずに、入射光の位置を検出するため、眼球３０における光の反射位置等に起因して反射光量に差が生じても、反射光量の差の影響を受けずに高感度に入射光の位置を検出することができる。その結果、瞳孔等の眼球の傾き位置を高精度に検知できる。

【0071】

また入射光の位置検出にＣＣＤ等の撮像素子を用いないため、画像処理等の処理負荷を低減することができる。そして高速な演算器や大容量メモリ等の高価な構成を用いずに、瞳孔等の位置検知の高速性、及びリアルタイム性を確保することができる。１次元のＰＳＤを光位置検出素子４として用いる場合、瞳孔位置等の眼球の傾き位置検知装置を、低コストで実現することができる。

【0072】

本実施形態によれば、光源アレイ１とレンズ２を同一基板に配置することで両者を一体化する。これにより、眼球の傾き位置検知装置を小型化し、また組み付け負荷を低減することができる。尚、光源アレイ１を配置した第１の基板とレンズ２を配置した第２の基板を接触させることで両者を一体化し、上記の効果を得られるようにしてもよい。

【0073】

本実施形態によれば、光源アレイ１にＶＣＳＥＬを用いるため、ＶＣＳＥＬの発光部を変化させることで、眼球３０への入射角度を変化させ、瞳孔３１の位置の検知範囲を拡大することができる。

【0074】

尚、上記では１つの光源アレイ１を備える構成の一例を示したが、複数の光源アレイを備える構成としてもよい。これにより眼球３０への入射角度を変化させる範囲をさらに拡大し、瞳孔３１の位置の検知範囲をさらに拡大することができる。

【0075】

［第２の実施形態］
次に、第２の実施形態の瞳孔位置検知装置を、図７を参照して説明する。尚、第２の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。

【0076】

図７は、本実施形態の瞳孔位置検知装置１０ｂの構成の一例を示す図である。

【0077】

瞳孔位置検知装置１０ｂは、光源アレイ１とレンズ２を介して眼球３０に入射させた光の逆反射方向に光位置検出素子４を配置している。つまり光位置検出素子４は、眼球３０に対し、光源アレイ１と同じ側に配置されている。

【0078】

第１の実施形態に対して眼球３０への入射位置を異ならせ、反射点Ｐの位置を異ならせることで、上記の配置を実現している。

【0079】

本実施形態によれば、光源アレイ１と、レンズ２と、基板５ａとを有する配光モジュール５を、光位置検出素子４と同一の基板に配置することができ、これらを一体化することができる。これにより、配光モジュール５と光位置検出素子４の相対位置は変わらなくなるため、両者の位置調整を不要とすることができる。

【0080】

尚、これ以外の効果は、第１の実施形態で説明したものと同様である。

【0081】

［第３の実施形態］
次に、第３の実施形態の瞳孔位置検知装置を、図８～９を参照して説明する。尚、第１～２の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。

【0082】

第１～２の実施形態では、光偏向手段として、レンズ２と平面ミラー３を用いる例を示したが、本実施形態ではこれ以外の方法で光偏向を行う例を示している。

【0083】

図８（ａ）は、マイクロレンズアレイ２ａと、反射ミラー２ｂとを有する光偏向手段の一例を示している。配光モジュール６は、光源アレイ１と、マイクロレンズアレイ２ａと、反射ミラー２ｂと、基板６ａとを有している。

【0084】

（ａ）に示されているように、光源アレイ１の発光部とマイクロレンズアレイ２ａの有するレンズとは、１対１になるように配置されている。またマイクロレンズアレイ２ａのレンズの光軸に対して発光部がＸ軸方向及びＹ軸方向にずれて配置され、発光部毎でずれ量が異なっている。このずれ量により、発光部からの光の偏向角度が調整されている。

【0085】

マイクロレンズアレイ２ａを形成した基板を、光源アレイ１の基板上に接触して配置することで、配光モジュール６の小型化、薄型化が可能となる。また、発光部からの光の偏向角度の調整を容易かつ高精度に行うことができる。つまり、眼球３０への光の入射角度の調整を容易かつ高精度に行うことができる。さらに、配光モジュール６は、反射ミラー２ｂを有し、光の折り返しを可能とすることで、マイクロレンズアレイ２ａ等の光学部品の実装を簡略化している。

【0086】

一方、図８（ｂ）は、凹型曲面ミラー２ｃを有する光偏向手段の一例を示している。配光モジュール７は、光源アレイ１と、凹型曲面ミラー２ｃと、基板７ａとを有している。凹型曲面ミラー２ｃを有することで、光学部品の点数を減らすことができ、また光の折り返しを可能とし、光学部品の実装を簡略化している。

【0087】

上記以外にも、光偏向手段として、回折格子やプリズム、ホログラム素子などが利用できる。尚、回折格子とプリズムは基本的には一次元的な偏向素子である。そのため、光偏向手段として回折格子、又はプリズムを用いる場合は、偏向方向が交差する２つ以上の回折格子、又はプリズムを組み合わせて用いたり、回折格子、又はプリズムの偏向面に領域分割構造を設け、交差する２つ以上の方向に光を偏向させたりする必要がある。

【0088】

図９は、図８（ａ）に示されている配光モジュール６を、眼鏡型支持体２０に設けた構成の一例を示している。尚、図９では、光位置検出素子４が眼鏡フレーム２１に配置されているが、光位置検出素子４が配置される位置に制約はなく、眼球３０からの反射光が光位置検出素子４の受光面に入射するように配置されればよい。

【0089】

本実施形態によれば、光偏向手段を、凸型レンズの一部領域、平面ミラー、マイクロレンズアレイ、凹型曲面ミラー、ホログラム回折素子、プリズムアレイ、又は回折格子の何れか１つ、又は何れか２つ以上の組合せとする。これにより眼球３０への入射角度を変化させ、瞳孔３１の位置の検知範囲を拡大することができる。可動部を有さない簡単な構成で光偏向を行うため、眼球の傾き位置検知装置を小型化し、また組み付け負荷を低減することができる。

【0090】

本実施形態によれば、光源アレイ１とマイクロレンズアレイ等の光偏向手段とを同一基板に配置することで両者を一体化する。これにより、眼球の傾き位置検知装置を小型化し、また組み付け負荷を低減することができる。尚、光源アレイ１を配置した基板とマイクロレンズアレイ２ａ等の光偏向手段を配置した基板を接触させることで両者を一体化し、上記の効果を得られるようにしてもよい。

【0091】

尚、これ以外の効果は、第１～２の実施形態で説明したものと同様である。

【0092】

［第４の実施形態］
次に、第４の実施形態の表示装置を、図１０を参照して説明する。尚、第１～３の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。

【0093】

図１０は本実施形態の表示装置５０の構成の一例を示す図である。

【0094】

表示装置５０は、ＲＧＢ（Red、Green、Blue）レーザー光源５１と、走査ミラー５２と、平面ミラー５３と、ハーフミラー５４と、画像生成手段５５と、瞳孔位置検知装置１０ｂとを有している。

【0095】

ＲＧＢレーザー光源５１は、ＲＧＢ３色のレーザー光を時間的に変調して出力する。走査ミラー５２は、ＲＧＢレーザー光源５１からの光を二次元的に走査する。走査ミラー５２は、例えばＭＥＭＳミラーである。ポリゴンミラー、ガルバノミラーなど、光を走査する反射部を有するものであれば良い。小型化・軽量化の点でＭＥＭＳミラーが有利となる。なお、ＭＥＭＳミラーの駆動方式は、静電式、圧電式、電磁式などいずれであっても良い。

【0096】

平面ミラー５３は、走査ミラー５２による走査光を、ハーフミラー５４に向けて反射する。ハーフミラー５４は、入射する光の一部を透過し、一部を眼球３０に向けて反射する。ハーフミラー５４は、凹型の曲面形状を有しており、反射した光を眼球３０の瞳孔３１の近傍に収束させ、網膜３２の位置で結像させる。これにより走査光で形成される画像を網膜３２に投影する。図中破線で示されている光５１ａは、網膜３２上に画像を形成する光を表している。尚、ハーフミラー５４は、必ずしも反射光と透過光の光量が１対１にならなくてもよい。

【0097】

瞳孔位置検知装置１０ｂは、眼球運動に応じた瞳孔３１の位置を検知し、画像生成手段５５に、瞳孔３１の位置のフィードバック信号を送信する。

【0098】

画像生成手段５５は、走査ミラー５２の振れ角制御機能と、ＲＧＢレーザー光源５１の発光制御機能とを有している。また画像生成手段５５は、瞳孔位置検知装置１０ｂから瞳孔３１の位置のフィードバック信号を受信する。瞳孔位置検知装置１０ｂにより検知された瞳孔３１の位置に応じて、走査ミラー５２の振れ角と、ＲＧＢレーザー光源５１の発光を制御し、画像の投影角度、又は画像内容を書き換える。これにより、眼球運動に伴う瞳孔３１の位置の変化に追従（アイトラッキング）した画像を、網膜３２上に形成することができる。

【0099】

上記は、表示装置５０をウェアラブル端末であるヘッドマウントディスプレイ（HMD；Head Mount Display）とした一例を示している。ヘッドマウントディスプレイとしての表示装置５０は、「人」の頭部に直接装着させるだけでなく、固定部等の部材を介して間接的に「人」の頭部に装着させるものであってもよい。また、左右眼用に一対の表示装置５０を設けた両眼式の表示装置としてもよい。

【0100】

ここで、特許文献１に記載の装置と、本実施形態の瞳孔位置検知装置１０、１０ａ、及び１０ｂとを比較する。図１１は、特許文献１に記載されたアイトラッキング装置の構成を示す図である。

【0101】

特許文献１に記載の装置では、レーザー光源を用い、レーザー光をＭＥＭＳミラーにより走査し、眼球３０への光の入射角度を変更している。これに対し、本実施形態では、複数の発光部を有する光源アレイ１を光源とし、光源アレイ１の発光部の変更により、眼球３０への光の入射角度を変更している。また本実施形態では、光源アレイ１と併せて光偏向手段（レンズ、平面ミラー、マイクロレンズアレイ、凹型曲面ミラー、ホログラム回折素子、プリズムアレイ、回折格子等）を用いることで、入射角度の変更の範囲を拡大している。本実施形態では、このように眼球３０への光の入射角度を、可動部を用いずに変更する。そのため、可動物を有する構成と比較して、振動や外的衝撃等に強くなる。

【0102】

特許文献１に記載の装置では、角膜に照射した光の反射光強度を光検出器により検出するのに対し、本実施形態では、２次元のＰＳＤ等の光位置検出素子４を用い、眼球３０で反射され、光位置検出素子４の受光面に入射する光の位置を検出する。ＰＳＤは、光強度に依存せずに入射光の位置を検出するため、眼球３０における光の反射位置等に起因して反射光量に差が生じても、反射光量の差の影響を受けずに高感度の位置検出が可能である。その結果、瞳孔等の眼球の傾き位置を高精度に検知できる。

【0103】

本実施形態では、発光制御部１１０を備え、発光制御部１１０により光源アレイ１の発光部の位置と、発光部間の発光タイミングをずらして個別点灯する。これにより、眼球３０の運動の粗動を捕らえて、光位置検出素子４の受光面に眼球３０からの反射光が収まるようにし、かつ光位置検出素子４による位置検出で眼球３０運動の微動を捉えることができる。

【0104】

特許文献１に記載の装置では、眼球での反射光の時間軸上の２つのピーク強度（２点の角膜上の反射位置）から眼球位置を推定している。本実施形態では、角膜等の眼球上の１点の反射位置により眼球位置を推定する。そのため光源アレイ１と光位置検出素子４は、必ずしも対称位置になくともよい。本実施形態では、光位置検出素子４を、眼球３０の正反射（鏡面反射）角近傍に配置せず、光源アレイ１と同じ側に配置してもよい。

【0105】

以上、実施形態に係る画像形成装置、及び画像形成方法について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

【0106】

例えば、 眼球の傾きや瞳孔位置（角膜）の検出する機能を有する検眼装置にも採用する事ができる。検眼装置とは、視力検査、眼屈折力検査、眼圧検査、眼軸長検査など種々の検査を行う事が出来る装置を指す。検眼装置は、眼球に非接触で検査可能な装置であって、被験者の顔を支持する支持部と、検眼窓と、検眼に際し被検者の眼球の向き（視線の向き）を一定にする表示を行う表示部と、制御部と、測定部とを有している。測定部の測定精度を上げるために眼球（視線）を動かさず一点を見つめる事が求められ、被検者は支持部に顔を固定し、検眼窓から表示部に表示される表示物を凝視する。このとき、眼球の傾き位置を検出する際に、本実施形態の眼球の傾き位置検知装置が利用可能である。眼球の傾き位置検知装置は測定の妨げにならないよう、測定部の側方に配置される。眼球の傾き位置検知装置で得られた眼球の傾き位置（視線）情報は、制御部にフィードバックする事が可能で、眼球の傾き位置情報に応じた測定をする事ができる。

【符号の説明】

【0107】

１ 光源アレイ
１ａ、１ｂ 光
２ レンズ（光偏向手段の一例）
２ａ マイクロレンズアレイ
２ｂ 偏向プリズム
２ｃ 凹型曲面ミラー
３ 平面ミラー（光偏向手段の一例）
４ 光位置検出素子
５、６、７ 配光モジュール
５ａ、６ａ、７ａ 基板
１０、１０ａ、１０ｂ 瞳孔位置検知装置
２０ 眼鏡型支持体
２１ 眼鏡フレーム
２２ 眼鏡レンズ
３０ 眼球
３１ 瞳孔
３２ 網膜
５０ 表示装置
５１ ＲＧＢレーザー光源
５２ 走査ミラー
５３ 平面ミラー
５４ ハーフミラー
５５ 画像生成手段
１００ 処理部
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 入出力Ｉ／Ｆ
１０５ システムバス
１１０ 発光制御部（発光制御手段の一例）
１２０ 瞳孔位置算出部（位置算出手段の一例）
１２１ 検出信号受信部
１２２ 眼球回旋角度推定部
１２３ 瞳孔中心位置算出部
Ｐ 反射点

【先行技術文献】

【特許文献】

【0108】

【文献】ＵＳ２０１６／０１６６１４６

【非特許文献】

【0109】

【文献】ＩＥＥＥ ３０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ（ＭＥＭＳ）、Ｌａｓ Ｖｅｇａｓ、２０１７、ｐｐ．３０４－３０７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】