特許 7600693 光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、立体物の傾き検出方法及び視線検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、立体物の傾き検出方法及び視線検出方法

(51)【国際特許分類】

   A61B 3/113 20060101AFI20241210BHJP

   G02B 27/02 20060101ALI20241210BHJP

   G09G 5/00 20060101ALI20241210BHJP

   G06F 3/0346 20130101ALI20241210BHJP

   G06F 3/038 20130101ALI20241210BHJP

   G06F 3/01 20060101ALI20241210BHJP

【ＦＩ】

A61B3/113

G02B27/02 Z

G09G5/00 550C

G09G5/00 510G

G06F3/0346 421

G06F3/038 310A

G06F3/01 510

【請求項の数】 11

(21)【出願番号】P 2021003521

(22)【出願日】2021-01-13

(65)【公開番号】P2022108496

(43)【公開日】2022-07-26

【審査請求日】2023-11-14

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】吉田 沙織

(72)【発明者】

【氏名】三宮 俊

【審査官】渡戸 正義

(56)【参考文献】

【文献】特開２０２０－０８７２００（ＪＰ，Ａ）

【文献】特開２０２０－０３４９１９（ＪＰ，Ａ）

【文献】特表２０１９－５１２７２６（ＪＰ，Ａ）

【文献】米国特許第１０７６１６０２（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１９／０２０４９１２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０３２０７６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

Ｇ０２Ｂ ２７／０２

(57)【特許請求の範囲】

【請求項1】

対象物に光を照射する光源と、
前記対象物で反射された前記光の位置を検出する検出手段と、
前記光の位置と、眼球の大きさ又は形状に関する情報、或いは眼球の回旋中心の位置情報を含む所定のパラメータと、に基づき取得される前記対象物の傾き情報を出力する出力手段と、
前記光の位置に基づき、前記パラメータを変更する変更手段と、
前記検出手段による前記光の位置の検出値を記憶する記憶手段と、を有し、
前記変更手段は、前記記憶手段が記憶する複数の検出値のうち、クラスタを構成する前記検出値の重心位置と、前記クラスタを構成する前記検出値の変化幅と、に基づき、前記パラメータを変更する光学装置。

【請求項2】

前記出力手段は、第１の時期に前記対象物の傾き情報を出力し、
前記変更手段は、前記第１の時期とは異なる第２の時期に前記パラメータを変更する請求項１に記載の光学装置。

【請求項3】

前記変更手段は、前記パラメータを繰り返して変更する請求項２に記載の光学装置。

【請求項4】

前記変更手段は、前記光の位置の検出値に基づくベイズ推定による推定値に基づき、前記パラメータを変更する請求項１乃至３の何れか１項に記載の光学装置。

【請求項5】

請求項１乃至４の何れか１項に記載の光学装置を有する視線検出装置。

【請求項6】

前記パラメータは、視線検出の対象となる眼球の形状又は前記眼球の回旋中心の位置の少なくとも一方である請求項５に記載の視線検出装置。

【請求項7】

請求項５又は６に記載の視線検出装置を有する網膜投影表示装置。

【請求項8】

請求項５又は６に記載の視線検出装置を有する頭部装着型表示装置。

【請求項9】

請求項５又は６に記載の視線検出装置を有する検眼装置。

【請求項10】

対象物に光を照射する工程と、
前記対象物で反射された前記光の位置を検出する工程と、
前記光の位置と、眼球の大きさ又は形状に関する情報、或いは眼球の回旋中心の位置情報を含む所定のパラメータと、に基づき取得される前記対象物の傾き情報を出力する工程と、
前記光の位置に基づき、前記パラメータを変更する工程と、を行い、
前記パラメータを変更する工程は、前記光の位置の検出値を記憶する記憶手段が記憶する複数の検出値のうち、クラスタを構成する前記検出値の重心位置と、前記クラスタを構成する前記検出値の変化幅と、に基づき、前記パラメータを変更する立体物の傾き検出方法。

【請求項11】

対象物に光を照射する工程と、
前記対象物で反射された前記光の位置を検出する工程と、
前記光の位置と、眼球の大きさ又は形状に関する情報、或いは眼球の回旋中心の位置情報を含む所定のパラメータと、に基づき取得される前記対象物の傾き情報を出力する工程と、
前記光の位置に基づき、前記パラメータを変更する工程と、を行い、
前記パラメータを変更する工程は、前記光の位置の検出値を記憶する記憶手段が記憶する複数の検出値のうち、クラスタを構成する前記検出値の重心位置と、前記クラスタを構成する前記検出値の変化幅と、に基づき、前記パラメータを変更する視線検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、立体物の傾き検出方法及び視線検出方法に関する。

【背景技術】

【0002】

眼球等の対象物の傾きを光学的に検出する装置等の光学装置が知られている。

【0003】

また、このような光学装置として、眼球に光を照射し、眼球で反射された光に基づき眼球の運動を検出する構成が開示されている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の構成では、眼球等の対象物で反射された光が大きくずれる場合に検出誤差が大きくなる懸念があり、改善の余地があった。

【0005】

本発明は、対象物で反射された光が大きくずれる場合に検出誤差を低減することを課題とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る光学装置は、対象物に光を照射する光源と、前記対象物で反射された前記光の位置を検出する検出手段と、前記光の位置と、眼球の大きさ又は形状に関する情報、或いは眼球の回旋中心の位置情報を含む所定のパラメータと、に基づき取得される前記対象物の傾き情報を出力する出力手段と、前記光の位置に基づき、前記パラメータを変更する変更手段と、前記検出手段による前記光の位置の検出値を記憶する記憶手段と、を有し、前記変更手段は、前記記憶手段が記憶する複数の検出値のうち、クラスタを構成する前記検出値の重心位置と、前記クラスタを構成する前記検出値の変化幅と、に基づき、前記パラメータを変更する。

【発明の効果】

【0007】

本発明によれば、対象物で反射された光が大きくずれる場合に検出誤差を低減できる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る視線検出装置の構成例を示す図である。

【図2】眼球の傾きとＰＳＤへのレーザ光の入射位置との関係例を示す図であり、（ａ）は眼球が傾いていない場合の図、（ｂ）は眼球が傾いている場合の図である。

【図3】第１実施形態に係る処理部のハードウェア構成例のブロック図である。

【図4】第１実施形態に係る処理部の機能構成例のブロック図である。

【図5】ＰＳＤ入射位置から眼球の傾き方向を同定する方法例の図である。

【図6】眼球の視線方向と固視微動との関係の一例を示す図である。

【図7】眼球の傾き変化例を示す図である。

【図8】ＰＳＤ上でのレーザ光の到達位置の分布例を示す図である。

【図9】検出値の平均と標準偏差の相関例の図であり、（ａ）は５個の検出値の場合の図、（ｂ）は１０個の検出値の場合の図、（ｃ）は１５個の検出値の場合の図である。

【図10】パラメータ変更の作用例を示す図である。

【図11】第１実施形態に係る視線検出装置の動作例のフロー図である。

【図12】第１実施形態に係る視線検出装置による変更動作例のフロー図である。

【図13】第２実施形態に係る網膜投影表示装置の構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0010】

また以下に示す実施形態は、本発明の技術思想を具体化するための光学装置を例示するものであって、本発明を以下に示す実施形態に限定するものではない。以下に記載されている構成部品の形状、その相対的配置、パラメータの値等は特定的な記載がない限り、本発明の範囲をそれのみに限定する趣旨ではなく、例示することを意図したものである。また図面が示す部材の大きさや位置関係等は、説明を明確にするため、誇張している場合がある。

【0011】

実施形態に係る光学装置は、対象物の傾きを検出する装置である。対象物は、例えば人間の眼球であり、光学装置は人間の視線の方向である視線方向を検出する視線検出装置である。眼球は人間が視線を向けた方向に傾くため、視線検出装置はこの眼球の傾きを検出することで視線方向を検出する。眼球の傾きは、換言すると、回旋する眼球の回旋角度である。

【0012】

視線検出装置により検出された視線方向の情報は、例えばアイトラッキング装置又は検眼装置等に利用される。或いは、網膜投影表示装置又はヘッドマウントディスプレイ（Head Mounted Display；HMD）等の頭部装着型表示装置で、網膜等に画像を投影する際に、眼球の傾きに応じて投影画像の位置又は画像の内容を補正するために利用される。

【0013】

実施形態に係る光学装置は、対象物に光を照射し、対象物で反射された光の位置を検出して、光の位置と所定のパラメータとに基づき取得される対象物の傾き情報を出力する。ここで、パラメータとは、光の位置の検出値から対象物の傾き情報を演算で取得する際に使用される情報をいう。パラメータは、例えば眼球の大きさ又は形状に関する情報、或いは眼球の回旋中心の位置情報等を含む。

【0014】

パラメータとして、一般的又は平均的な眼球の大きさ、形状、回旋中心の位置等に沿った一定のパラメータを常に用いることも考えられる。しかし個人差で眼球の大きさ又は形状が一般的なパラメータから大きくずれたり、光学装置の装着位置が所定の位置から大きくずれたりして、対象物で反射された光が所望の位置から大きくずれる場合がある。その結果、一定のパラメータを用いると対象物の傾きの検出誤差が大きくなる場合がある。

【0015】

実施形態では、眼球等の対象物で反射された光の位置に基づき、上記のパラメータを変更する。例えば、対象物で反射された光の位置を検出した複数の検出値のうち、クラスタを構成する検出値の重心位置と、クラスタを構成する検出値の変化幅とに基づき、上記のパラメータを変更する。なお、クラスタは複数の検出値で構成される検出値の集合を意味する。

【0016】

ここで、例えば人間の眼球は、固視微動と呼ばれる無意識の微小運動を常に行っている。眼球で反射された光の位置は、固視微動の特性に応じた分布で変化する。また固視微動の特性は、眼球の大きさ又は形状の個人差、或いは光学装置の装着位置のずれ等に応じて異なる。

【0017】

従って、光の位置を検出した複数の検出値のうち、クラスタを構成する検出値の重心位置と、クラスタを構成する検出値の変化幅とを用いて固視微動の特性を示す特徴量を抽出できる。

【0018】

抽出された特徴量に基づきパラメータを変更することで、眼球の大きさ又は形状のずれや、光学装置の装着位置ずれ等の影響を補償できる。これにより、対象物で反射された光が大きくずれる場合にも検出誤差を低減可能にする。

【0019】

以下、眼鏡型支持体に実装され、眼鏡型支持体を装着する人間の眼球の傾きを視線方向として検出する視線検出装置を光学装置の一例とし、実施形態を説明する。人間の眼球は対象物の一例である。また視線方向は、対象物の傾きの一例である。なお、実施形態では、人間の右目の眼球を例示するが、左目の眼球であっても同様である。また２つの視線検出装置を両目の眼球にそれぞれ適用することもできる。

【0020】

以下に示す図では、説明の便宜上、鉛直方向に直交する水平方向をＸ軸方向とし、鉛直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向の両方に直交する方向をＺ軸方向とする。Ｚ軸方向は眼球を正視する方向に略一致する。但し、これらは視線検出装置の位置及び向きを制限するものではなく、視線検出装置は、任意の位置及び向きに配置できる。

【0021】

［第１実施形態］
＜視線検出装置１０の構成例＞
まず、第１実施形態に係る視線検出装置１０の構成について説明する。図１は、視線検出装置１０の構成の一例を説明する図である。

【0022】

図１に示すように、視線検出装置１０は、ＶＣＳＥＬ（垂直共振器面発光レーザ；Vertical Cavity Surface Emitting LASER）１と、平面ミラー２と、ＰＳＤ（Position Sensitive Detector）３と、処理部１００とを有する。

【0023】

眼鏡型支持体２０は、眼鏡フレーム２１と、眼鏡レンズ２２とを有し、ＶＣＳＥＬ１、平面ミラー２、及びＰＳＤ３をそれぞれ眼鏡フレーム２１に配置している。処理部１００は、任意の位置に配置可能である。図１では処理部１００が眼鏡型支持体２０の外部に配置された構成を例示するが、眼鏡フレーム２１の内部に処理部１００を配置することもできる。

【0024】

ＶＣＳＥＬ１は、眼球３０にレーザ光を照射する光源の一例である。ＶＣＳＥＬ１は、平面内に２次元的に配列された複数の発光部を有する。複数の発光部は、それぞれＺ軸負方向側に向けてレーザ光を発する。ＶＣＳＥＬ１の各発光部が発するレーザ光は、光源が照射する光の一例である。なお、「複数の発光部」は、「複数の発光点」、又は「複数の発光素子」と同義である。

【0025】

但し、光源は、複数の発光部から眼球３０に光を照射できれば、ＶＣＳＥＬに限定されるものではない。例えば、複数のＬＤ（半導体レーザ；Laser Diode）、又は複数のＬＥＤ（発光ダイオード；Light Emitting Diode）を平面内に２次元的に配列して光源を構成してもよい。また複数種類の光源を組み合わせて光源を構成してもよい。また後述する複数の発光部を利用した視線検出範囲の拡大を行わない場合には、光源はＬＤ等の１つの発光部のみを有するものであってもよい。

【0026】

光源が発する光は、レーザ光等のコヒーレント光であってもよいし、インコヒーレント光であってもよい。但し、指向性を有するレーザ光を用いると、眼球３０への光を導光しやすいため、より好適である。

【0027】

また光は、ＣＷ（Continuous Wave）光であってもよいし、パルス光であってもよい。光源が発する光の波長にも特段の制限はないが、近赤外光等の非可視光の波長にすると、人間の視認を阻害しないため、より好適である。

【0028】

平面ミラー２は、ＶＣＳＥＬ１が発するレーザ光を眼球３０に向けて反射することで、眼球３０に導光する導光手段である。平面ミラー２で反射されたレーザ光は、眼球３０の瞳孔３１近傍に入射する。ＶＣＳＥＬ１及び平面ミラー２は、正視状態の眼球３０における瞳孔３１の中心にレーザ光が所定角度で入射するように、それぞれの傾きが調整されている。

【0029】

但し、導光手段は、平面ミラー２に限定されるものではない。例えば、凸レンズ、マイクロレンズアレイ、凹型曲面ミラー、ホログラム回折素子、プリズムアレイ、又は回折格子の何れか１つ、又は何れか２つ以上の組合せにより導光手段を構成してもよい。導光手段の構成を最適化することで、視線検出範囲の拡大、視線検出装置１０の小型化及び組み立て負荷低減等の効果を得ることができる。

【0030】

また視線検出装置１０は、導光手段を設けずに、ＶＣＳＥＬ１が発する光を眼球３０に直接入射させてもよい。

【0031】

眼球３０の瞳孔表面（角膜表面）は水分を含む透明体であり、約２～４％の反射率を有するのが一般的である。眼球３０の瞳孔３１近傍に入射したレーザ光は、眼球３０の瞳孔表面の反射点Ｐで反射され、ＰＳＤ３の受光面上でビームスポットを形成する。

【0032】

ＰＳＤ３は、眼球３０で反射されたレーザ光の位置を検出する検出手段の一例である。ＰＳＤ３は、受光面と、４つの出力端子とを有し、受光面内で直交する２方向での入射光の位置を示す検出信号を出力する２次元の光位置検出素子である。ＰＳＤ３は、受光面上でビームスポットを形成するレーザ光の電極までの距離に応じた電流値を検出し、直交２方向の電流値の比に応じた検出信号を出力する。

【0033】

受光面は、画素分割されていない連続的な平面であり、表面に形成された抵抗膜と、直交２方向の電極対とを含む。受光面上のビームスポット位置で発生した光電流は、各出力端子との距離に応じて４つに分割される。このとき、抵抗膜による電気抵抗はビームスポット位置と出力端子との距離が長いほど電流が小さくなるように作用する。

【0034】

ＰＳＤ３は抵抗膜を経た電気信号を４つの端子を介して検出し、電気的な後処理により得られる受光面内の位置を示す検出信号を出力する。また、ＰＳＤ３は光電変換で生じた電流をアナログ電圧信号に変換し、検出信号として４つの端子から出力できる。つまり、ＰＳＤ３は表面抵抗を利用して各端子との距離を求めることで入射した位置を検出できる。

【0035】

なお、検出手段としてＰＳＤ３に代え、複数の画素を含んで構成されるイメージセンサ（撮像素子）を用いることもできる。またＰＳＤには、受光面上でのレーザ光の２次元的な位置を検出する２次元ＰＳＤだけでなく、１次元的な位置を検出する１次元ＰＳＤを用いてもよい。

【0036】

但し、イメージセンサでは、受光するレーザ光の光強度が太陽光等の環境光に比較して小さいと、レーザ光の位置の検出精度が低下する場合がある。検出精度の低下を抑制するためにＶＣＳＥＬ１の出力を大きくすると、眼球３０に入射するレーザ光の光強度が大きくなるため、安全性の観点で好ましくない。

【0037】

またイメージセンサでは、位置検出のための画像処理に伴って、演算による検出誤差が生じたり処理負荷が増大したりする場合がある。

【0038】

検出手段にＰＳＤ３を用いることで、出力端子間で分割される電流比で位置を検出できるため、受光するレーザ光の光強度の位置検出精度への影響が小さい。従って環境光の影響を抑制するために眼球３０に入射させるレーザ光の光強度を大きくしなくてもよい。そのため、眼球３０に入射するレーザ光の光強度を抑制でき、安全性の観点で有利である。

【0039】

また画像処理を行わずに位置検出できるため、画像処理に伴う検出誤差及び処理負荷を低減できる点で有利である。

【0040】

眼球３０の傾きにより、眼球３０での反射光がＰＳＤ３の受光面に形成するビームスポットの位置が変わる。ＰＳＤ３はビームスポットの位置に応じた検出信号を処理部１００に出力する。

【0041】

処理部１００は、ＰＳＤ３の検出信号を座標情報に変換し、レーザ光の位置を示す座標情報と、所定のパラメータとに基づき、演算により取得される視線方向の情報を出力する。

【0042】

換言すると、ＰＳＤ３は、眼球３０における反射点の法線ベクトルの向き、すなわち３次元形状を検出する。処理部１００は、ＰＳＤ３で検出された３次元形状と、眼球３０の表面形状モデルとの対応に基づき、推定演算により取得される眼球３０の傾き情報を出力できる。この眼球３０の表面形状モデルはパラメータの一例であり、眼球の大きさ又は形状に関する情報、或いは眼球の回旋中心位置の情報等を含んでいる。

【0043】

なお、図１では、ＶＣＳＥＬ１等の部品の保持部材として眼鏡フレーム２１を用いる構成を例示したが、これに限定されるものではない。帽子又はヘッドギア等の頭部全体に装着可能な部材にＶＣＳＥＬ１等の部品を保持させることもできる。

【0044】

＜眼球運動との関係例＞
ここで、眼球３０は、回旋等の眼球運動をする。回旋により眼球３０は傾く。眼球３０で反射されたレーザ光の方向が眼球３０の傾きにより大きく変化すると、レーザ光がＰＳＤ３の受光面上に入射しなくなる結果、ＰＳＤ３が反射光の位置を検出できなくなる場合がある。

【0045】

本実施形態では、ＶＣＳＥＬ１における各発光部を順次又は選択的に変更することで、眼球３０で反射されたレーザ光がＰＳＤ３の受光面に入射しなくなることを防止する。これにより、眼球３０が大きく傾いた場合にも、眼球３０で反射されたレーザ光がＰＳＤ３の受光面に入射する状態を維持し、視線検出範囲を拡大させる。

【0046】

図２は、眼球３０の傾きとＰＳＤ３へのレーザ光の入射位置との関係の一例を説明する図である。図２（ａ）は眼球３０が傾いていない場合（正視時）を示し、図２（ｂ）は眼球３０が傾いている場合を示す図である。

【0047】

図２は、ＶＣＳＥＬ１における２つの発光部が発したレーザ光の伝搬を示している。図２は、一方の発光部が発したレーザ光１ａを点線で示し、他方の発光部が発したレーザ光１ｂを一点鎖線で示している。

【0048】

図２（ａ）に示すように、レーザ光１ａは眼球３０で反射された後、ＰＳＤ３の受光面の中央付近に入射する。この状態では、ＰＳＤ３は、眼球３０の傾きに応じたレーザ光１ａの受光面への入射位置変化を検出でき、視線検出装置１０はＰＳＤ３の検出信号に基づき眼球３０の傾きを検出し、視線方向を検出できる。

【0049】

一方、レーザ光１ｂは眼球３０で反射された後、ＰＳＤ３の受光面に入射していない。この状態では、ＰＳＤ３はレーザ光１ｂの位置を検出できないため、視線検出装置１０はＰＳＤ３の検出信号に基づき眼球３０の傾きを検出できず、視線方向を検出できない。

【0050】

また図２（ｂ）に示すように、眼球３０が大きく傾いた場合、レーザ光１ａは眼球３０で反射された後、ＰＳＤ３の受光面に入射していない。この状態では、ＰＳＤ３はレーザ光１ａの位置を検出できないため、視線検出装置１０は眼球３０の傾きを検出できず、視線方向を検出できない。

【0051】

一方、レーザ光１ｂは眼球３０で反射された後、ＰＳＤ３の受光面の中央付近に入射している。この状態では、ＰＳＤ３は眼球３０の傾きに応じたレーザ光１ｂの受光面への入射位置変化を検出でき、視線検出装置１０はＰＳＤ３の検出信号に基づき、眼球３０の傾きを検出し、視線方向を検出できる。

【0052】

このように、ＶＣＳＥＬ１における１つの発光部のみが発するレーザ光では、眼球３０の傾き角度のうち、限られた角度範囲でしか眼球３０の傾きを検出できず、視線方向を検出できなくなる。

【0053】

これに対し、実施形態では、眼球３０の傾きに応じてＶＣＳＥＬ１の発光部を変化させ、眼球３０へのレーザ光の入射角度を変化させる。

【0054】

例えば、ＶＣＳＥＬ１における１つの発光部に発光させて、ＰＳＤ３が検出信号を出力しているか否かを判定する。出力していなければ、ＶＣＳＥＬ１における異なる発光部に発光させ、再度ＰＳＤ３が検出信号を出力しているか否かを判定する。このような動作をＰＳＤ３が検出信号を出力するまで繰り返す。これにより、眼球３０で反射されたレーザ光がＰＳＤ３の受光面に入射する状態にする。

【0055】

そして、眼球３０が大きく傾いた際にも、眼球３０で反射されたレーザ光が常にＰＳＤ３の受光面に入射する状態を維持し、ＰＳＤ３の検出信号に基づく眼球３０の傾きを検出可能にすることで、視線検出範囲を拡大する。

【0056】

なお、ＶＣＳＥＬ１の発光部を変化させる動作は、必ずしも傾き等の眼球運動に応じて行わなくてもよい。例えば、視線検出装置１０は、眼球運動とは独立に所定の時間間隔でＶＣＳＥＬ１の発光部を順次発光させ、その際のＰＳＤ３の検出信号に基づいて、眼球３０で反射されたレーザ光がＰＳＤ３の受光面に入射する状態にしてもよい。

【0057】

また、図２では説明を簡単にするため、２つの発光部から射出されたレーザ光のみを例示したが、視線検出装置１０は、眼球３０の眼球運動に応じて、ＶＣＳＥＬ１の備えるさらに多くの発光部を利用できる。この場合には、視線検出装置１０は、ＰＳＤ３の受光面の大きさと眼球３０の大きさに合わせて、眼球３０の傾きを適切に検出できるように、ＶＣＳＥＬ１の発光部の個数及び位置を適宜選択する。

【0058】

＜処理部１００のハードウェア構成例＞
次に図３を参照して、処理部１００のハードウェア構成について説明する。図３は、処理部１００のハードウェア構成の一例を説明するブロック図である。

【0059】

図３に示すように、処理部１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ＳＳＤ（Solid State Drive）１０４とを有する。また処理部１００は、光源駆動回路１０５と、信号発生回路１０６と、Ａ／Ｄ（Analog／Digital）変換回路１０７と、入出力Ｉ／Ｆ（Interface）１０８とを有する。これらは、システムバスＢを介して相互にデータ又は信号を送受可能に接続している。

【0060】

ＣＰＵ１０１は、ＲＯＭ１０２やＳＳＤ１０４等の記憶装置からプログラムやデータをＲＡＭ１０３上に読み出し、プログラムを実行することで、処理部１００全体の制御や後述する機能を実現する演算装置である。なお、ＣＰＵ１０１の有する機能の一部又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の電子回路により実現してもよい。

【0061】

ＲＯＭ１０２は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０２は、処理部１００の起動時に実行されるＢＩＯＳ（Basic Input／Output System）、ＯＳ設定及びネットワーク設定等のプログラム、並びにデータを格納している。ＲＡＭ１０３は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。

【0062】

ＳＳＤ１０４は、処理部１００による処理を実行するプログラムや各種データが記憶された不揮発性メモリである。なお、ＳＳＤはＨＤＤ（Hard Disk Drive）であってもよい。

【0063】

光源駆動回路１０５は、ＶＣＳＥＬ１に電気的に接続し、制御信号に従ってＶＣＳＥＬ１に駆動電圧を出力する電気回路である。光源駆動回路１０５は、ＶＣＳＥＬ１の備える複数の発光部を同時又は順次に発光駆動させることができる。

【0064】

駆動電圧には矩形波、正弦波、又は所定の波形形状の電圧波形を使用でき、光源駆動回路１０５は、これらの電圧波形の周期（周波数）を変化させて、駆動電圧の周期を変調できる。

【0065】

信号発生回路１０６は、所定周期の電気信号を発生させる電気回路である。信号発生回路１０６として、周期の異なる複数の電気信号を発生させ、複数の出力先に並行して出力することができる多チャンネルの信号発生器を用いることができる。

【0066】

Ａ／Ｄ変換回路１０７は、ＰＳＤ３に電気的に接続し、ＰＳＤ３が出力するアナログ電圧信号をＡ／Ｄ変換したデジタル電圧信号を出力する電気回路である。Ａ／Ｄ変換回路１０７が出力するデジタル電圧信号からＰＳＤ３による検出値を取得できる。

【0067】

入出力Ｉ／Ｆ１０８は、ＰＣ（Personal Computer）や映像機器等の外部機器と接続するためのインターフェースである。

【0068】

［第１実施形態］
＜処理部１００の機能構成例＞
次に図４を参照して、処理部１００の機能構成について説明する。図４は、処理部１００の機能構成の一例を説明するブロック図である。

【0069】

図４に示すように、処理部１００は、発光制御部１１１と、判定部１１２と、取得部１１３と、記憶部１１４と、抽出部１１５と、変更部１１６と、格納部１１７と、推定部１１８と、出力部１１９とを有する。

【0070】

これら各部は、図３に示されている各構成要素の何れかがＲＯＭ１０２からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は機能する手段である。なお図４は、処理部１００が有する主な構成を示すが、処理部１００はこれら以外の構成を有してもよい。

【0071】

発光制御部１１１と判定部１１２は協働して、眼球３０で反射されたレーザ光をＰＳＤ３の受光面上に入射させる動作を行う。具体的には、発光制御部１１１は、ＶＣＳＥＬ１が有する複数の発光部のうち、発光部を選択して発光させる。

【0072】

判定部１１２は、ＰＳＤ３による検出信号を受信し、眼球３０で反射されたレーザ光がＰＳＤ３の受光面上に入射したか否かを判定する。例えばＰＳＤ３の検出信号の電圧又は電流が所定の閾値以上である場合には入射したと判定し、所定の閾値以上でない場合には入射していないと判定する。

【0073】

入射していない判定された場合には、発光制御部１１１は、ＶＣＳＥＬ１の発光部を別の発光部に変更する。そして、入射したと判定されるまで、発光制御部１１１はＶＣＳＥＬ１の発光部の変更を繰り返す。これにより発光制御部１１１と判定部１１２は、眼球３０で反射されたレーザ光をＰＳＤ３の受光面上に入射させることができる。

【0074】

眼球３０で反射されたレーザ光がＰＳＤ３の受光面上に入射する状態になった後、判定部１１２は、ＰＳＤ３の検出信号を取得部１１３に出力する。

【0075】

取得部１１３は、判定部１１２を介して入力したＰＳＤ３のアナログ電圧の検出信号をＡ／Ｄ変換し、ＰＳＤ３の受光面上での光の位置を示すデジタル電圧の検出値を取得する。取得部１１３は取得した検出値を記憶部１１４に記憶させる。

【0076】

記憶部１１４は、取得部１１３が取得した検出値を順次記憶する記憶手段の一例である。記憶部１１４の機能はＳＳＤ１０４等により実現される。

【0077】

抽出部１１５は、記憶部１１４が記憶する複数の検出値のうち、クラスタを構成する検出値の重心位置と、クラスタを構成する検出値の変化幅を算出することで、固視微動の特性を示す特徴量を抽出する。抽出部１１５は、抽出した特徴量のデータを変更部１１６に出力する。

【0078】

変更部１１６は、抽出部１１５から入力した特徴量に基づき、格納部１１７が格納するパラメータを変更する変更手段の一例である。パラメータは、眼球の大きさ及び形状を示す情報と、眼球の回旋中心位置を示す情報等である。変更部１１６は、特徴量と各パラメータとの関係を示す変換式等を参照し、特徴量に基づきパラメータを変更できる。

【0079】

なお、抽出部１１５及び変更部１１６の各機能は図６乃至図８を参照して別途詳述する。

【0080】

推定部１１８は、眼球３０で反射されたレーザ光の位置と、格納部１１７が格納するパラメータとに基づき、眼球３０の傾きを算出し、視線方向の情報を取得する。

【0081】

眼球３０の傾きは、１次関数又は２次関数の数式を用いて算出される。但し、算出のための数式はこれに限定はされるものではなく、眼球３０へのレーザ光の入射角度とＰＳＤ３の受光面上のビームスポット位置から眼球３０の傾きを算出可能なものであれば、如何なるものであってもよい。本実施形態では、簡単な近似式として２次関数による数式を用いている。

【0082】

レーザ光が眼球３０に入射する角度の決定には、眼球３０の表面形状モデルを利用できる。例えば、一般的な眼球の表面形状モデルとして古くから知られている略式模型眼（例えば、「眼の光学的機構」、精密機械２７－１１、１９６１参照）等を利用可能である。

【0083】

視線検出装置１０は、眼球３０へのレーザ光の入射角度として、ＰＳＤ３へのレーザ光の入射位置が受光面の中心になる入射角度を光線追跡計算等により予め定めている。

【0084】

推定部１１８による眼球３０の傾きの算出方法についてさらに詳しく説明する。推定部１１８は、眼球３０の大きさ又は形状に関する情報、あるいは眼球３０の回旋中心５８の位置情報等のパラメータに基づき、眼球３０の傾き、すなわち視線方向３４を算出する。

【0085】

ここで図５は、ＰＳＤ３におけるレーザ光の入射位置から眼球３０の傾き方向を同定する方法の一例を説明する図である。図５において、凹面ミラー反射点Ｐｍ及び光線ベクトルｓｍは視線検出装置１０によって予め与えられるパラメータである。角膜３３上のレーザ光反射点Ｐｃが光線ベクトルｓｍの延長線上（長さＡ）の位置にあると仮定すると、ＰＳＤ着地点Ｐｄ、凹面ミラー反射点Ｐｍ及びレーザ光反射点Ｐｃの各座標を用いてレーザ光反射点Ｐｃにおける法線ベクトルｎｃを決定できる。

【0086】

角膜３３の曲率半径Ｒ２は眼球３０の形状を表わすパラメータとして予め与えられており、角膜３３の曲率中心５９は法線ベクトルｎｃを用いて一意に決定される。眼球３０の回旋中心５８が予め与えられることから、眼球３０の回旋中心５８と角膜３３の曲率中心５９の間の距離Ｒｄが決定される。

【0087】

推定部１１８は、この長さＡを仮定した場合に得られる距離Ｒｄと、眼球３０の形状を表わすパラメータとして予め与えられる眼球３０の回旋中心５８と角膜の曲率中心５９の間の距離Δｒが等しくなるように長さＡを選択する。例えば、推定部１１８は、以下の式を解くことにより、眼球３０の回旋中心５８と角膜の曲率中心５９を結ぶ直線、すなわち眼球３０の視線方向３４を算出する。

【0088】

Ａ ＝ ａｒｇ ｍｉｎ（Ｒｄ－Δｒ）
但し、距離Ｒｄは角膜３３の曲率中心５９が長さＡの関数であり、上式のａｒｇ ｍｉｎは、括弧内を最小化する長さＡを選択することを表わす数学記号である。また、図５において、一点鎖線で示す反射光線は、長さＡが適切に選ばれていない場合の光路、角膜３３上のレーザ光反射点Ｐｃと角膜３３の曲率中心５９の間の距離、角膜３３の曲率中心５９と眼球３０の回旋中心５８の間の距離Ｒｄを示し、角膜３３の曲率中心５９と眼球３０の回旋中心５８の間の距離ＲｄがΔｒに一致しないことを示している。

【0089】

なお、上述した例は、長さＡを最適化する手順で視線方向３４の同定を行うものであるが、それ以外の方法も適用可能である。例えば、ＰＳＤ３により取得されるレーザ光の入射位置を、眼球３０の回旋角度の多項式近似により近似し、逆演算式を介して眼球３０の視線方向３４を算出することも可能である。

【0090】

格納部１１７は、眼球３０へのレーザ光の入射角度と、眼球３０の傾きを推定する逆演算式とを格納する。推定部１１８は、格納部１１７を参照してパラメータを含む逆演算式を取得し、眼球３０で反射されたレーザ光の位置と逆演算式とに基づき、眼球３０の傾きを算出して視線方向の情報を取得する。

【0091】

出力部１１９は、推定部１１８が取得した視線方向の情報を、外部装置等に出力する出力手段の一例である。外部装置は、アイトラッキング装置、検眼装置、網膜投影表示装置又はヘッドマウントディスプレイ（Head Mounted Display；HMD）等の頭部装着型表示装置等である。

【0092】

＜眼球３０の傾き例＞
次に、図６及び図７を参照して、眼球３０の傾きと、眼球３０で反射されたレーザ光の眼球３０の傾きに伴う位置の変化について説明する。

【0093】

人間の眼球は、固視微動と呼ばれる無意識の運動を常に行っており、固視微動に応じて視線方向は常に変化している。固視微動はマイクロサッカード、トレモア又はドリフト等の特徴的な運動に区別されるが、ここでは区分の詳細には触れずに、固視微動を所定の統計的なゆらぎを有する運動とみなす。

【0094】

ここで、図６は、眼球３０の視線方向と固視微動との関係の一例を示す図である。眼球３０は回旋中心５８を中心に回旋して傾く。人間が視線を向けた視線方向５６（図６に破線で示す）に眼球３０は回旋して傾き、視線方向５６に眼球３０が傾いた状態で、視線方向５６を中心に眼球３０が固視微動による微小角度の回旋運動を繰り返し行う。

【0095】

なお、図６に示す曲率半径Ｒ１は眼球３０の曲率半径を表し、曲率半径Ｒ２は角膜３３の曲率半径を表し、突出量ｄは眼球３０に対する角膜３３の突出量を示す。

【0096】

図６に一点鎖線で示した固視微動方向５７は、固視微動により眼球３０が傾く方向を示している。図６に示す例では、眼球３０は、人間の視線に合わせてＺ軸に対して角度θで視線方向５６に傾き、固視微動に合わせて視線方向５６に対して角度θ'で固視微動方向５７に傾いている。

【0097】

次に図７は、眼球３０の傾き変化のシミュレーション結果の一例を示す図である。図７は、Ｘ軸及びＹ軸の各方向における眼球３０の傾きを示している。

【0098】

シミュレーションでは、眼球３０は±３°の角度範囲内でランダムに視線方向を１００点変化させると仮定した。また眼球３０は、視線方向ごとでの固視微動により、視線方向を中心に正規分布に従って確率的に傾きを１００点ずつ変化させると仮定した。

【0099】

図７は、視線方向が５０点変化し、変化した視線方向ごとでの固視微動により、眼球３０が傾きを１００点変化させた場合を示している。プロット数は、全体で５０×１００＝５０００（点）である。

【0100】

例えば、破線で示した領域６１では、視線方向の角度θのＸ軸方向成分である角度θｘが略－２．５［度］で、Ｙ軸方向成分である角度θｙが略２．５［度］である。視線方向を中心に固視微動により傾きが微小に変化し、視線方向を中心に傾きが分布している。このように、眼球３０は、視線方向を変化させつつ固視微動することで、図７に示すように傾きを変化させる。

【0101】

＜ＰＳＤ３上でのレーザ光の到達位置の分布例＞
次に図８は、眼球３０が視線方向を変化させつつ固視微動した場合に、眼球３０で反射されたレーザ光がＰＳＤ３の受光面上に到達する位置の分布のシミュレーションした結果の例を示す図である。図８の横軸に対応する位置Ｐｄ_ｙはＹ軸方向におけるＰＳＤ３の受光面上の位置を示し、縦軸に対応する位置Ｐｄ_ｚはＺ軸方向におけるＰＳＤ３の受光面上の位置を示す。

【0102】

図８は、パラメータで特定される眼球３０が、図７に示したように回旋運動により傾いた場合に、眼球３０で反射されたレーザ光がＰＳＤ３の受光面に到達する位置が変化する様子を示している。レーザ光の到達位置は、光線追跡シミュレーションにより算出されたものである。なお、眼球３０の角膜３３に入射角度６０［度］でレーザ光が入射するように各構成部が配置されているものとする。

【0103】

パラメータには以下のものを用いた。
眼球３０の半径Ｒ１（図６参照）：１３．１２［ｍｍ］。
眼球３０における角膜３３の曲率半径Ｒ２（図６参照）：７．９２［ｍｍ］。
眼球３０における角膜３３の突出量ｄ（図６参照）：０．２４［ｍｍ］。
眼球３０の回旋中心５８の座標（Δｘ, Δｙ, Δｚ）（図６参照）：（－２１．４６、０．４８、－１７．３７）［ｍｍ］。但し、眼球３０の回旋中心５８の座標は、ＰＳＤ３の受光面の中心を原点とした場合の座標である。

【0104】

図８に示すように、レーザ光の位置は、ＰＳＤ３の受光面上の広い範囲に分布している。またレーザ光の位置の分布は、複数のレーザ光の位置の集合であるクラスタを複数含んでいる。

【0105】

例えば、図８に破線で示したクラスタ７１は、位置Ｐｄ_ｚが略－３．０乃至－２．５［ｍｍ］の領域内で、且つ位置Ｐｄ_ｙが略０．２乃至０．４［ｍｍ］の領域内にある複数のレーザ光の位置を示すプロットの集合により構成されている。レーザ光の位置の分布は、クラスタ７１のようなクラスタを複数含んでいる。

【0106】

またクラスタにおけるレーザ光の位置の変化幅は、クラスタごとに異なっている。クラスタにおける位置の変化幅は、眼球３０の固視微動における傾きの変化幅に対応する。変化幅は、ゆらぎ幅と称することもでき、以降ではゆらぎ幅と表記する。

【0107】

例えば、クラスタ７１に対してＺ軸正方向側に位置するクラスタ７２では、クラスタ７１と比較してレーザ光の位置のゆらぎ幅がＺ軸方向に沿って大きくなっている。なお、Ｚ軸正方向は眼球３０から遠ざかる方向に対応する。

【0108】

位置Ｐｄ_ｚが０になる付近でＺ軸方向におけるクラスタのゆらぎ幅が最小になり、Ｚ軸正及び負方向側のそれぞれ向かうほどＺ軸方向に沿うクラスタのゆらぎ幅が大きくなっている。

【0109】

Ｚ軸方向におけるクラスタのゆらぎ幅は、眼球３０の大きさ又は形状、或いは眼球３０の回旋中心５８の位置に応じて変化する。従って、レーザ光の位置の分布において、固視微動に対応するクラスタの特徴量を抽出することで上記のパラメータを抽出可能となる。複数の検出値の中からクラスタを抽出するためには、クラスタ分析手法等を適用できる。

【0110】

なお、眼球３０の回旋中心５８の位置は、視線検出装置１０が人間に装着された場合の位置に応じて変化する。装着位置ずれが大きいと回旋中心５８の位置が大きく変化する。

【0111】

＜レーザ光の位置の検出値における平均と標準偏差の相関例＞
次に図９を参照して、レーザ光の位置の分布において、クラスタを構成する複数の検出値の平均と標準偏差の相関を説明する。

【0112】

図９は、複数の検出値の平均と標準偏差の相関の一例を説明する図であり、（ａ）は検出値が５個の場合、（ｂ）は検出値が１０個の場合、（ｃ）は検出値が１５個の場合をそれぞれ示している。なお、各グラフに示したＮｇｚは検出値の個数を表す。

【0113】

図９（ａ）乃至図９（ｃ）のそれぞれの横軸は、眼球３０で反射されたレーザ光のＰＳＤ３による位置の検出値のうち、クラスタを構成する複数の位置の検出値の平均値を示している。縦軸は、眼球３０で反射されたレーザ光のＰＳＤ３による位置の検出値のうち、クラスタを構成する複数の位置の検出値の標準偏差を示している。平均値は、クラスタの重心位置に対応し、標準偏差はゆらぎ幅に対応する。

【0114】

図９（ａ）乃至図９（ｃ）のそれぞれに示す実線グラフ７１ａ、７１ｂ及び７１ｃは、平均値と標準偏差の相関における多項式近似曲線を示し、破線グラフ７２ａ、７２ｂ及び７２ｃは上記の多項式近似曲線の生成誤差を示している。多項式近似曲線の生成誤差は、多項式近似曲線の信頼性を意味し、生成誤差が小さいほど、多項式近似曲線の信頼性が高く、クラスタの重心位置とゆらぎ幅の相関が高いことを表す。

【0115】

図９に示すように、検出値の個数が多くなるほど、クラスタの重心位置とゆらぎ幅の多項式近似曲線における生成誤差が小さくなり、信頼性が高くなっている。

【0116】

図９における多項式近似曲線及び生成誤差は、それぞれベイズ推定を適用して算出したものである。ここでベイズ推定とは、ベイズ確率の理論に基づき、観測事象から、推定したい事象を確率的に推論する手法をいう。ベイズ推定を適用することで、少ない検出値の個数であっても多項式近似曲線及び生成誤差をより高い信頼性で算出できる。

【0117】

本実施形態では、多項式近似曲線として６次多項式に近似したものを用いている。検出値の個数を１０個以上にすることで、生成誤差が略一定となり、クラスタの重心位置とゆらぎ幅の相関を示す多項式近似曲線を高い信頼性で決定できている。

【0118】

眼球３０の大きさ又は形状が変化したり、視線検出装置１０の装着位置がずれたりしてパラメータが変化した場合には、クラスタの重心位置とゆらぎ幅の相関曲線が不安定になる。しかし検出値をそのまま蓄積することで、クラスタの重心位置とゆらぎ幅の関係が異なる多項式近似曲線に収束する。これにより、変更部１１６が変更後のパラメータを反映した多項式近似曲線になる。

【0119】

このようにして、ＰＳＤ３による検出値を取得した時点での眼球３０大きさ又は形状、或いは装着位置等のパラメータを自律的に反映したクラスタの重心位置とゆらぎ幅の多項式近似曲線を取得できる。

【0120】

クラスタの重心位置とゆらぎ幅の多項式近似曲線に基づき、パラメータを算出するためには、例えば幾何光学を用いて固視微動に応じたクラスタの重心位置とゆらぎ幅の多項式近似曲線の近似解を導出する。そして多項式近似曲線における各項の係数と、パラメータとの対応を示す変換式を導出する。クラスタの重心位置とゆらぎ幅に基づき、この変換式を用いてパラメータを算出できる。

【0121】

また、異なる方法としては、多変量分析の１つである正準相関分析を用いて、多項式近似曲線の係数と、パラメータとの間の変換式を導出する。クラスタの重心位置とゆらぎ幅に基づき、この変換式を用いてパラメータを算出できる。

【0122】

ここで、重心位置と標準偏差の相関曲線の多項式の係数とパラメータは、正準相関分析により表出することができる。また正準相関分析には公知の技術を適用可能である（例えば、https://qiita.com/yoneda88/items/847cb99542538083b876参照）。

【0123】

多項式の係数と眼球パラメータをそれぞれベクトルとみなして線形変換する。線形変換後のそれぞれのベクトルの相関率が最大になるような線形変換行列を求める。実施形態では、６次多項式の係数をベクトルとみなし、また眼球パラメータの方もベクトルとみなして、それぞれを線形変換したときに、変換後の行列の相関係数が最大になるような線形変換行列を得ている。この線形変換行列を用いて、一方から他方を推定する。線形変換するときには、お互いの要素数を合わせるように変換する。

【0124】

実施形態では、ベイズ推定を用いて、固視微動の重心位置と揺らぎ幅のデータを逐次、推定のための材料として使っていくため、データ量がそれほど多くない場合でも徐々に推定曲線が収束する。ベイズ推定で得られた６次多項式の推定精度が、固視微動の重心位置と揺らぎ幅のデータを追加していくごとに向上する。

【0125】

事前にシミュレーションにより、固視微動の重心位置及び揺らぎ幅と眼球パラメータの関係を示すデータを収集しておき、そのデータを学習データとして使って固視微動データと眼球パラメータの変換式を導出しておく。導出した変換式を使って、眼球パラメータが未知な場合の固視微動データから眼球パラメータを推定できる。

【0126】

＜パラメータの変更作用例＞
次に図１０を参照して、パラメータ変更の作用について説明する。図１０はパラメータ変更の作用の一例を示す図である。

【0127】

図１０は、眼球３０をＸ軸回り及びＹ軸回りにそれぞれ－５．０［度］から４．０［度］まで１．０［度］刻みで傾けた際に、眼球３０で反射されたレーザ光のＰＳＤ３受光面への入射位置をシミュレーションで推定し結果を示している。

【0128】

図１０において黒丸で示すプロット９１は、所定のパラメータを用いたときに得られたレーザ光の入射位置を示している。プロット９１は、レーザ光の入射位置の真値ということができる。

【0129】

四角で示すプロット９２は、一般的又は平均的なパラメータを用いたときに得られたレーザ光の入射位置を示している。白丸で示すプロット９３は、固視微動に応じたクラスタの重心位置とゆらぎ幅に基づき、変更部１１６がパラメータを変更後に得られたレーザ光の入射位置を示している。なお、プロット９１、９２及び９３のそれぞれは、複数のプロットの総称表記である。

【0130】

図１０に示すように、プロット９２と比較して、変更後のパラメータを用いたプロット９３は、真値であるプロット９１により近い値となっている。パラメータの変更により、眼球３０で反射されたレーザ光のＰＳＤ３受光面への入射位置の推定誤差が低減している。このことは、視線検出装置１０による視線方向の検出誤差が低減することを表している。具体的には、各プロットの平均で視線方向の検出誤差が２５．７４［ｍｍ］から４．４８［ｍｍ］まで低減する。

【0131】

＜視線検出装置１０の動作例＞
次に図１１を参照して、視線検出装置１０の動作について説明する。図１１は、視線検出装置１０の動作の一例を示すフローチャートである。図１１は、視線検出装置１０が視線検出動作を開始した時点をトリガーにした動作を示している。

【0132】

まず、ステップＳ１０１において、推定部１１８は、格納部１１７を参照して、格納部１１７が格納するパラメータの情報を取得する。

【0133】

続いて、ステップＳ１０２において、発光制御部１１１は、ＶＣＳＥＬ１が有する複数の発光部のうちの１つの発光部を選択する。

【0134】

続いて、ステップＳ１０３において、発光制御部１１１は、選択した発光部を発光させる。

【0135】

続いて、ステップＳ１０４において、判定部１１２は、ＰＳＤ３による検出信号を受信し、眼球３０で反射されたレーザ光がＰＳＤ３の受光面上に入射したか否かを判定する。

【0136】

ステップＳ１０４で入射していないと判定された場合には（ステップＳ１０４、Ｙｅｓ）、ステップＳ１０２以降の動作が再度行われる。

【0137】

一方、ステップＳ１０４で入射したと判定された場合には（ステップＳ１０４、Ｙｅｓ）、ステップＳ１０５において、取得部１１３は、判定部１１２を介して入力したＰＳＤ３のアナログ電圧の検出信号をＡ／Ｄ変換し、ＰＳＤ３の受光面上での光の位置を示すデジタル電圧の検出値を取得する。

【0138】

続いて、ステップＳ１０６において、推定部１１８は、眼球３０で反射されたレーザ光の位置と、格納部１１７が格納するパラメータとに基づき、眼球３０の傾きを算出し、視線方向の情報を取得する。

【0139】

続いて、ステップＳ１０７において、出力部１１９は、推定部１１８が取得した視線方向の情報を外部装置に出力する。

【0140】

続いて、ステップＳ１０８において、抽出部１１５及び変更部１１６は、協働してパラメータを変更する動作を行う。この動作は、図１２を参照して次述する。

【0141】

続いて、ステップＳ１０９において、処理部１００は視線検出動作を終了するか否かを判定する。終了すると判定された場合には、視線検出装置１０は動作を終了する。一方、終了しないと判定された場合には、視線検出装置１０は、ステップＳ１０１以降の動作を再度行う。

【0142】

このようにして、視線検出装置１０は、視線検出装置１０が実装された眼鏡型支持体を装着する人間の視線方向を検出することができる。

【0143】

なお、図１１に示す例では、視線検出装置１０は、ステップＳ１０７の視線方向の情報を出力後に、ステップＳ１０８でパラメータを変更する動作を行う例を示したが、この順番に限定されるものではない。視線検出装置１０は、ＰＳＤ３の受光面にレーザ光が入射した後であれば、任意の順番にパラメータを変更する動作を行ってもよいし、複数回行ってもよい。

【0144】

例えば、ステップＳ１０６で推定部１１８が視線方向の情報を取得する前に行ってもよいし、またステップＳ１０５乃至Ｓ１０９の間に、パラメータを変更する動作を複数回行ってもよい。

【0145】

本実施形態では、パラメータの変更と視線方向の検出を並行して行わず、パラメータの変更と視線方向の検出を、時期を変えて行う。換言すると、出力部１１９は第１の時期に視線方向の情報を出力し、変更部１１６は第１の時期とは異なる第２の時期にパラメータを変更する。ステップＳ１０５乃至Ｓ１０７の動作を行うタイミングは第１の時期の一例であり、ステップＳ１０８の動作を行うタイミングは第２の時期の一例である。

【0146】

＜パラメータ変更の動作例＞
次に図１２は、パラメータ変更の動作の一例を示す図である。図１２は、視線検出装置１０がパラメータ変更の動作を開始した時点をトリガーにした動作を示している。

【0147】

まず、ステップＳ１１１において、取得部１１３は、判定部１１２を介して入力したＰＳＤ３のアナログ電圧の検出信号をＡ／Ｄ変換し、ＰＳＤ３の受光面上での光の位置を示すデジタル電圧の検出値を取得する。

【0148】

続いて、ステップＳ１１２において、抽出部１１５は、記憶部１１４が記憶する複数の検出値のうち、クラスタを構成する検出値の重心位置とゆらぎ幅を算出し、固視微動の特性を示す特徴量として抽出する。抽出部１１５は、抽出した特徴量のデータを変更部１１６に出力する。

【0149】

続いて、ステップＳ１１３において、変更部１１６は、抽出部１１５から入力した特徴量に基づき、格納部１１７が格納するパラメータを変更する。

【0150】

このようにして、視線検出装置１０は、格納部１１７が格納するパラメータを変更できる。

【0151】

＜視線検出装置１０の作用効果＞
次に、視線検出装置１０の作用効果について説明する。

【0152】

近年、仮想現実（VR；Virtual Reality）、拡張現実（AR；Augmented Reality）に関わる技術及び製品が注目されている。 特にＡＲ技術は、実空間においてデジタル情報を表示する手段として、産業分野への応用が期待されている。ＡＲ技術を活用する人間は、認知情報の大部分を視覚から取得していることに鑑み、行動（作業）環境下において利用可能な眼鏡型映像表示装置等の光学装置が開発されている。

【0153】

このような眼鏡型映像表示装置として、レーザ光を用いて人間の網膜上に直接映像を描画する網膜描画方式の網膜投影表示装置が知られている。 網膜描画方式によれば、焦点フリーの映像を視認情報に重畳させることで、外界に視点を置いた状態でデジタル情報を網膜上に表示し、人間に認識させることができる。

【0154】

ところで、レーザ光を用いた網膜投影表示装置では、角膜や瞳孔の大きさの制限から眼球運動を伴う行動（作業）環境下において、角膜や瞳孔の外周部等でレーザ光のケラレが発生し、所定の位置に所定の映像を描画できなくなる場合がある。

【0155】

これに対し、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーにより、眼球上でレーザ光を走査させ、眼球で反射されたレーザ光の検出信号に基づき眼球の角膜位置を検出する構成が知られている。

【0156】

また、特許文献１では、眼球にレーザ光を照射し、眼球で反射されたレーザ光に基づき眼球の運動を検出する構成が開示されている。

【0157】

しかしながら、従来の構成では、眼球等の対象物で反射された光が大きくずれる場合に、眼球の角膜位置や眼球の運動を検出するために使用される眼球の大きさ又は形状、或いは眼球の回旋中心位置等のパラメータが所定の値から大きく変化することで、検出誤差が大きくなる場合がある。

【0158】

本実施形態では、眼球３０（対象物）にレーザ光（光）を照射し、眼球３０で反射されたレーザ光の位置を検出して、レーザ光の位置と所定のパラメータとに基づき取得される視線方向の情報（対象物の傾き情報）を出力する。また、眼球３０で反射されたレーザ光の位置に基づき、上記のパラメータを変更する。

【0159】

例えば、眼球３０の固視微動に応じたクラスタを構成する検出値の重心位置と、クラスタを構成する検出値のゆらぎ幅（変化幅）とに基づき、上記のパラメータを変更する。眼球で反射されたレーザ光の位置は、固視微動の特性に応じた分布で変化し、また固視微動の特性は、眼球の大きさ又は形状の個人差、或いは視線検出装置（光学装置）の装着位置のずれ等に応じて異なる。

【0160】

そのため、クラスタを構成する検出値の重心位置及びゆらぎ幅を用いて固視微動の特性を示す特徴量を抽出し、抽出された特徴量に基づきパラメータを変更することで、眼球３０の大きさ又は形状のずれや、視線検出装置１０の装着位置ずれ等の影響を補償できる。これにより、眼球３０で反射された光が大きくずれる場合にも検出誤差を低減することができる。

【0161】

また本実施形態では、出力部１１９は、第１の時期に視線方向の情報を出力し、変更部１１６は、第１の時期とは異なる第２の時期にパラメータを変更する。これにより、１つのＰＳＤ３（検出手段）により視線方向の検出とパラメータの変更を行えるため、視線検出装置１０の構成を簡略化できる。

【0162】

なお、視線検出装置１０が複数のＰＳＤ３を備え、複数のＰＳＤ３を用いて視線方向の検出とパラメータの変更を並行に行えるように構成してもよい。

【0163】

また、変更部１１６は、パラメータを繰り返して変更する。例えば視線検出装置１０を含む眼鏡型支持体を装着中に、眼鏡型支持体がずれて視線検出装置１０の位置が突発的にずれた場合に、パラメータの変更を１度しか行わない構成では、視線検出装置１０の位置ずれを補償できなくなる。繰り返してパラメータを変更することで、視線検出装置１０の突発的な位置ずれにも対応可能になる。繰り返し周期は、一定の周期であってもよいし、ランダムに変更する周期であってもよい。

【0164】

また本実施形態では、変更部１１６は、レーザ光の位置の検出値に基づくベイズ推定による推定値に基づき、パラメータを変更する。ベイズ推定を適用することで、少ない検出値の個数であっても多項式近似曲線及び生成誤差を高い信頼性で算出でき、より正確なパラメータに変更することで、検出誤差をより低減することができる。

【0165】

［第２実施形態］
次に第２実施形態に係る網膜投影表示装置５０について説明する。なお、第１実施形態で説明したものと同じ構成部には同じ部品番号を付し、重複する説明を適宜省略する。

【0166】

図１３は、網膜投影表示装置５０の構成の一例を説明する図である。図１３に示すように、網膜投影表示装置５０は、ＲＧＢ（Red、Green、Blue）レーザ光源５１と、走査ミラー５２と、平面ミラー５３と、ハーフミラー５４と、画像生成手段５５と、第１実施形態で説明した視線検出装置１０とを有する。

【0167】

ＲＧＢレーザ光源５１は、ＲＧＢ３色のレーザ光を時間変調して出力する。走査ミラー５２は、ＲＧＢレーザ光源５１からの光を２次元的に走査する。走査ミラー５２は、例えばＭＥＭＳミラーである。

【0168】

但し、走査ミラー５２はＭＥＭＳミラーに限定されるものではなく、ポリゴンミラー、ガルバノミラー等、光を走査する反射部を有するものであれば良い。小型化・軽量化の点でＭＥＭＳミラーが有利となる。なお、ＭＥＭＳミラーの駆動方式は、静電式、圧電式、電磁式などいずれであっても良い。

【0169】

平面ミラー５３は、ハーフミラー５４に向けて走査ミラー５２による走査光を反射する。ハーフミラー５４は、入射する光の一部を透過し、一部を眼球３０に向けて反射する。ハーフミラー５４は、凹型の曲面形状を有しており、反射した光を眼球３０の瞳孔３１の近傍に収束させ、網膜３２の位置で略結像させる。これにより走査光で形成される画像を網膜３２に投影する。

【0170】

図中破線で示されている光５１ａは、網膜３２上に画像を形成する光を表している。なお、ハーフミラー５４は、必ずしも反射光と透過光の光量が１対１にならなくてもよい。

【0171】

視線検出装置１０は、眼球運動に応じて変化する視線方向を検出し、画像生成手段５５に、視線方向の情報を示すフィードバック信号を画像生成手段５５に送信する。

【0172】

画像生成手段５５は、走査ミラー５２の振れ角制御機能と、ＲＧＢレーザ光源５１の発光制御機能とを有する。画像生成手段５５は、視線検出装置１０から視線方向を示すフィードバック信号を受信し、視線方向に応じて、走査ミラー５２の振れ角と、ＲＧＢレーザ光源５１の発光を制御し、画像の投影角度、又は画像内容を書き換える。これにより、眼球運動に伴う視線方向の変化に追従（アイトラッキング）した画像を、網膜３２上に形成することができる。

【0173】

上述した実施形態では、網膜投影表示装置５０をウェアラブル端末であるヘッドマウントディスプレイとする構成を例示した。しかしヘッドマウントディスプレイとしての網膜投影表示装置５０は、人間の頭部に直接装着させるものだけでなく、固定部等の部材を介して間接的に人間の頭部に装着させるもの（頭部装着型表示装置）であってもよい。また、左右眼用に一対の網膜投影表示装置５０を設けた両眼式の網膜投影表示装置としてもよい。

【0174】

以上、本発明の実施形態の例について記述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0175】

例えば上述した実施形態では、眼球３０の傾きを検出する装置を光学装置の一例として示したが、これに限定されるものではない。例えばロボットハンド等に光学装置を実装し、対象物の一例としてのロボットハンドの傾きを検出してもよい。この場合は、ロボットハンドの傾きを推定するために特有のパラメータが使用される。トラッキング用途等でロボットハンドが微小振動する場合には、この微小振動を固視微動と同様に扱い、微小振動に応じたレーザ光の位置のクラスタの特徴量を抽出して、パラメータの変更のために用いることができる。

【0176】

例えば視線検出装置１０により検出された視線方向の情報を、電子機器の入力装置におけるアイトラッキングに利用することもできる。これにより、眼球の大きさ又は形状、或いは視線検出装置１０の位置ずれ等にロバストなアイトラッキングを実現できる。

【0177】

また 眼球の傾きや瞳孔位置（角膜）の検出する機能を有する検眼装置にも採用する事ができる。検眼装置とは、視力検査、眼屈折力検査、眼圧検査、眼軸長検査など種々の検査を行う事が出来る装置を指す。検眼装置は、眼球に非接触で検査可能な装置であって、被験者の顔を支持する支持部と、検眼窓と、検眼に際し被検者の眼球の向き（視線の向き）を一定にする表示を行う表示部と、制御部と、測定部とを有している。測定部の測定精度を上げるために眼球（視線）を動かさず一点を見つめる事が求められ、被検者は支持部に顔を固定し、検眼窓から表示部に表示される表示物を凝視する。このとき、眼球の傾き位置を検出する際に、本実施形態の眼球の傾き位置検知装置が利用可能である。眼球の傾き位置検知装置は測定の妨げにならないよう、測定部の側方に配置される。眼球の傾き位置検知装置で得られた眼球の傾き位置（視線）情報は、制御部にフィードバックする事が可能で、眼球の傾き位置情報に応じた測定をする事ができる。

【0178】

また実施形態は、立体物の傾き検出方法を含む。例えば立体物の傾き検出方法は、対象物に光を照射する工程と、前記対象物で反射された前記光の位置を検出する工程と、前記光の位置と、所定のパラメータと、に基づき取得される前記対象物の傾き情報を出力する工程と、前記光の位置に基づき、前記パラメータを変更する工程と、を行う。このような立体物の傾き検出方法により、上述した光学装置と同様の効果を得ることができる。

【0179】

また実施形態は、視線検出方法を含む。例えば視線検出方法は、対象物に光を照射する工程と、前記対象物で反射された前記光の位置を検出する工程と、前記光の位置と、所定のパラメータと、に基づき取得される前記対象物の傾き情報を出力する工程と、前記光の位置に基づき、前記パラメータを変更する工程と、を行う。このような視線検出方法により、上述した光学装置と同様の効果を得ることができる。

【0180】

また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。

【0181】

また上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【符号の説明】

【0182】

１ ＶＣＳＥＬ（光源の一例）
２ 平面ミラー
３ ＰＳＤ（検出手段の一例）
１０ 視線検出装置（光学装置の一例）
２０ 眼鏡型支持体
２１ 眼鏡フレーム
２２ 眼鏡レンズ
３０ 眼球（対象物の一例）
３１ 瞳孔
３２ 網膜
３３ 角膜
５０ 網膜投影表示装置
５６ 視線方向
５７ 固視微動方向
５８ 回旋中心
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＳＳＤ
１０５ 光源駆動回路
１０６ 信号発生回路
１０７ Ａ／Ｄ変換回路
１０８ 入出力Ｉ／Ｆ
１１１ 発光制御部
１１２ 判定部
１１３ 取得部
１１４ 記憶部（記憶手段の一例）
１１５ 抽出部
１１６ 変更部（変更手段の一例）
１１７ 格納部
１１８ 推定部
１１９ 出力部（出力手段の一例）
θ、θ' 角度
Ｒ１ 眼球の曲率半径（パラメータの一例）
Ｒ２ 角膜の曲率半径（パラメータの一例）
ｄ 角膜の突出量（パラメータの一例）
Ｐｍ 凹面ミラー反射点（パラメータの一例）
ｓｍ 光線ベクトル（パラメータの一例）
Ｐｃ レーザ光反射点
Ａ 長さ
Ｐｄ ＰＳＤ着地点
ｎｃ 法線ベクトル

【先行技術文献】

【特許文献】

【0183】

【文献】特公平０５－０１３６５９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】