IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特開2023-94539傾き検出装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、仮想現実表示装置、ユーザ状態推定装置、運転支援システム、立体物の傾き検出方法および視線検出方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023094539
(43)【公開日】2023-07-05
(54)【発明の名称】傾き検出装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、仮想現実表示装置、ユーザ状態推定装置、運転支援システム、立体物の傾き検出方法および視線検出方法
(51)【国際特許分類】
   A61B 3/113 20060101AFI20230628BHJP
   G06F 3/01 20060101ALI20230628BHJP
   A61B 5/16 20060101ALI20230628BHJP
   A61B 5/18 20060101ALI20230628BHJP
   G02B 27/02 20060101ALI20230628BHJP
   B60W 40/08 20120101ALI20230628BHJP
【FI】
A61B3/113
G06F3/01 510
A61B5/16 200
A61B5/18
G02B27/02 Z
B60W40/08
【審査請求】未請求
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2022170184
(22)【出願日】2022-10-24
(31)【優先権主張番号】P 2021209644
(32)【優先日】2021-12-23
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】吉川 将人
(72)【発明者】
【氏名】三宮 俊
(72)【発明者】
【氏名】吉田 沙織
【テーマコード(参考)】
2H199
3D241
4C038
4C316
5E555
【Fターム(参考)】
2H199CA06
2H199CA12
2H199CA32
2H199CA45
2H199CA47
2H199CA96
3D241BA41
3D241BA70
3D241DD07Z
4C038PP01
4C038PQ04
4C038PS07
4C316AA21
4C316AA22
4C316AA30
4C316FZ01
5E555AA79
5E555BA38
5E555BB38
5E555CA42
5E555CB65
5E555DA08
5E555FA00
(57)【要約】
【課題】構成が簡素な傾き検出装置を提供すること。
【解決手段】本発明の一態様に係る傾き検出装置は、複数の発光部と、前記複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力する受光手段と、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力する出力手段と、を有し、前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数の発光部と、
前記複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力する受光手段と、
前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力する出力手段と、を有し、
前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する、傾き検出装置。
【請求項2】
前記複数の発光部は、複数の光を並行して発光する、請求項1に記載の傾き検出装置。
【請求項3】
前記複数の発光部は、前記複数の発光部の発光面に沿った所定方向に沿って並んで設けられ、
前記複数の発光部における隣り合う発光部同士の前記所定方向に沿った間隔は、いずれも等しい、請求項1または請求項2に記載の傾き検出装置。
【請求項4】
前記複数の発光部は、前記複数の発光部の発光面に沿った異なる2つの方向それぞれに沿って並んで設けられている、請求項1または請求項2に記載の傾き検出装置。
【請求項5】
前記受光手段の受光面の幅をwとし、
前記受光手段の受光面での隣接する光のビーム中心間距離をdとし、
前記受光手段の受光面での光のビーム半径をhとした場合に、次式を満足する
|h-w/2|≦d≦h+w/2
請求項1または請求項2に記載の傾き検出装置。
【請求項6】
前記複数の発光部は、前記複数の発光部の発光面に沿った所定方向に沿って並んで設けられ、
前記複数の発光部における隣り合う発光部同士の前記所定方向に沿った間隔の長さは、前記受光手段の受光面の前記所定方向に沿った長さよりも短い、請求項1または請求項2に記載の傾き検出装置。
【請求項7】
前記対象物によって反射された光は、前記受光手段に近づくにつれて広がる、請求項1または請求項2に記載の傾き検出装置。
【請求項8】
前記対象物によって反射された光のビーム直径は、前記受光手段の受光面上において、受光面の所定方向に沿った長さよりも長い、請求項1または請求項2に記載の傾き検出装置。
【請求項9】
直交性を有する符号によって時間変調された光を発するように前記複数の発光部による発光を制御する制御部を有し、
前記出力手段は、前記受光手段から出力される前記電気信号に基づいて、複数の前記時間変調された光を分離検出する、請求項1または請求項2に記載の傾き検出装置。
【請求項10】
前記符号はアダマール符号である、請求項9に記載の傾き検出装置。
【請求項11】
前記複数の発光部は、複数のグループにグループ化され、
前記制御部は、前記複数のグループの前記発光部がグループごとに発光するように、前記複数の発光部による発光を制御する、請求項9に記載の傾き検出装置。
【請求項12】
請求項1または請求項2に記載の傾き検出装置を有し、
前記傾き検出装置による眼球の傾きの検出結果に基づいて視線を検出する、視線検出装置。
【請求項13】
請求項12に記載の視線検出装置を有する網膜投影表示装置。
【請求項14】
請求項12に記載の視線検出装置を有する頭部装着型表示装置。
【請求項15】
請求項12に記載の視線検出装置を有する検眼装置。
【請求項16】
請求項12に記載の視線検出装置を有する仮想現実表示装置。
【請求項17】
請求項12に記載の視線検出装置と、
前記視線検出装置により検出された視線方向の情報に基づき、ユーザの状態を推定する状態推定部と、を有するユーザ状態推定装置。
【請求項18】
前記状態推定部は、前記ユーザの眼球の微振動の発生頻度に基づいて前記ユーザの状態を推定する請求項17に記載のユーザ状態推定装置。
【請求項19】
前記ユーザの状態は、前記ユーザの疲労度または注意度のうち少なくとも1つを含む請求項17に記載のユーザ状態推定装置。
【請求項20】
請求項17に記載のユーザ状態推定装置と、
前記ユーザ状態推定装置により推定された前記状態に基づき、前記ユーザの運転する移動体の動作を制御する動作制御部と、を有する運転支援システム。
【請求項21】
傾き検出装置による傾き検出方法であって、
前記傾き検出装置が、
複数の発光部により発光し、
受光手段により、前記複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力し、
出力手段により、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力し、
前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する、立体物の傾き検出方法。
【請求項22】
視線検出装置による視線検出方法であって、
前記視線検出装置が、
複数の発光部により発光し、
受光手段により、前記複数の発光部により発光され、対象物によって反射された光を受光し、受光した光の光強度に基づく電気信号を出力し、
出力手段により、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力し、
前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する、視線検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、傾き検出装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、仮想現実表示装置、ユーザ状態推定装置、運転支援システム、立体物の傾き検出方法および視線検出方法に関する。
【背景技術】
【0002】
対象物に照射した光の反射光に基づき、対象物の傾きを検出する傾き検出装置が知られている。このような傾き検出装置は、対象物としての人の眼球の傾きから視線方向を検出する視線検出装置や、該視線検出装置を有する網膜投影表示装置、頭部装着型表示装置および検眼装置等の様々な用途において利用される。
【0003】
上記の傾き検出装置として、眼球の傾きを高精度に検出するために、眼球に照射したレーザ光をMEMS(Micro Electro Mechanical Systems)ミラーにより走査させ、走査される光の眼球による反射光を検出する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
傾き検出装置では、構成が簡素なものが求められる。
【0005】
本発明は、構成が簡素な傾き検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る傾き検出装置は、複数の発光部と、前記複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力する受光手段と、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力する出力手段と、を有し、前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する。
【発明の効果】
【0007】
本発明によれば、構成が簡素な傾き検出装置を提供できる。
【図面の簡単な説明】
【0008】
図1】実施形態に係る視線検出装置の全体構成例を示す図である。
図2】第1実施形態に係るVCSELアレイの構成例を示す図である。
図3】実施形態に係るフォトダイオードへのレーザ光入射の一例を示す図である。
図4】比較例に係るフォトダイオードへのレーザ光入射を示す図である。
図5】実施形態に係る処理部のハードウェア構成例のブロック図である。
図6】第1実施形態に係る処理部の機能構成例のブロック図である。
図7】第1実施形態に係る処理部による処理例のフローチャートである。
図8図2のVCSELアレイからの光の眼球による反射光位置の第1図である。
図9図2のVCSELアレイからの光の眼球による反射光位置の第2図である。
図10図2のVCSELアレイからの光の眼球による反射光位置の第3図である。
図11図2のVCSELアレイからの光の眼球による反射光位置の第4図である。
図12図2のVCSELアレイからの光の眼球による反射光位置の第5図である。
図13図2のVCSELアレイからの光の眼球による反射光位置の第6図である。
図14図2のVCSELアレイからの光の眼球による反射光位置の第7図である。
図15】第1実施形態に係る視線方向検出のシミュレーション結果例の第1図である。
図16】第1実施形態に係る視線方向検出のシミュレーション結果例の第2図である。
図17】比較例に係るVCSELアレイの配置を示す図である。
図18図17のVCSELアレイからの光の眼球による反射光位置の図である。
図19】比較例に係る視線方向検出のシミュレーション結果を示す第1図である。
図20】比較例に係る視線方向検出のシミュレーション結果を示す第2図である。
図21】変形例に係るVCSELアレイの配置例を示す図である。
図22図21のVCSELアレイからの光の眼球による反射光位置の第1図である。
図23図21のVCSELアレイからの光の眼球による反射光位置の第2図である。
図24図21のVCSELアレイからの光の眼球による反射光位置の第3図である。
図25図21のVCSELアレイからの光の眼球による反射光位置の第4図である。
図26図21のVCSELアレイからの光の眼球による反射光位置の第5図である。
図27図21のVCSELアレイからの光の眼球による反射光位置の第6図である。
図28図21のVCSELアレイからの光の眼球による反射光位置の第7図である。
図29図21のVCSELアレイからの光の眼球による反射光位置の第8図である。
図30】変形例に係る視線検出装置による検出結果例を示す第1図である。
図31】変形例に係る視線検出装置による検出結果例を示す第2図である。
図32】凹面ミラーを有さない構成例を示す図である。
図33】凹面ミラーおよびレンズを有さない構成例を示す図である。
図34】第2実施形態に係る処理部の機能構成例のブロック図である。
図35】第2実施形態に係る処理部による処理例のフローチャートである。
図36】第3実施形態に係る処理部の機能構成例のブロック図である。
図37】第3実施形態に係る処理部による処理例のフローチャートである。
図38】第4実施形態に係る網膜投影表示装置の構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を適宜省略する。
【0010】
以下に示す実施形態は、本発明の技術思想を具体化するための傾き検出装置を例示するものであって、本発明を以下に示す実施形態に限定するものではない。以下に記載されている構成部品の形状、その相対的配置、パラメータの値等は特定的な記載がない限り、本発明の範囲をそれのみに限定する趣旨ではなく、例示することを意図したものである。また図面が示す部材の大きさや位置関係等は、説明を明確にするため、誇張している場合がある。
【0011】
以下に示す図においてX軸、Y軸及びZ軸により方向を示す場合があるが、X軸に沿うX方向は、実施形態に係る傾き検出装置が有する複数の発光部が発光面から光を発光する方向に沿う方向を示し、Y軸に沿うY方向は、上記発光面内における所定方向を示し、Z軸に沿うZ方向は、上記発光面内において所定方向と直交する方向を示すものとする。
【0012】
X方向で矢印が向いている方向を+X方向、+X方向の反対方向を-X方向と表記し、Y方向で矢印が向いている方向を+Y方向、+Y方向の反対方向を-Y方向と表記し、Z方向で矢印が向いている方向を+Z方向、+Z方向の反対方向を-Z方向と表記する。実施形態では、複数の発光部は一例として-X方向側に光を発するものとする。但し、これらのことは、傾き検出装置の使用時における向きを制限するものではなく、使用時における傾き検出装置の向きは任意である。
【0013】
実施形態に係る傾き検出装置は、複数の発光部と、該複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力する受光手段と、該受光手段から出力される電気信号に基づいて、対象物の傾きの検出結果を出力する出力手段と、を有する。受光手段は、前記対象物の傾きがほぼ同じである状態において、複数の発光部から発光され、対象物により反射された複数の光を受光する。
【0014】
実施形態に係る傾き検出装置は、複数の発光部により発光された光に基づいて対象物の傾きを検出するため、MEMS(Micro Electro Mechanical Systems)ミラー等の可動部、および該可動部を駆動させる駆動手段を用いずに対象物の傾きを検出でき、傾き検出装置の構成が簡素化する。また、傾き検出装置は、複数の発光部から発光され、対象物により反射された複数の光を受光するため、受光した光の光強度に基づく電気信号を出力するフォトダイオード等の受光手段を用いて対象物の動きを追尾できる。このような受光手段は、受光した光の位置に基づく電気信号を出力するPSD(Position Sensitive Detector)等の他の受光手段と比較して構成が簡素であり、且つ受光手段を駆動させる駆動手段の構成も簡素である。以上のようにして、本実施形態では、構成が簡素な傾き検出装置を提供する。
【0015】
対象物は、例えば人の眼球である。眼球は人間が視線を向けた方向に傾く。傾き検出装置は、例えば眼球の傾きの検出結果を人間の視線方向情報として出力する視線検出装置である。なお、眼球の傾き情報とは、直接、傾き角度を示す情報の他に、眼球の傾き角度以外に傾き角度に関する情報も含む。
【0016】
視線検出装置から出力される視線方向情報は、例えばアイトラッキング装置または検眼装置等において利用される。あるいは該視線方向情報は、網膜投影表示装置又はHMD(ヘッドマウントディスプレイ;Head Mounted Display)等の頭部装着型表示装置において、網膜等に画像を投影する際に、視線方向に応じて投影画像の位置又は画像の内容を補正するため等に利用される。
【0017】
以下、視線検出装置を傾き検出装置の一例として実施形態を説明する。眼球は対象物の一例であり、また立体物の一例である。なお、実施形態の図では、人間の右目の眼球を例示するが、左目の眼球であっても視線検出装置の機能および作用効果は同様である。また2つの視線検出装置を両目の眼球にそれぞれ適用する場合においても、視線検出装置の機能および作用効果は同様である。
【0018】
[実施形態]
<視線検出装置10の構成例>
(全体構成)
図1は、実施形態に係る視線検出装置10の全体構成の一例を説明する図である。図1に示すように、視線検出装置10は、VCSELアレイ1と、入射位置制御手段としてのレンズ2および凹面ミラー3と、検出手段としてのフォトダイオード4と、処理部100と、を有する。
【0019】
視線検出装置10は、処理部100から駆動信号DrをVCSELアレイ1に出力することにより、VCSELアレイ1からレーザ光L1を発光する。VCSEL1から発光されたレーザ光L1は、レンズ2により一旦集光された後、凹面ミラー3に近づくにつれて広がるレーザ光L2として凹面ミラー3に入射する。
【0020】
凹面ミラー3に入射したレーザ光L2は、凹面ミラー3により眼球30に向けて反射された後、レーザ光L3として眼球30の角膜31に入射する。角膜31に入射したレーザ光L3は、角膜31により反射され、レーザ光L4としてフォトダイオード4に入射する。フォトダイオード4は、眼球30の角膜31により反射されたレーザ光L4を受光し、受光したレーザ光L4の光強度に基づく電気信号Seを処理部100に出力する。
【0021】
処理部100は、フォトダイオード4から出力される電気信号Seに基づいて眼球30の傾きを検出し、検出結果としての視線方向情報Edを外部装置に出力する。なお、外部装置は、視線方向情報Edが利用されるアイトラッキング装置、検眼装置、網膜投影表示装置またはHMD等である。あるいは外部装置は、視線方向情報Edを記憶する記憶装置や、視線方向情報Edを表示する表示装置、視線方向情報Edを送信する送信装置等であってもよい。
【0022】
レーザ光L1、L2、L3およびL4は、レーザ光が伝搬する光路の位置や、伝搬されるレーザ光の広がり角度等の状態が異なるが、視線検出のために使用されるレーザ光としての機能および性質は同じである。このため、これらを特に区別しない場合には、レーザ光Lと総称する。
【0023】
VCSELアレイ1は、複数の発光部の一例である。例えばVCSELアレイ1は、VCSELアレイ1に含まれる発光面1Aに沿った2つの方向であるX方向およびY方向のそれぞれに沿って2次元配列された複数のVCSEL(垂直共振器面発光レーザ;Vertical Cavity Surface Emitting LASER)素子を含む。
【0024】
VCSELアレイ1に含まれる複数のVCSEL素子は、それぞれ発光部に対応する。例えばVCSELアレイ1は、複数のVCSEL素子から、指向性と有限の広がり角を有するレーザ光L1を-X方向側に発光できる。
【0025】
レーザ光L1は、発光部により発光された光に対応する。視線検出装置10は、処理部100からの駆動信号Drにより、VCSELアレイ1に含まれる複数のVCSEL素子それぞれを個別に独立駆動させ、VCSELアレイ1に含まれる複数のVCSEL素子から選択的にレーザ光L1を発光させる。
【0026】
例えば、視線検出装置10は、VCSELアレイ1に含まれる複数のVCSEL素子からレーザ光L1を任意に発光させることができる。本実施形態では特に、視線検出装置10は、複数のVCSEL素子に含まれる複数のVCSEL素子により複数のレーザ光L1を発光させる。また、視線検出装置10は、複数のレーザ光L1のそれぞれを選択的に順次切り替える。
【0027】
レーザ光Lの波長は、視線を検出される人間の視覚が阻害されないように、非可視光である近赤外光であることが好ましい。例えば近赤外光の波長は、700[nm]以上で2500[nm]以下である。但し、レーザ光Lの波長は、非可視光に限定されず、可視光であってもよい。例えば可視光の波長は、360[nm]以上で830[nm]以下である。なお、VCSELアレイ1については、別途、図2を参照して詳述する。
【0028】
レンズ2および凹面ミラー3は、複数のVCSEL素子から発光されたレーザ光L1が眼球30により反射されたレーザ光L4のフォトダイオード4への入射位置を制御する入射位置制御手段としての機能を有する。レンズ2および凹面ミラー3は、レーザ光L1の広がり角を変換することにより、レーザ光L4がフォトダイオード4に入射する位置を制御する。
【0029】
レンズ2は、正の屈折力を有する集光素子である。レンズ2は、レンズ2と凹面ミラー3との間にレンズ2の焦点が配置されるように設けられる。レンズ2を透過したレーザ光L2は、レンズ2の焦点位置において一旦集光された後、凹面ミラー3に近づくにつれて広がりながら凹面ミラー3に入射する。レンズ2は、凹面ミラー3内の広い領域にレーザ光L2を入射させ、凹面ミラー3により反射されたレーザ光L3を眼球30の広い領域に入射させることができ、視線検出装置10による視線方向の検出範囲を拡大することができる。レンズ2は、複数のVCSEL素子からのレーザ光L1を屈折させることにより、レーザ光L2の凹面ミラー3への入射位置を制御し、視線検出装置10による視線方向の検出範囲を拡大する。
【0030】
但し、レーザ光Lの凹面ミラー3への入射位置は、VCSELアレイ1におけるVCSEL素子同士の位置関係を調節することによっても制御できる。VCSEL素子同士の位置関係の調節は、レンズ2を用いずにレーザ光Lの凹面ミラー3への入射位置を制御できるため、視線検出装置10を小型化すると共に、部品数を減らして視線検出装置10の構成を簡素化する点において好ましい。一方、レンズ2の使用は、レンズ2の焦点距離とレンズ2が配置される位置との調節により、レーザ光Lの凹面ミラー3への入射位置を制御可能とし、視線検出装置10の製作を簡単にする点において好ましい。
【0031】
凹面ミラー3は、入射してきたレーザ光L2を反射し、反射したレーザ光L3を眼球30に近づくにつれて集束させる集束反射手段としての機能を有する。凹面ミラー3は、レーザ光L2が入射する側に曲率中心を有する。
【0032】
レーザ光L3は、眼球30の角膜31付近に入射する。凹面ミラー3の曲率中心は、VCSELアレイ1と、凹面ミラー3と、の間におけるレーザ光Lの光軸から外れて位置する。この配置によりVCSEL1および凹面ミラー3は、いわゆる軸外し光学系を構成する。レーザ光Lの光軸は、換言するとレーザ光Lとしてのレーザビームの中心軸である。
【0033】
本実施形態では、凹面ミラー3を例示するが、眼球30に近づくにつれてレーザ光Lを集束させるものであれば、凸面レンズと、平面ミラーと、を組み合わせた構成や、ホログラム等の波面制御素子、回折光学素子等が凹面ミラー3に代えて設けられてもよい。凹面ミラー3は、部品数を減らし、視線検出装置10を小型化できる点において好ましい。凹面ミラー3は、反射率が高いため、光量損失を低減できる点において好ましい。波面制御素子や回折光学素子は位置合わせが容易であるため、視線検出装置10の製作を簡単にする点において好ましい。
【0034】
凹面ミラー3の凹面がレーザ光L3の光軸に交差する直交2方向において曲率の異なるアナモフィックな非球面であると、フォトダイオード4の受光面におけるレーザ光L4の直径が微小化すると共に、レーザ光L4のビームが等方な状態に整形される。例えば、図1のY方向における凹面ミラー3の曲率半径がZ方向における凹面ミラー3の曲率半径よりも小さいと、等方なビームが整形される。なお、レーザ光L4は、対象物により反射された光の一例である。
【0035】
レーザ光L3の眼球30への入射角度は、眼球30が正視した場合に角膜31へ所定角度において入射するように調整される。レーザ光L3の眼球30への入射角度は、レーザ光L3の光軸と、レーザ光L3の光軸が眼球30の表面に交わる点を含む眼球30の接平面と、のなす角度である。
【0036】
レーザ光L3の眼球30への入射角度における所定角度は、視線検出される人間の視野に凹面ミラー3が含まれないように、大きいことが好ましい。視線検出される人間の鼻が位置する側における人間の視野角は、正視方向を0度、すなわち基準とすると、一般に略60度である。従って、視線検出装置10における眼球30へのレーザ光L3の入射角度は、正視方向を基準として略60度以上であることが好ましい。
【0037】
VCSELアレイ1における複数のVCSEL素子それぞれから発光された複数のレーザ光Lのうちの少なくとも一部のレーザ光Lは、他のレーザ光Lに対し、眼球30の角膜31における異なる位置に異なる入射角度で入射する。
【0038】
眼球30の角膜31の表面は、水分を含む透明体であり、約2[%]以上で4[%]以下の反射率を有するのが一般的である。眼球30の角膜31に入射したレーザ光L3は、眼球30の角膜31の表面で反射され、レーザ光L4としてフォトダイオード4に向けて伝搬する。
【0039】
フォトダイオード4は、VCSELアレイ1により発光され、眼球30により反射されたレーザ光L4を受光し、レーザ光Lの光強度に基づく電気信号Seを出力する受光手段の一例である。フォトダイオード4には、可視光に対して高い感度を有するシリコンフォトダイオードが好ましい。フォトダイオード4には、PN型、PIN型、またはAPD(Avalanche photodiode)のいずれも適用可能である。視線検出装置10の構成を簡素化する観点では、PN型が特に好ましい。電気信号Seは、例えば電流信号であるが、電圧信号であってもよい。また、フォトダイオード4の構成は、例えばアノード電極とカソード電極をそれぞれ1つずつのみ有し、光強度に基づく電気信号を出力可能な構成であり、アノード電極を2つ、カソード電極を1つ有する構成や、アノード電極とカソード電極をそれぞれ2つ以上有する構成とすることで、光位置に基づく電気信号も出力可能な構成は含まない。このような光位置に基づく電気信号を出力可能な構成としては、PSDやCMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)といった撮像素子などが挙げられる。視線検出装置10の構成を簡素化する観点では、撮像素子と比べて消費電力の小さいフォトダイオードが特に望ましい。
【0040】
本実施形態では特に、フォトダイオード4は、眼球30の傾きがほぼ同じである状態において、VCSELアレイ1に含まれる複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光する。
【0041】
眼球30の傾きがほぼ同じである状態は、例えば眼球30の傾きが±3.0[度]以下の状態である。例えば、眼球30の傾きがほぼ同じである状態は、眼球30が微小振幅する固視微動状態であり、このとき眼球30は±略3.0[度]以内での微小振幅をする。
【0042】
処理部100は、フォトダイオード4から出力される電気信号Seに基づいて、眼球30の傾きの検出結果を出力する出力手段の一例である。処理部100の構成については、別途、図10および図11を参照して詳述する。
【0043】
(VCSELアレイ1の構成例)
図2は、VCSELアレイ1の構成の一例を示す図である。図2は、VCSELアレイ1がレーザ光L1を発光する方向である-X方向側から視たVCSELアレイ1を示している。
【0044】
VCSELアレイ1は、VCSEL素子11から16を含む。VCSEL素子11は発光面11Aを有し、VCSEL素子12は発光面12Aを有し、VCSEL素子13は発光面13Aを有する。VCSEL素子14は発光面14Aを有し、VCSEL素子15は発光面15Aを有し、VCSEL素子16は発光面16Aを有する。発光面11Aから16Aのそれぞれは、レーザ光L1が発光される面である。VCSELアレイ1の発光面1Aは、発光面11Aから16Aの全てが含まれる面である。なお、レーザ光L1は、VCSEL素子11から16のそれぞれから発光されるレーザ光の総称表記である。
【0045】
VCSEL素子11から16は、発光面1Aに沿った、異なる2つの方向に沿って並んで設けられる。発光面1Aに沿った異なる2つの方向は、図2では、Y方向およびZ方向である。VCSEL素子11から16は、Y方向およびZ方向のそれぞれに沿って2次元配列している。Y方向およびZ方向はいずれも、発光部に含まれる発光面に沿った所定方向の一例である。
【0046】
本実施形態では特に、VCSEL素子11から16における隣り合うVCSEL素子同士のY方向およびZ方向に沿った間隔Dは、いずれも等しい。但し、この「等しい」は、一般に誤差と認められる程度の差異、例えば間隔Dの1/10以下の差異は許容するものである。この差異が含まれる場合にも、視線検出装置10の作用効果は得られる。
【0047】
VCSEL素子11から16の配列は、1次元配列であってもよいが、視線検出装置10による視線方向の検出範囲を拡大する点では、2次元配列が好ましい。
【0048】
複数の発光部は、VCSELアレイ1に限定されるものではなく、例えば発光部として、LD(半導体レーザ;Laser Diode)またはLED(発光ダイオード;Light Emitting Diode)等を複数含むものであってもよい。
【0049】
本実施形態では、複数の発光部としてVCSEL素子11から16を含むVCSELアレイ1を例示するが、複数の発光部のうち、少なくとも一部の発光部は、パルス状のレーザ光L1を発するパルスレーザ光源であってもよい。また、複数の発光部は、複数種類の光源をそれぞれ発光部として組み合わせることにより構成されてもよい。例えば、複数の発光部は、レーザ光L1を連続発光するLDと、レーザ光L1をパルス発光するパルスレーザ光源と、を組み合わせることにより構成でき、波長が異なるレーザ光L1を発する複数のLDを組合せることにより構成できる。
【0050】
VCSELアレイ1は、複数の発光部の面内集積化が容易であるため、視線検出装置10を小型化する観点において好ましい。またVCSELアレイ1は、小さい光量のレーザ光Lを発光する場合にもレーザ光Lの光量を安定させることができるため、眼球30へ入射するレーザ光Lの光量を抑えつつ、視線方向を高精度に検出できる点において好ましい。
【0051】
VCSEL素子11から16により発光されたレーザ光L1のそれぞれは、VCSELアレイ1におけるVCSEL素子11から16それぞれの開口において回折することにより、レンズ2に近づくにつれて広がる光である。レーザ光L1の広がり角は、VCSEL素子11から16それぞれの開口形状によって制御できる。VCSEL素子11から16それぞれの開口面積は、消費電力を小さくできる点において小さい方が好ましい。
【0052】
VCSEL素子11から16同士の相対的な位置関係は予め定められており、処理部100により視線方向を検出する際に使用される推定モデルの作成にあたって参照される。視線検出装置10は、推定モデルを作成するにあたって使用した図2に示すVCSEL素子11から16同士の相対的な位置関係に基づいて視線方向を検出する。
【0053】
(フォトダイオード4へのレーザ光L4の入射例)
次に、図3および図4を参照して、フォトダイオード4へのレーザ光L4の入射について説明する。図3は、実施形態に係るフォトダイオード4へのレーザ光L4の入射の一例を示す図である。図4は、比較例に係るフォトダイオードへのレーザ光入射を示す図である。
【0054】
図3(a)に示すように、眼球の視線方向50が、正視方向であるとき、レーザ光L4は、フォトダイオード4の受光面41に入射する。レーザ光L4は、レーザ光L41と、レーザ光L42と、を含む。なお、レーザ光L4は、レーザ光L41およびレーザ光L42を特に区別しない場合の総称表記である。レーザ光L41およびL42はいずれも、受光手段に近づくにつれて広がる。図3(a)では、広がり角はφであり、広がったレーザ光L4の全てがフォトダイオード4の受光面41に入射している。ただし、受光面41に入射するレーザ光は、広がったレーザ光L4の全てでなくても良い。例えば、レーザ光L42の一部が、受光面41から-Y方向にはみ出していても良い。
【0055】
レーザ光L41は、VCSEL素子11から16のうちの1つのVCSEL素子、例えばVCSEL素子11から発光され、レンズ2および凹面ミラー3を経た後、眼球30により反射されてフォトダイオード4の受光面41に入射する。レーザ光L42は、VCSEL素子11から16のうちの上記1つのVCSEL素子とは別のVCSEL素子、例えばVCSEL素子12から発光され、レンズ2および凹面ミラー3を経た後、眼球30により反射されてフォトダイオード4の受光面41に入射する。VCSELアレイ1は、レーザ光L41およびレーザ光L42を発光する。
【0056】
レーザ光L41およびレーザ光L42がフォトダイオード4の受光面に入射すると、フォトダイオード4は、受光した光強度に基づく電気信号を出力する。ここで図3(b)のように眼球の傾きが変化すると、レーザ光L41およびレーザ光L42が眼球表面に入射する位置及び角度が変化する。眼球への入射位置が変化することで、眼球より反射した光のフォトダイオード4への着地位置が変化する。例えば、図3(b)に示すように眼球が左に傾いた場合(視線方向50が、正視方向に対して左に傾いた場合)には、レーザ光L41およびレーザ光L42のフォトダイオード4への着地位置は-Y方向へシフトする。
【0057】
着地位置の変化によって、フォトダイオード4の受光面に着地する光量が変化することで、フォトダイオード4が出力する電気信号の大きさが変化する。より具体的には、図3(b)ではフォトダイオード4への着地位置が変化することで、レーザ光L41およびレーザ光L42の一部がフォトダイオード4の受光面からはみ出している。そのため、電気信号P41およびP42は図3(a)の場合と比べて小さくなる。
【0058】
フォトダイオード4の受光面をYZ平面から見た場合のレーザL4の様子を図3(c)に示す。本実施形態では、レーザ光L41とレーザ光L42の中心間距離dは以下の式を満たす。
|h-w/2|≦d≦h+w/2
ただし、hはビーム半径であり、wは受光面の長さである。中心間距離dが上限を上回ると、複数のレーザ光がフォトダイオード4の受光面に入射しなくなるため、眼球の傾きを適切に推定することができない。一方で、下限を下回ると、眼球の傾きの変化に対してレーザ光L41およびL42に対する受光量の変化がなくなるため、この場合も適切な推定ができなくなる。
【0059】
本実施形態では、眼球の傾きと複数のレーザ光に基づくフォトダイオード4の出力信号強度との相関関係をモデル化することで、複数のレーザ光に基づくフォトダイオード4の信号強度から眼球の傾きを推定することができる。
【0060】
図4は比較例を示すものである。図3とは異なり、眼球の傾きが変化してもレーザL42に基づくフォトダイオード4の出力信号強度が変化しないので、眼球の傾きと複数のレーザ光に基づくフォトダイオード4の出力信号強度との相関を得ることができない。よって、この場合においては眼球の傾きを推定することができない。
【0061】
本実施形態では、VCSEL素子11から16における隣り合うVCSEL素子同士の間隔D(図2参照)の長さは、フォトダイオード4が眼球30によって反射されたレーザ光L4を受光する受光面41のY方向およびZ方向のそれぞれに沿った長さである幅wよりも短い。
【0062】
さらに、レーザ光L41およびL42同士は、少なくとも一部が受光面41上において重なる。図3における重複領域eは、レーザ光L41およびL42同士が受光面41上において重なる領域のY方向に沿った長さを表している。
【0063】
視線検出装置10では、レーザ光L4が以上のような状態になるように、各VCSEL素子間の発光面1Aに沿った間隔、レンズ2の曲率半径および設置位置、並びに凹面ミラー3の曲率半径および設置位置が予め決定される。視線検出装置10は、このレーザ光L4をフォトダイオード4に入射させることにより、フォトダイオード4の受光面41上におけるレーザ光L4のビームサイズを大きくすることができる。これにより、フォトダイオード4は、VCSELアレイ1のVCSEL素子11および12から発光され、眼球30により反射されたレーザ光L41およびL42光を受光可能になる。
【0064】
フォトダイオード4の受光面41上におけるレーザ光L4のビーム径を大きくすると、眼球の傾きが変化したときに、レーザ光L4の一部が受光面から外れる確率が高くなり、結果として眼球の傾きとフォトダイオード4の出力信号値との相関が強くなる。そのため、フォトダイオード4の受光面41上におけるレーザ光L4のビーム径は大きい方が望ましい。レーザ光L4のビーム径がフォトダイオード4の受光面の所定方向に沿った長さ以上になると、眼球の傾きに対するフォトダイオード4の出力信号の変化量が大きくなるので好ましい。
【0065】
但し、フォトダイオード4へのレーザ光L4の入射は、図3に示した状態に限定されるものではない。視線検出装置10は、レーザ光L4が図4に示した状態になるように、VCSELアレイ1における各VCSEL素子間の発光面1Aに沿った間隔、レンズ2の曲率半径および設置位置、並びに凹面ミラー3の曲率半径および設置位置を決定することもできる。
【0066】
(処理部100のハードウェア構成)
次に、処理部100について説明する。図2は、処理部100のハードウェア構成の一例を説明するブロック図である。
【0067】
図5に示すように、処理部100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、SSD(Solid State Drive)104と、を有する。また処理部100は、光源駆動回路105と、I/V(Intensity of current/Volt)変換回路106と、A/D(Analog/Digital)変換回路107と、入出力I/F(Interface)108と、を有する。これらは、システムバスBを介して相互に通信可能に電気的に接続している。
【0068】
CPU101は、ROM102やSSD104等の記憶装置からプログラムやデータをRAM103上に読み出し、プログラムを実行することにより、処理部100全体の制御や後述する機能を実現する演算装置である。
【0069】
ROM102は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ(記憶装置)である。ROM102は、処理部100の起動時に実行されるBIOS(Basic Input/Output System)、OS設定及びネットワーク設定等のプログラム、並びにデータを格納している。RAM103は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。
【0070】
SSD104は、処理部100による処理を実行するプログラムや各種データが記憶された不揮発性メモリである。なお、SSDはHDD(Hard Disk Drive)であってもよい。
【0071】
光源駆動回路105は、VCSELアレイ1に電気的に接続し、制御信号に従ってVCSELアレイ1に駆動信号Drを出力することにより、VCSELアレイ1を発光駆動させる電気回路である。本実施形態では、光源駆動回路105は、駆動信号Drの出力先を切り替えるデマルチプレクサ回路を含んでいる。駆動信号Drは、電流信号であるが、電圧信号であってもよい。
【0072】
I/V変換回路106は、フォトダイオード4に電気的に接続し、フォトダイオード4から出力されるアナログの電気信号SeをI/V変換したアナログ電圧信号を出力する電気回路である。
【0073】
A/D変換回路107は、I/V変換回路106から出力されるアナログ電圧信号をA/D変換したデジタル電圧信号を出力する電気回路である。
【0074】
入出力I/F108は、外部装置と処理部100とを通信可能にするインターフェースである。
【0075】
(処理部100の機能構成)
図6は、処理部100の機能構成の一例を示すブロック図である。
【0076】
図6に示すように、処理部100は、選択部111と、光源駆動部112と、切替部113と、I/V変換部114と、A/D変換部115と、第1蓄積部116と、判定部117と、推定部118と、出力部119と、を有する。
【0077】
処理部100は、CPU101がROM102に格納された所定のプログラムを実行すること等により選択部111および推定部118の各機能を実現し、光源駆動回路105等により光源駆動部112および切替部113の各機能を実現する。また、処理部100は、I/V変換回路106およびA/D変換回路107等によりI/V変換部114およびA/D変換部115の各機能を実現し、RAM103等により第1蓄積部116の機能を実現し、入出力I/F等により出力部119の機能を実現する。
【0078】
なお、処理部100は、上記の各機能の少なくとも一部をASIC(application specific integrated circuit)や、FPGA(Field-Programmable Gate Array)等の電子回路により実現してもよい。また処理部100は、上記の各機能の少なくとも一部を、複数の機能構成部の分散処理により実現してもよいし、外部装置を利用して実現してもよい。
【0079】
選択部111は、VCSELアレイ1に含まれるVCSEL素子11から16のうち、発光させるVCSEL素子を選択し、選択されたVCSEL素子を示す情報を切替部113に出力する。なお、VCSELアレイ1に含まれるVCSEL素子の個数である6つは一例である。VCSEL素子の数は、複数であれば任意の数であってもよい。
【0080】
光源駆動部112は、VCSELアレイ1を発光させるための駆動信号Drを、選択部111により選択されたVCSEL素子へ切替部113を介して出力する。
【0081】
切替部113は、選択部111により選択されたVCSEL素子に対して光源駆動部112からの駆動信号Drが出力されるように切り替える。
【0082】
I/V変換部114は、フォトダイオード4から出力される電気信号Seをアナログ電圧信号に変換し、変換後の電圧信号をA/D変換部115へ出力する。
【0083】
A/D変換部115は、I/V変換部114から入力したアナログ電圧信号をデジタル電圧データDaに変換した後、第1蓄積部116に出力する。
【0084】
第1蓄積部116は、A/D変換部115から入力したデジタル電圧データDaを、VCSEL素子の個数分、全て蓄積する。第1蓄積部116は、判定部117および推定部118による処理において参照可能に、デジタル電圧データDaとVCSEL素子11から16とを対応付けて蓄積できる。
【0085】
判定部117は、VCSEL素子11から16の全てを発光させたか否かを判定する。例えば、判定部117は、第1蓄積部116に蓄積されたデジタル電圧データDaがVCSEL素子の個数分、全て蓄積されたか否かに基づき、VCSEL素子11から16の全てを発光させたか否かを判定できる。
【0086】
推定部118は、第1蓄積部116に蓄積されたデジタル電圧データDaに基づき、予め作成された推定モデルを用いて、視線方向情報Edを算出する。推定部118は、算出した視線方向情報Edを、出力部119を介して外部装置に出力する。
【0087】
<処理部100による処理例>
図7は、処理部100による処理の一例を示すフローチャートである。処理部100aは、例えば視線検出装置10のユーザ(以下、単にユーザという)による開始操作入力信号に応じて図7の処理を開始する。
【0088】
まず、ステップS71において、処理部100は、選択部111により、VCSEL素子11から16のうち、どのVCSEL素子を発光させるかを選択し、選択されたVCSEL素子を示す情報を切替部113に出力する。
【0089】
続いて、ステップS72において、処理部100は、光源駆動部112から切替部113を経由して、駆動信号Drを選択したVCSEL素子へ出力する。駆動信号Drが印加されたVCSEL素子は、駆動信号Drに応じてレーザ光L1を発光する。レーザ光L1は、レンズ2および凹面ミラー3を経た後、眼球30により反射されてレーザ光L4としてフォトダイオード4に入射する。フォトダイオード4は、受光したレーザ光L4の光強度に応じた電気信号Seを処理部100に出力する。
【0090】
続いて、ステップS73において、処理部100は、I/V変換部114により電気信号Seをアナログ電圧信号に変換し、その後、A/D変換部115により該アナログ電圧信号をデジタル電圧データDaに変換する。処理部100は、第1蓄積部116によって、発光したVCSEL素子に対応付けてデジタル電圧データDaを蓄積する。
【0091】
続いて、ステップS74において、処理部100は、判定部117により、VCSEL素子11から16の全てを発光させたか否かを判定する。
【0092】
ステップS74において、全てのVCSEL素子を発光させていないと判定された場合には(ステップS74、No)には、処理部100は、ステップS71以降の処理を再度行う。この場合には、処理部100は、まだ発光していないVCSEL素子を選択部111により選択し、このVCSEL素子を発光させる。
【0093】
一方、ステップS74において、全てのVCSEL素子を発光させたと判定された場合(ステップS74、Yes)には、ステップS75において、処理部100は、推定部118により、予めあらかじめ作成された推定モデルを用いて、第1蓄積部116に蓄積されたVCSEL素子11から16に対応する6つのデジタル電圧データDaに基づき、視線方向情報Edを演算により取得する。
【0094】
続いて、ステップS76において、処理部100は、推定部118により取得された視線方向情報Edを、出力部119を介して外部装置に出力する。
【0095】
続いて、ステップS77において、処理部100は、処理を終了するか否かを判定する。例えば、処理部100は、ユーザによる終了操作入力信号等に応じて終了するか否かを判定できる。
【0096】
ステップS77において、終了すると判定された場合には(ステップS77、Yes)、処理部100は、処理を終了する。一方、終了しないと判定された場合には(ステップS77、No)、処理部100は、ステップS71以降の処理を再度行う。
【0097】
このようにして、処理部100は、眼球30の傾きに基づく視線方向情報Edを出力できる。
【0098】
(推定部118による推定モデル例)
次に、推定部118による推定演算において用いられる推定モデルについて説明する。推定モデルは、例えば、正準相関分析(Canonical Correlation Analysis)によって作成される(例えば、非特許文献「赤穂 昭太郎、日本神経回路学会誌, Vol.20, No.2 (2013),p62-72)」等を参照)。
【0099】
正準相関分析は多変量解析の一種であり、二組の高次元データxおよびyから共通する成分を取り出す手法である。例えば、高次元データxを視線方向データ、高次元データyをデジタル電圧データDaとして、次の(1)式および(2)式のように表すことができる。
【数1】
【数2】
【0100】
(1)式および(2)式において、θxは水平視線方向[度]であり、θzは垂直視線方向[度]である。またP1からP6は、各発光部に応じたデジタル電圧データDaである。xは2次元データであり、yは6次元データである。
【0101】
推定部118は、2つの高次元データx、yに対して、線形変換ベクトルaおよびbを内積演算することにより、次の(3)式により表されるスカラー量uおよびvを算出できる。なお、線形変換ベクトルaの次元数は、高次元データxの次元数に等しく、線形変換ベクトルbの次元数は、高次元データyの次元数に等しい。
【数3】
【0102】
(3)式において、スカラー量u、vの相関係数が大きくなるように線形変換ベクトルaおよびbが求められる。推定部118は、スカラー量uおよびvを、相関係数が最大のもの、次に大きいもの、3番目に大きいものというように、順番に求めることができる。なお、正準相関分析で求めることができるスカラー量uおよびvの組の最大数は、元の高次元データのうち、次元数が小さいデータの次元数に等しい。例えば、(1)式および(2)式により表される高次元データを正準相関分析によって分析した結果、取得されるスカラー量uおよびvの組は2組である。
【0103】
正準相関分析によって得られたスカラー量uおよびvには強い相関関係があるため、スカラー量uおよびvの関係は、(4)式により表される線形曲線によって近似できる。
【数4】
(4)式における係数cおよびdは、例えば最小二乗法で求めることができる。
【0104】
(4)式により表されるスカラー量uおよびvの組を、正準相関分析により2組求めることができれば、推定部118は、VCSEL素子それぞれに応じた高次元データyを以下の連立方程式に代入することにより視線方向の推定値を算出できる。
【数5】
【0105】
(5)式における各変数の下添え字は、それぞれ正準相関分析で求めた相関係数に対応した変数である。例えば、最も値の大きい相関変数に対応する線形変換ベクトルは、a1およびb1と表すことができ、スカラー量uおよびvの線形近似パラメータは、c1およびd1と表すことができる。
【0106】
また、2番目に大きい相関変数に対応する線形変換ベクトルは、a2およびb2と表すことができ、スカラー量uおよびvの線形近似パラメータは、c2およびd2と表すことができる。
【0107】
(5)式は、推定モデルを表す数式である。高次元データyに対応するデジタル電圧データDaが得られた時、推定部118は、デジタル電圧データDaを(5)式に代入することにより、視線方向情報Edに対応する高次元データxを推定できる。
【0108】
正準相関分析によって推定モデルを構築するために、視線方向の推定演算を実行する前に、予め高次元データxおよびyのサンプルデータが作成される。サンプルデータは、実験により取得されてもよいし、光学シミュレーションにより取得されてもよい。
【0109】
サンプルデータ数が多ければ多いほど、推定モデルによる推定精度が向上する。また、眼球30の個体差に対応するために、予め複数の推定モデルを作成しておき、最も精度が高いものを選択したり、眼球30ごとに推定モデルを作成したりすることにより、推定精度が向上する。
【0110】
<受光面41へのレーザ光L4の入射位置シミュレーション結果例>
次に、図8から図14を参照して、VCSELアレイ1から発光され、眼球30により反射されてフォトダイオード4の受光面41に入射するレーザ光L4の入射位置を、光学シミュレーションにより求めた結果について説明する。
【0111】
図8は、VCSELアレイ1に含まれるVCSEL素子11から16の全てから発光され、受光面41に入射したレーザ光L4の入射位置を示している。図9から図14は、VCSEL素子11から16のそれぞれに対応するレーザ光L4の入射位置を個別に示している。
【0112】
図9はVCSEL素子11、図10はVCSEL素子12、図11はVCSEL素子13、図12はVCSEL素子14、図13はVCSEL素子15、図14はVCSEL素子16、からそれぞれ発光され、受光面41に入射したレーザ光L4の入射位置を示している。
【0113】
図8から図14において、横軸はY方向に沿ったY方向位置[mm]示し、縦軸はZ方向に沿ったZ方向位置[mm]を表している。この光学シミュレーションでは、眼球30の視線方向は、正視方向、すなわちθx=0[度]、θz=0[度]とした。
【0114】
四角枠により示したフォトダイオード4の受光面41の中心は、Y方向位置が0[mm]、Z方向位置が0[mm]に位置する。スポット411から416は、VCSEL素子11から16それぞれから発光され、受光面41近傍に到達したレーザ光L4のビームスポットを表している。
【0115】
スポット411はVCSEL素子11、スポット412はVCSEL素子12、スポット413はVCSEL素子13、スポット414はVCSEL素子14、スポット415はVCSEL素子15、スポット416はVCSEL素子16、それぞれから発光されたレーザ光Lに基づくビームスポットを表している。
【0116】
図8から図14に示すように、スポット411から416それぞれの一部は、受光面41に入射する。このことから、視線検出装置10では、VCSELアレイ1に含まれるVCSEL素子11から16から発光され、眼球30により反射されたレーザ光L4は、受光面41に入射可能であることが分かった。
【0117】
なお、隣接するスポット間の距離dはすべて、以下の式を満たしている。
|h-w/2|≦d≦h+w/2
【0118】
なお、ここでは、スポット411から416それぞれの一部が受光面41に入射した例を示すが、スポット411から416のうちの少なくとも1つのスポット全体が受光面41に入射しても、視線検出装置10の作用効果が得られる。また、スポット411から416の少なくとも2つ以上が受光面41に入射すれば、視線検出装置10の作用効果が得られる。
【0119】
<視線方向検出のシミュレーション>
次に、視線検出装置10による視線方向検出のシミュレーション方法とその結果について説明する。
【0120】
(シミュレーション方法)
まず眼球30の傾き範囲を-4[度]≦θx≦4[度]、-4[度]≦θy≦4[度]とし、予め定めた視線方向を示す61個の視線データごとにおいて、VCSELアレイ1に含まれる各VCSEL素子に応じた光強度データのサンプルを取得した。そして、このサンプルに基づき、正準相関分析を用いて推定モデルを作成した。
【0121】
次に、推定モデルの作成に使用していない60個の視線データごとでの光強度データを、作成した推定モデルに代入して、視線データの推定値を求めた。
【0122】
次に、推定値と、視線データの正解値と、を比較した。
【0123】
(シミュレーション結果)
図15および図16は、視線検出装置10による視線方向検出のシミュレーション結果を例示する図である。図15は、X方向、換言すると水平方向における視線方向θxのシミュレーション結果を示し、図16は、Z方向、換言すると鉛直方向における視線方向θzのシミュレーション結果を示している。図15および図16において、横軸は、視線方向の正解値を表し、縦軸は、推定部118による推定値を表している。
【0124】
図15および図16に示すように、正解値と推定値との間に相関関係があることが分かった。水平方向における視線方向推定結果の二乗平均平方根誤差(RMSE)Δθxは、0.8[度]、垂直方向における視線方向推定結果の二乗平均平方根誤差(RMSE)Δθzは、0.6[度]となった。
【0125】
図15および図16のシミュレーション結果から、視線検出装置10が、フォトダイオード4から出力される電気信号Seに基づいて視線方向を推定し、視線方向情報Edを取得できることが分かった。
【0126】
<比較例、変形例>
(比較例)
図17は、比較例に係るVCSELアレイ1Xに含まれるVCSEL素子11Xから16Xの配置を示す図である。この比較例は、実施形態と比較して、VCSEL素子11Xから16Xの配置、およびフォトダイオード4に入射するレーザ光L4の広がり角がそれぞれ異なっている。
【0127】
具体的には、比較例では、図17に示すように、VCSEL素子11XとVCSEL素子12X、VCSEL素子12XとVCSEL素子13X、VCSEL素子14XとVCSEL素子15X、およびVCSEL素子15XとVCSEL素子16X、のそれぞれのY方向に沿った間隔は、間隔Dである。これに対し、VCSEL素子11XとVCSEL素子14X、VCSEL素子12XとVCSEL素子15X、およびVCSEL素子13XとVCSEL素子16X、のそれぞれのZ方向に沿った間隔は、間隔Dの2倍である。
【0128】
また、比較例では、図17のVCSELアレイ1Xの配置において、フォトダイオード4に入射するレーザ光L4の広がり角が、実施形態に係る広がり角φよりも小さい。
【0129】
以上により、比較例では、各VCSEL素子から発光されたレーザ光Lのうち、1つのVCSEL素子から発光され、眼球30により反射された1つのレーザ光L4しか、受光面41に入射しない状態になっている。換言すると、比較例では、フォトダイオード4は、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光できない。
【0130】
図18は、VCSELアレイ1Xに含まれるVCSEL素子11Xから16X全てから発光され、受光面41に入射したレーザ光L4の入射位置を、光学シミュレーションにより求めた結果を示す図である。
【0131】
上述した図8と同様に、横軸はY方向に沿ったY方向位置[mm]示し、縦軸はZ方向に沿ったZ方向位置[mm]を表している。眼球30の視線方向は、正視方向、すなわちθx=0[度]、θz=0[度]とした。
【0132】
図18において、四角枠により示したフォトダイオード4の受光面41の中心は、Y方向位置が0[mm]、Z方向位置が0[mm]に位置する。スポット411Xから416Xは、VCSEL素子11Xから16Xそれぞれから発光され、眼球30により反射された後、受光面41近傍に到達したレーザ光L4のビームスポットを表している。
【0133】
スポット411XはVCSEL素子11X、スポット412XはVCSEL素子12、スポット413XはVCSEL素子13、スポット414XはVCSEL素子14、スポット415XはVCSEL素子15、スポット416XはVCSEL素子16、それぞれから発光されたレーザ光Lに基づくビームスポットを表している。
【0134】
図18に示すように、比較例に係る光学シミュレーションでは、スポット411Xから416Xのうちのスポット415Xしか受光面41に入射していない。
【0135】
図19および図20は、比較例に係る視線方向検出のシミュレーション結果を示す図である。図19は、X方向における視線方向θxのシミュレーション結果を示す図、図20は、Z方向における視線方向θzのシミュレーション結果を示す図である。
【0136】
図19および図20の見方は、上述した図15および図16と同様であり、シミュレーション方法も、上述した図15および図16を求めた方法と同様である。
【0137】
図19および図20に示すように、比較例では、実施形態と比較して、正解値と推定値との間に高い相関関係が得られなかった。特に、図20のZ方向における視線方向θzでは、正解値と推定値との間の相関が低くなった。
【0138】
図19および図20のシミュレーション結果から、比較例では、フォトダイオード4から出力される電気信号Seに基づいて視線方向を正確に推定できないことが分かった。
【0139】
(変形例)
図21は、実施形態の変形例に係るVCSELアレイ1aに含まれるVCSEL素子11aから17aの配置の一例を示す図である。この変形例では、第1実施形態に係るVCSELアレイ1と比較して、VCSEL素子11aから17aの配置のみが異なっている。
【0140】
具体的には、変形例では、VCSEL素子11aから17aは、-X方向側から視た平面視において、六方最密状に配置されている。VCSEL素子11aから17aのうち、隣り合うVCSEL素子同士の間隔は、いずれも間隔Dである。
【0141】
このような変形例の配置においても、フォトダイオード4は、VCSEL素子11aから17aのうち、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光できる。
【0142】
図22は、VCSELアレイ1aに含まれるVCSEL素子11aから17a全てから発光され、受光面41に入射したレーザ光L4の入射位置を示す図である。図23から図29は、VCSEL素子11aから17aのそれぞれから発光され、受光面41に入射したレーザ光L4の入射位置をVCSEL素子ごとに個別に示す図である。
【0143】
図23はVCSEL素子11a、図24はVCSEL素子12a、図25はVCSEL素子13a、図26はVCSEL素子14a、図27はVCSEL素子15a、図28はVCSEL素子16a、図29はVCSEL素子17aからそれぞれ発光され、受光面41に入射したレーザ光L4の入射位置を示している。
【0144】
図22から図29において、横軸はY方向に沿ったY方向位置[mm]示し、縦軸はZ方向に沿ったZ方向位置[mm]を表している。この光学シミュレーションでは、眼球30の視線方向は、正視方向、すなわちθx=0[度]、θz=0[度]とした。
【0145】
四角枠により示したフォトダイオード4の受光面41の中心は、Y方向位置が0[mm]、Z方向位置が0[mm]に位置する。スポット411aから417aは、VCSEL素子11から17それぞれから発光され、受光面41近傍に到達したレーザ光L4のビームスポットを表している。
【0146】
スポット411aはVCSEL素子11a、スポット412aはVCSEL素子12a、スポット413aはVCSEL素子13a、スポット414aはVCSEL素子14a、スポット415aはVCSEL素子15a、スポット416aはVCSEL素子16a、スポット417aはVCSEL素子17a、それぞれから発光されたレーザ光Lに基づくビームスポットを表している。
【0147】
図22に示すように、変形例に係る光学シミュレーションでは、スポット411aから416aそれぞれの一部が全て受光面41に入射している。図23から図29では、スポット411aから417aそれぞれの一部が受光面41に入射している。
【0148】
図30および図31は、変形例に係る視線方向検出のシミュレーション結果を示す図である。図30は、X方向における視線方向θxのシミュレーション結果、図31は、Z方向における視線方向θzのシミュレーション結果、をそれぞれ示している。
【0149】
図30および図31の見方は、上述した図15および図16と同様であり、シミュレーション方法は、上述した図15および図16を求めた方法と同様である。
【0150】
図30および図31に示すように、変形例においても正解値と推定値との間に相関関係があることが分かった。水平方向における視線方向推定結果の二乗平均平方根誤差(RMSE)Δθxは、0.6[度]、垂直方向における視線方向推定結果の二乗平均平方根誤差(RMSE)Δθzは、0.3[度]となった。
【0151】
図30および図31のシミュレーション結果から、変形例に係るVCSELアレイ1aを有する視線検出装置10は、フォトダイオード4から出力される電気信号Seに基づいて視線方向を推定し、視線方向情報Edを取得できることが分かった。
【0152】
<視線検出装置10の作用効果>
次に、視線検出装置10の作用効果について説明する。
【0153】
昨今、「拡張現実(AR)」や「仮想現実(VR)」にまつわる技術が注目を集めている。特にAR技術は、娯楽目的のみならず、製造現場や医療現場での作業支援など、幅広い分野での応用が期待できる。
【0154】
ARを表示する機器として、眼鏡型の映像表示装置が開発されている。中でも、網膜上に直接映像を投影する網膜投影型表示装置は、投影された映像に目の焦点を合わせる必要がないという利点がある。これによって、外界の物体に目の焦点を合わせつつ、常に鮮明なAR映像を観ることができる。さらに、ユーザの視線方向を追尾する視線検出(アイトラッキング)技術を組み合わせることにより、ディスプレイの高画角化や、視線による表示映像の操作が可能となる。
【0155】
眼鏡型の映像表示装置では、眼球の傾きを検出し、映像表示装置を装着した人間の視線方向を検出する視線検出装置が使用される。このような視線検出装置として、眼球の傾きを高精度に検出するために、眼球に照射したレーザ光をMEMSミラーにより走査させ、走査される光の眼球による反射光を検出する構成が開示されている。
【0156】
しかしながら、開示されている上記構成では、可動部であるMEMSミラーを用いるため、視線検出装置の構成が複雑になるうえに、MEMSミラーを安定して駆動させるための駆動回路等の構成も複雑になる。
【0157】
本実施形態に係る視線検出装置10(傾き検出装置)は、VCSELアレイ1(複数の発光部)と、VCSELアレイ1により発光され、眼球30により反射されたレーザ光L4(対象物により反射された)を受光し、受光したレーザ光L4の光強度に基づく電気信号Seを出力するフォトダイオード(受光手段)と、を有する。また視線検出装置10は、フォトダイオード4から出力される電気信号Seに基づいて、眼球30の視線方向情報Ed(対象物の傾きの検出結果)を出力する処理部100(出力手段)を有する。
【0158】
フォトダイオード4は、眼球30(対象物)の傾きがほぼ同じである状態において、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4(対象物に反射された複数の光)を受光する。
【0159】
視線検出装置10は、VCSELアレイ1から発光された複数のレーザ光L1に基づいて眼球30の傾きを検出するため、MEMSミラー等の可動部、および該可動部を駆動させるための駆動回路を用いずに眼球30の傾きを検出できる。MEMSミラー等の可動部、および該可動部を駆動させるための駆動回路を用いないことにより、視線検出装置10の構成を簡素化できる。また、視線検出装置10の構成を簡素化することにより、視線検出装置10を小型化し、あるいは視線検出装置10の製作コストを低減することができる。
【0160】
また、視線検出装置10は、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光するため、フォトダイオード4からの電気信号Seに基づいて眼球30の動きを追尾できる。視線検出装置10は、PSD等の他の受光手段を用いて眼球30の動きを追尾する場合と比較して、受光手段の構成を簡素化し、且つ受光手段を駆動させる駆動手段の構成を簡素化できる。
【0161】
以上のようにして、本実施形態では、構成が簡素な視線検出装置を提供できる。
【0162】
また、本実施形態では、VCSELアレイ1は、VCSELアレイ1の発光面1Aに沿ったX方向およびY方向(所定方向)に沿って並んで設けられ、VCSELアレイ1における隣り合うVCSEL素子同士のX方向およびY方向に沿った間隔Dは、いずれも等しい。これにより、フォトダイオード4は、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光できる。この結果、視線検出装置10は上述した効果を得ることができる。
【0163】
また、視線検出装置10は、VCSEL素子11から16がY方向およびZ方向(異なる2つの方向)それぞれに沿って並んで設けられているため、Y軸周りおよびZ軸周りの眼球30の動きを追尾できる。これにより、視線検出装置10は、眼球30の傾き検出範囲を拡大し、視線検出装置10による視線方向の検出範囲を拡大することができる。
【0164】
また、本実施形態では、VCSELアレイ1における複数のVCSEL素子から発光され、眼球30によって反射された複数のレーザ光L4同士は、少なくとも一部がフォトダイオード4の受光面41上において重なる。これにより、複数のレーザ光L4同士を受光面41上に密な間隔で入射させることができるため、フォトダイオード4は、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光しやすくなる。
【0165】
また、本実施形態では、VCSELアレイ1における隣り合うVCSEL素子同士のY方向およびZ方向に沿った間隔Dの長さは、フォトダイオード4の受光面41のY方向およびZ方向に沿った長さである幅wよりも短い。これにより、複数のレーザ光L4同士を受光面41上に密な間隔で入射させることができるため、フォトダイオード4は、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光しやすくなる。
【0166】
また、本実施形態では、眼球30によって反射されたレーザ光L4は、フォトダイオード4に近づくにつれて広がる。これにより、レーザ光L4のスポットサイズを大きくできるため、フォトダイオード4は、複数のVCSEL素子から発光され、眼球30により反射された複数のレーザ光L4を受光しやすくなる。また、レーザ光L4のスポットサイズを大きくできるため、レーザ光L4の少なくとも一部を受光面41に入射させやすくなり、視線検出装置10は、視線方向検出の安定性を向上させることができる。
【0167】
なお、本実施形態では、凹面ミラー3を用いて集束されるレーザ光L3が眼球30に照射される構成を例示したが、これに限定されるものではない。図32に示すように、視線検出装置10は、凹面ミラーを有さずに、レンズ2により集束されるレーザ光L2が眼球30に入射するように構成されてもよい。また、図33に示すように、視線検出装置10は、凹面ミラーおよびレンズを有さずに、VCSELアレイ1から発光されたレーザ光L1が直接、眼球30に入射するように構成されてもよい。例えば、図32は、凹面ミラーを有さずに、レンズ2により集束されるレーザ光L2が眼球30に入射するように構成される場合を示す。VCSELアレイ1から出射されるレーザ光を、凹面ミラーを介さずに眼球30に入射する構成となるため、光学素子の部品点数を減らすことができ、製作コストを低減することができる。一方で、凹面ミラーを有することは、フォトダイオード4を処理部の近傍に設置することが可能であるため、フォトダイオード4の出力信号のノイズを低減できる点で望ましい。
【0168】
[第2実施形態]
次に、第2実施形態に係る視線検出装置10aについて説明する。なお、第1実施形態と同一の構成部には、同一の符号を付し、重複する説明を適宜省略する。この点は、以降に示す他の実施形態の説明においても同様とする。
【0169】
<処理部100aの機能構成例>
図34は、本実施形態に係る視線検出装置10aが有する処理部100aの機能構成の一例を示すブロック図である。図34に示すように、処理部100aは、符号化部120と、光源変調部121と、内積演算部122と、第2蓄積部123と、を有する。
【0170】
視線検出装置10aは、光源変調部121により、直交性を有する符号によって時間変調されたレーザ光Lを発するようにVCSELアレイ1による発光を制御する。また、視線検出装置10aは、処理部100aにより、フォトダイオード4から出力される電気信号Seに基づいて、複数の時間変調されたレーザ光L4を分離検出する。これにより、本実施形態では、処理部100aの処理時間および処理負荷を低減する。また、本実施形態では、眼球30に入射させるレーザ光L4の光強度が小さい場合にも背景光の影響を除去して視線検出精度を高く確保する。
【0171】
処理部100aは、CPU101がROM102に格納された所定のプログラムを実行すること等により、符号化部120および内積演算部122の各機能を実現し、光源駆動回路105等により光源変調部121の機能を実現する。また処理部100aは、RAM103等により第2蓄積部123の機能を実現する。
【0172】
符号化部120は、複数の符号化データを生成し、光源変調部121を介してVCSELアレイ1のVCSEL素子のそれぞれに符号化データを割り当てる。また、符号化部120は、内積演算部122による内積演算のために、VCSEL素子に割り当てた符号化データと同じデータを、参照データRfとして内積演算部122に出力する。
【0173】
符号化データは、直交性を有する符号を含む。この符号は、例えばアダマール符号である。アダマール符号とは、信号の誤り検出訂正に使われる符号体系をいう。また、符号化データは、VCSELアレイ1におけるVCSEL素子の位置に応じて異なるものが作成され、SSD104等に記憶される。符号化部120は、SSD104等を参照してVCSEL素子の位置に応じて取得した符号化データを、対応するVCSEL素子に割り当てることができる。
【0174】
光源変調部121は、直交性を有する符号によって時間変調されたレーザ光L1を発するように、VCSELアレイ1による発光を制御する制御部の一例である。具体的には、光源変調部121は、符号化部120から入力した符号化データに基づいて電流変調された駆動信号Drを各VCSEL素子に出力することにより、レーザ光L1を時間変調しつつ、全てのVCSEL素子を並行して発光させる。なお、光源変調部121は1つに限らず、処理部100aは、VCSELアレイ1に含まれるVCSEL素子の個数分の光源変調部121を有してもよい。
【0175】
内積演算部122は、第1蓄積部116を参照して、第1蓄積部116に蓄積された所定の符号周期の1周期分のデジタル電圧データDaを取得し、このデジタル電圧データDaと、符号化部120から入力した参照データRfと、の内積演算を実行する。内積演算部122は、符号化に用いた全ての符号化データを用いて内積演算を行い、内積演算結果を第2蓄積部123に蓄積させる。内積演算部122は、全ての符号化データを用いて内積演算を行うことにより、符号化データの直交性を利用して、各VCSEL素子に応じたデジタル電圧データDaを分離検出できる。
【0176】
<処理部100aによる処理例>
図35は、処理部100aによる処理の一例を示すフローチャートである。処理部100aは、例えばユーザによる開始操作入力信号に応じて、図35の処理を開始する。
【0177】
まず、ステップS331において、処理部100aは、符号化部120により、複数の符号化データを生成し、光源変調部121を介してVCSELアレイ1のVCSEL素子それぞれに符号化データを割り当てる。また符号化部120は、内積演算部122に参照データRfを出力する。
【0178】
続いて、ステップS332において、処理部100aは、光源変調部121により、符号化データに基づいて時間変調した駆動信号DrをVCSELアレイ1へ出力する。駆動信号Drが印加されたVCSEL素子は、駆動信号Drに応じてレーザ光L1を発光する。レーザ光L1は、レンズ2および凹面ミラー3を経た後、眼球30により反射されてレーザ光L4としてフォトダイオード4に入射する。フォトダイオード4は、受光したレーザ光L4の光強度に応じた電気信号Seを処理部100aに出力する。
【0179】
続いて、ステップS333において、処理部100aは、フォトダイオード4からの電気信号SeをI/V変換部114によりアナログ電圧信号に変換し、その後、A/D変換部115によりデジタル電圧データDaに変換する。処理部100aは、第1蓄積部116により、発光したVCSEL素子に対応付けてデジタル電圧データDaを符号周期1周期分、蓄積する。
【0180】
続いて、ステップS334において、処理部100aは、内積演算部122により、第1蓄積部116を参照して、第1蓄積部116に蓄積された所定の符号周期の1周期分のデジタル電圧データDaを取得し、このデジタル電圧データDaと、符号化部120から入力した参照データRfと、の内積演算を実行する。内積演算部122は、符号化に用いた全ての符号化データを用いて内積演算を行い、内積演算結果を第2蓄積部123に蓄積させる。
【0181】
続いて、ステップS335において、処理部100aは、推定部118により、予めあらかじめ作成された推定モデルを用いて、第2蓄積部123に蓄積されたVCSEL素子11から16に対応する6つのデジタル電圧データDaに基づき、視線方向情報Edを算出する。
【0182】
続いて、ステップS336において、処理部100aは、推定部118により取得された視線方向情報Edを、出力部119を介して外部装置に出力する。
【0183】
続いて、ステップS337において、処理部100aは、処理を終了するか否かを判定する。例えば、処理部100aは、ユーザによる終了操作入力信号等に応じて終了するか否かを判定できる。
【0184】
ステップS337において、終了すると判定された場合には(ステップS337、Yes)、処理部100aは処理を終了する。一方、終了しないと判定された場合には(ステップS337、No)、処理部100aは、ステップS331以降の処理を再度行う。
【0185】
このようにして、処理部100aは、眼球30の傾きに基づく視線方向情報Edを出力できる。
【0186】
<視線検出装置10aの作用効果>
以上説明したように、視線検出装置10aは、直交性を有する符号によって時間変調されたレーザ光L1を発するようにVCSELアレイ1による発光を制御する光源変調部121(制御部)を有する。処理部100aは、フォトダイオード4から出力される電気信号Seに基づいて、複数の時間変調されたレーザ光L4を分離検出する。直交性を有する符号は、例えばアダマール符号である。
【0187】
視線検出装置10aは、レーザ光L4を分離検出することにより、処理部100aの処理時間および処理負荷を低減できる。また、視線検出装置10aは、眼球30に入射させるレーザ光L4の光強度が小さい場合にも、レーザ光L4を分離検出することによって背景光の影響を除去できるため、視線検出精度を高く確保することができる。
【0188】
上記以外の効果は、第1実施形態と同様である。
【0189】
[第3実施形態]
次に、第3実施形態に係る視線検出装置10bについて説明する。
【0190】
<処理部100bの機能構成例>
図36は、本実施形態に係る視線検出装置10bが有する処理部100bの機能構成の一例を示すブロック図である。図36に示すように、処理部100aは、選択部111bと、切替部113bを有する。
【0191】
本実施形態では、VCSELアレイ1に含まれる複数のVCSEL素子は、複数のグループにグループ化され、光源変調部121は、複数のグループのVCSEL素子がグループごとに発光するように、VCSELアレイ1による発光を制御する。これにより、視線検出装置10bは、並行して発光させるVCSEL素子の数を抑え、眼球30に入射するレーザ光Lの光量を抑制する。
【0192】
ここで、グループは、VCSELアレイ1に含まれる複数のVCSEL素子を集団にまとめたものである。例えば、VCSEL素子11から16を2つのグループにグループ化する場合には、1つ目のグループは、VCSEL素子11、13および15を含み、2つ目のグループは、VCSEL素子12、14および16を含む。また、VCSEL素子11から16を3つのグループにグループ化する場合には、3つのグループは、それぞれ2つのVCSEL素子を含む。なお、このグループを構成するVCSEL素子は1つ以上5つ以下であればよい。
【0193】
符号化データは、各グループに含まれるVCSEL素子の個数分、用意されればよい。異なるグループに属するVCSEL素子同士は、分離検出しなくてもよいため、同じ符号化データが割り当てられてもよい。
【0194】
視線検出装置10bにおけるグループの数、およびVCSEL素子11から16それぞれの所属グループは、予め定められている。
【0195】
選択部111bは、VCSEL素子11から16の各グループの中から、発光させるグループを選択し、選択したグループを示す情報を切替部113bに出力する。
【0196】
切替部113bは、選択されたグループに光源変調部121から駆動信号Drを出力するように、光源変調部121と各VCSEL素子との接続を切り替える。切替部113bは、第1蓄積部116にデジタル電圧データDaが蓄積された後、まだ発光を終えていない別のグループのVCSEL素子に駆動信号Drを出力するように切り替えることができる。
【0197】
<処理部100bによる処理例>
図37は、処理部100bによる処理の一例を示すフローチャートである。処理部100bは、例えばユーザによる開始操作入力信号に応じて、図37の処理を開始する。
【0198】
まず、ステップS351において、処理部100bは、選択部111bにより、VCSEL素子の各グループのうち、どのグループに属するVCSEL素子を発光させるかを選択し、選択されたグループを示す情報を切替部113bに出力する。
【0199】
続いて、ステップS352において、処理部100bは、符号化部120により、複数の符号化データを生成し、光源変調部121を介してVCSELアレイ1のVCSEL素子それぞれに符号化データを割り当てると共に、内積演算部122に参照データRfを出力する。
【0200】
続いて、ステップS353において、処理部100bは、光源変調部121により、符号化データに基づいて時間変調した駆動信号DrをVCSELアレイ1へ出力する。駆動信号Drが印加されたVCSEL素子は、駆動信号Drに応じてレーザ光L1を発光する。レーザ光L1は、レンズ2および凹面ミラー3を経た後、眼球30により反射されてレーザ光L4としてフォトダイオード4に入射する。フォトダイオード4は、受光したレーザ光L4の光強度に応じた電気信号Seを処理部100bに出力する。
【0201】
続いて、ステップS354において、処理部100bは、フォトダイオード4からの電気信号SeをI/V変換部114によりアナログ電圧信号に変換し、その後、A/D変換部115によりデジタル電圧データDaに変換する。処理部100aは、第1蓄積部116により、発光したVCSEL素子に対応付けて、デジタル電圧データDaを符号周期1周期分、蓄積する。
【0202】
続いて、ステップS355において、処理部100bは、内積演算部122により、第1蓄積部116を参照して、第1蓄積部116に蓄積された所定の符号周期の1周期分のデジタル電圧データDaを取得し、このデジタル電圧データDaと、符号化部120から入力した参照データRfと、の内積演算を実行する。内積演算部122は、符号化に用いた全ての符号化データを用いて内積演算を行い、内積演算結果を第2蓄積部123に蓄積させる。
【0203】
続いて、ステップS356において、処理部100bは、判定部117により、VCSEL素子11から16の全てを発光させたか否かを判定する。
【0204】
ステップS356において、全てのVCSEL素子を発光させていないと判定された場合には(ステップS356、No)には、処理部100bは、ステップS351以降の処理を再度行う。この場合には、処理部100bは、まだ発光していないVCSEL素子が属するグループを選択部111bにより選択し、該グループに属するVCSEL素子を発光させる。
【0205】
一方、ステップS356において、全てのVCSEL素子を発光させたと判定された場合(ステップS356、YES)には、ステップS357において、処理部100bは、推定部118により、予めあらかじめ作成された推定モデルを用いて、第2蓄積部123に蓄積されたVCSEL素子11から16に対応する6つのデジタル電圧データDaに基づき、視線方向情報Edを算出する。
【0206】
続いて、ステップS358において、処理部100bは、推定部118により取得された視線方向情報Edを、出力部119を介して外部装置に出力する。
【0207】
続いて、ステップS359において、処理部100bは、処理を終了するか否かを判定する。例えば、処理部100bは、ユーザによる終了操作入力信号等に応じて終了するか否かを判定できる。
【0208】
ステップS359において、終了すると判定された場合には(ステップS359、Yes)、処理部100bは処理を終了する。一方、終了しないと判定された場合には(ステップS359、No)、処理部100bは、ステップS351以降の処理を再度行う。
【0209】
このようにして、処理部100bは、眼球30の傾きに基づく視線方向情報Edを出力できる。
【0210】
<視線検出装置10bの作用効果>
以上説明したように、本実施形態では、VCSELアレイ1に含まれる複数のVCSEL素子は、複数のグループにグループ化され、光源変調部121は、複数のグループのVCSEL素子がグループごとに発光するように、VCSELアレイ1による発光を制御する。
【0211】
例えば、発光させるVCSEL素子の数が多いと、VCSELアレイ1から眼球30に入射するレーザ光L1の光量が増加し、安全性の観点から望ましくない場合がある。視線検出装置10bは、VCSELアレイ1に含まれる複数のVCSEL素子をグループごとに発光させるため、並行して発光させるVCSEL素子の数を抑え、眼球30に入射するレーザ光Lの光量を抑制できる。これにより、本実施形態では、安全性に優れた視線検出装置10bを提供できる。
【0212】
上記以外の作用効果は、第1および第2実施形態と同様である。
【0213】
[第4実施形態]
次に第4実施形態に係る網膜投影表示装置60について説明する。図38は、網膜投影表示装置60の構成の一例を説明する図である。
【0214】
図38に示すように、網膜投影表示装置60は、RGB(Red、Green、Blue)レーザ光源61と、走査ミラー62と、平面ミラー63と、ハーフミラー64と、画像生成部65と、視線検出装置10と、を有する。
【0215】
RGBレーザ光源61は、RGB3色のレーザ光を時間的に変調して出力する。走査ミラー62は、RGBレーザ光源61からの光を二次元的に走査する。走査ミラー62は、MEMSミラー等である。但し、これに限定されるものではなく、ポリゴンミラー、ガルバノミラー等、光を走査する反射部を有するものであれば良い。小型化・軽量化の点でMEMSミラーが有利となる。なお、MEMSミラーの駆動方式は、静電式、圧電式、電磁式等の何れであっても良い。
【0216】
平面ミラー63は、ハーフミラー64に向けて走査ミラー62による走査光を反射する。ハーフミラー64は、入射する光の一部を透過し、一部を眼球30に向けて反射する。ハーフミラー64は、凹型の曲面形状を有しており、反射した光を眼球30の角膜31の近傍に集束させ、網膜33の位置で結像させる。これにより、走査光で形成される画像を網膜33に投影する。図中破線で示されている光61aは、網膜33上に画像を形成する光を表している。なお、ハーフミラー64は、必ずしも反射光と透過光の光量が1対1にならなくてもよい。
【0217】
視線検出装置10は、眼球30の傾き、つまり視線方向のフィードバック信号を画像生成部65に送信する。
【0218】
画像生成部65は、走査ミラー62の振れ角制御機能と、RGBレーザ光源61の発光制御機能とを有している。また、画像生成部65は、視線検出装置10から視線方向のフィードバック信号を受信する。視線方向のフィードバック信号は、視線方向情報Edに対応する。視線検出装置10により検出された視線方向に応じて、走査ミラー62の振れ角と、RGBレーザ光源61の発光を制御し、画像の投影角度、又は画像内容を書き換える。これにより、視線方向の変化に追尾(アイトラッキング)した画像を、網膜33上に形成することができる。
【0219】
なお、本実施形態では、網膜投影表示装置60をウェアラブル端末であるヘッドマウントディスプレイとした一例を示したが、網膜投影表示装置60は、人の頭部に直接装着させるだけでなく、固定部等の部材を介して間接的に人の頭部に装着させるもの(頭部装着型表示装置)であってもよい。また、左右眼用に一対の網膜投影表示装置60を設けた両眼式の網膜投影表示装置としてもよい。
【0220】
また、本実施形態では、網膜投影表示装置60が視線検出装置10を備える構成を例示したが、網膜投影表示装置60は視線検出装置10aまたは10bを備えてもよい。
【0221】
以上、本発明の実施形態の例について記述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【0222】
例えば、視線検出装置10は、仮想現実(VR)表示装置に利用することもできる。人間の視野は、高解像度で認識できる中心視野と、低解像度で認識する周辺視野に分類される。この性質を利用して、仮想現実画像の中心部を高解像度にしながら、周辺部を低解像度にすることで、仮想現実画像の描画負荷を軽減させる技術を中心窩レンダリングという。特に、視線検出装置と組み合わせることで、使用者の視線に合わせて高解像度の領域を動的に変化させることが可能であり、使用者の視線が動いたとしても、解像度の差による違和感なく仮想現実画像を認識できる。したがって視線検出装置10を有する仮想現実表示装置は、簡素な構成で中心窩レンダリング技術を実装できる。それによって、軽量かつ低消費電力な仮想現実表示装置を実現でき、使用者が負荷を感じることなく長時間にわたって仮想現実画像を楽しむことができる。
【0223】
対象物は、眼球30に限定されるものではなく、曲率を有する三次元物体である対象物であれば、本実施形態を適用可能である。例えば上述した実施形態では、眼球30の傾きを検出する装置を光学装置の一例として示したが、これに限定されるものではない。例えばロボットハンド等に光学装置を実装し、対象物の一例としてのロボットハンドの傾きを検出してもよい。
【0224】
また 眼球の傾きや瞳孔位置(角膜)の検出する機能を有する検眼装置にも採用する事ができる。検眼装置とは、視力検査、眼屈折力検査、眼圧検査、眼軸長検査など種々の検査を行う事が出来る装置を指す。検眼装置は、眼球に非接触で検査可能な装置であって、被験者の顔を支持する支持部と、検眼窓と、検眼に際し被検者の眼球の向き(視線の向き)を一定にする表示を行う表示部と、制御部と、測定部とを有している。測定部の測定精度を上げるために眼球(視線)を動かさず一点を見つめる事が求められ、被検者は支持部に顔を固定し、検眼窓から表示部に表示される表示物を凝視する。このとき、眼球の傾き位置を検出する際に、本実施形態の眼球の傾き位置検知装置が利用可能である。眼球の傾き位置検知装置は測定の妨げにならないよう、測定部の側方に配置される。眼球の傾き位置検知装置で得られた眼球の傾き位置(視線)情報は、制御部にフィードバックする事が可能で、眼球の傾き位置情報に応じた測定をする事ができる。
【0225】
また、視線検出装置10は、教育環境で使用することもできる。例えば、筆記試験中のユーザの視線情報から、ユーザがどの試験問題に時間を費やしたかを知ることができる。その情報を基に、教師はユーザの試験結果に対して適切なフィードバックを実施することが可能となる。本発明によって簡素な構成の視線検出装置を提供することで、ユーザの負荷を軽減できる。また、ウェアラブル形態での視線検出が可能であるから、紙媒体の試験用紙、教材に対して上記のような効果を得ることができる。
【0226】
また、視線検出装置10は、眼球の傾きや瞳孔位置(角膜)、または視線方向に関する情報に基づきユーザの状態を推定するユーザ状態推定装置にも採用することができる。ユーザ状態推定装置としては、例えば、ユーザの精神的疲労度を推定する疲労度推定装置が挙げられる。本実施形態の構成としては、視線検出装置10と、視線検出装置により検出された視線方向の情報に基づき精神的疲労度を推定する疲労度推定部と、を有する。疲労度推定部におけるユーザの精神的疲労度の推定方法としては、例えば、非特許文献(Tseng, V.WS., Valliappan, N., Ramachandran, V. et al. Digital biomarker of mental fatigue. npj Digit. Med. 4, 47 (2021))に記載されている方法が挙げられる。この方法によると、モニタに表示されるオブジェクトの軌跡を目で追いかけるタスクを数分行い、その時の視線の動きを測定することで、精神的疲労度を推定することが可能である。視線検出装置10を有する疲労度推定装置は、簡素な構成でユーザの精神的疲労度を推定することができる。また、本実施に係る疲労度推定装置は、推定された精神的疲労度に基づき、ユーザに例えば休憩を促す情報を通知する通知手段を有していてもよい。
【0227】
また、その他のユーザ状態推定装置としては、例えば、ユーザの注意度を推定する注意度推定装置が挙げられる。本実施形態の構成としては、視線検出装置10と、視線検出装置により検出された視線方向の情報に基づきユーザの注意度を推定する注意度推定部と、を有する。注意度推定部におけるユーザの注意度の推定方法としては、例えば、マイクロサッカードと呼ばれる眼球の微振動を検出し、その発生頻度に基づいてユーザの注度を推定する方法が挙げられる。(非特許文献Pastukhov A, Braun J. Rare but precious: microsaccades are highly informative about attentional allocation. Vision Res. 2010 Jun 11;50(12):1173-84.)によれば、マイクロサッカードは、固視微動(人がある対象物を注視しているときに生じる、振幅±3.0度程度の眼球の微振動)の中でも比較的振幅の大きく、かつ高速な運動であり、人の注意力と相関があることが知られている。視線検出装置10は、眼球の傾きを高速かつ高精度に測定することができるため、従来の視線検出装置に比べ、マイクロサッカードを高精度に検出することができる。
従って、視線検出装置10を有する注意度推定装置は、簡素な構成でユーザの注意度を推定することができる。
【0228】
また本実施形態に係る注度推定装置は、運転支援システムに採用することができる。本実施形態の運転システムの構成としては、上述の注意度推定装置と、注意度推定装置により推定された注意度に基づいて移動体の動作を制御する動作制御部と、を有する。例えば、注意度推定装置により推定されたユーザの注意度が基準より下回る場合、動作制御部は手動運転モードから自動運転モードとするよう移動体、例えば車両の動作モードを制御する。視線検出装置10を有する運転支援システムは簡素な構成で運転支援を行うことができる。
【0229】
また、本実施形態に係る注度推定装置は、教材や取扱説明書等の出版物の評価に使用することもできる。例えば、注視度推定装置により、ユーザが教材のどの箇所に注意を払い、集中しているかを評価することができる。その結果をもとに教材の内容やレイアウトを改善することができる。本発明によって簡素な構成の視線検出装置を提供することで、ユーザの負荷を軽減できる。また、ウェアラブル形態での視線検出が可能であるから、紙媒体の教材に対して上記のような効果を得ることができる。
【0230】
また、これらの実施形態は、視線検出装置10で検出された眼球の傾きや瞳孔位置(角膜)、または視線方向に関する一つの情報を、2つ以上の画像生成部、推定部で利用する構成であってもよい。このような構成とすることで、簡素な構成、かつ小型化を実現することができる。
例えば、視線検出装置10により検出された眼球の傾きや瞳孔位置(角膜)、または視線方向に関する情報を、網膜投影表示装置の画像生成部にフィードバック信号として利用しつつ、疲労度推定装置の疲労度推定部での疲労度推定に利用してもよい。
このとき、画像生成部と疲労度推定部は同一の情報処理部に設けられてもよく、別で設けられてもよい。
【0231】
また、実施形態は、立体物の傾き検出方法を含む。例えば、立体物の傾き検出方法は、傾き検出装置による傾き検出方法であって、前記傾き検出装置が、複数の発光部により、発光し、受光手段により、前記複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力し、出力手段により、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力し、前記受光手段は、前記複数の発光部から並行して発光され、前記対象物により反射された複数の光を受光する。このような立体物の傾き検出方法により、上述した視線検出装置と同様の効果を得ることができる。
【0232】
また、実施形態は、視線検出方法を含む。例えば視線検出方法は、視線検出装置による傾き検出方法であって、前記視線検出装置が、複数の発光部により、発光し、受光手段により、前記複数の発光部により発光され、対象物によって反射された光を受光し、受光した光の光強度に基づく電気信号を出力し、出力手段により、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力し、前記受光手段は、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する。このような視線検出方法により、上述した視線検出装置と同様の効果を得ることができる。
【0233】
また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
【0234】
また上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0235】
本発明の態様は、例えば、以下のとおりである。
<1> 複数の発光部と、前記複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力する受光手段と、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力する出力手段と、を有し、前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する、傾き検出装置である。
<2> 前記複数の発光部は、複数の光を並行して発光する、前記<1>に記載の傾き検出装置である。
<3> 前記複数の発光部は、前記複数の発光部の発光面に沿った所定方向に沿って並んで設けられ、前記複数の発光部における隣り合う前記発光部同士の前記所定方向に沿った間隔は、いずれも等しい、前記<1>または前記<2>に記載の傾き検出装置である。
<4> 前記複数の発光部は、前記複数の発光部の発光面に沿った異なる2つの方向それぞれに沿って並んで設けられている、前記<1>から前記<3>のいずれか1つに記載の傾き検出装置である。
<5> 前記受光手段の受光面の幅をwとし、前記受光手段の受光面での隣接する光のビーム中心間距離をdとし、前記受光手段の受光面での光のビーム半径をhとした場合に、次式を満足する
|h-w/2|≦d≦h+w/2
前記<1>から前記<4>のいずれか1つに記載の傾き検出装置である。
<6> 前記複数の発光部は、前記複数の発光部の発光面に沿った所定方向に沿って並んで設けられ、前記複数の発光部における隣り合う前記発光部同士の前記所定方向に沿った間隔の長さは、前記受光手段の受光面の前記所定方向に沿った長さよりも短い前記<1>から前記<5>のいずれか1つに記載の傾き検出装置である。
<7> 前記対象物によって反射された光は、前記受光手段に近づくにつれて広がる、前記<1>から前記<6>のいずれか1つに記載の傾き検出装置である。
<8> 前記対象物によって反射された光のビーム直径は、前記受光手段の受光面上において、受光面の所定方向に沿った長さよりも長い、前記<1>から前記<7>のいずれか1つに記載の傾き検出装置である。
<9> 直交性を有する符号によって時間変調された光を発するように前記複数の発光部による発光を制御する制御部を有し、前記出力手段は、前記受光手段から出力される前記電気信号に基づいて、複数の前記時間変調された光を分離検出する、前記<1>から前記<8>のいずれか1つに記載の傾き検出装置である。
<10> 前記符号はアダマール符号である、前記<9>に記載の傾き検出装置である。
<11> 前記複数の発光部は、複数のグループにグループ化され、前記制御部は、前記複数のグループの前記発光部がグループごとに発光するように、前記複数の発光部による発光を制御する、前記<9>または前記<10>に記載の傾き検出装置である。
<12> 前記<1>から前記<11>の何れか1つに記載の傾き検出装置を有し、前記傾き検出装置による眼球の傾きの検出結果に基づいて視線を検出する、視線検出装置である。
<13> 前記<12>に記載の視線検出装置を有する網膜投影表示装置である。
<14> 前記<12>に記載の視線検出装置を有する頭部装着型表示装置である。
<15> 前記<12>に記載の視線検出装置を有する検眼装置である。
<16> 前記<12>に記載の視線検出装置を有する仮想現実表示装置である。
<17> 前記<12>に記載の視線検出装置と、前記視線検出装置により検出された視線方向の情報に基づき、前記ユーザの状態を推定する状態推定部と、を有するユーザ状態推定装置である。
<18> 前記推定部は、前記ユーザの眼球の微振動の発生頻度に基づいて前記ユーザの状態を推定する前記<17>に記載のユーザ状態推定装置である。
<19> 前記ユーザの状態は、前記ユーザの疲労度または注意度のうち少なくとも1つを含む前記<17>または前記<18>に記載のユーザ状態推定装置である。
<20> 前記<17>から前記<19>の何れか1つに記載のユーザ状態推定装置と、 前記ユーザ状態推定装置により推定された前記状態に基づき、前記ユーザの運転する移動体の動作を制御する動作制御部と、を有する運転支援システムである。
<21> 傾き検出装置による傾き検出方法であって、前記傾き検出装置が、複数の発光部により発光し、受光手段により、前記複数の発光部により発光され、対象物により反射された光を受光し、受光した光の光強度に基づく電気信号を出力し、出力手段により、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力し、前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する、立体物の傾き検出方法である。
<22> 視線検出装置による視線検出方法であって、前記視線検出装置が、複数の発光部により発光し、受光手段により、前記複数の発光部により発光され、対象物によって反射された光を受光し、受光した光の光強度に基づく電気信号を出力し、出力手段により、前記受光手段から出力される前記電気信号に基づいて、前記対象物の傾きの検出結果を出力し、前記受光手段は、前記対象物の傾きがほぼ同じである状態において、前記複数の発光部から発光され、前記対象物により反射された複数の光を受光する、視線検出方法である。
【符号の説明】
【0236】
1、1a VCSELアレイ(複数の発光部の一例)
2 レンズ
3 凹面ミラー
4 フォトダイオード(受光手段の一例)
41 受光面
411~416、411a~417a スポット
10 視線検出装置(傾き検出装置の一例)
11~16、11a~16a VCSEL素子
1A、11A~16A 発光面
30 眼球(対象物の一例)
31 角膜
100 処理部
101 CPU
102 ROM
103 RAM
104 SSD
105 光源駆動回路
106 I/V変換回路
107 A/D変換回路
108 入出力I/F
111 選択部
112 光源駆動部
113 切替部
114 I/V変換部
115 A/D変換部
116 第1蓄積部
117 判定部
118 推定部
119 出力部
120 符号化部
121 光源変調部
122 内積演算部
123 第2蓄積部
D 間隔
e 重複領域
w 幅
φ 広がり角
Da デジタル電圧データ
Dr 駆動信号
Ed 視線方向情報
Se 電気信号
L、L1、L2、L3、L4、L41、L41a、L42 レーザ光
Q 集光位置
Rf 参照データ
【先行技術文献】
【特許文献】
【0237】
【特許文献1】米国特許第10213105号明細書
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38