特許 7722016 視線検出装置、視線検出方法及び視線検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-08-04

(45)【発行日】2025-08-13

(54)【発明の名称】視線検出装置、視線検出方法及び視線検出プログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20250805BHJP

【ＦＩ】

A61B3/113

【請求項の数】 5

(21)【出願番号】P 2021124572

(22)【出願日】2021-07-29

(65)【公開番号】P2023019659

(43)【公開日】2023-02-09

【審査請求日】2024-03-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】箱嶋 修二

【審査官】菅原 拓路

(56)【参考文献】

【文献】特開２０１９－０２５１９５（ＪＰ，Ａ）

【文献】国際公開第２０１７／２１７０２６（ＷＯ，Ａ１）

【文献】特表２０１８－５１２６６５（ＪＰ，Ａ）

【文献】特開２０１７－２１１８９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

画像を表示する表示部と、
検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、
前記検出光が照射された眼球の画像を撮像する撮像部と、
撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の
位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、
前記瞳孔中心の位置と前記検出光が照射された眼球の角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部と、
前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち
前記検出光を発光する前記光源を切り替える光源制御部と
を備える視線検出装置。

【請求項2】

複数の前記光源は、前記表示部の下方に設置された下部光源と、前記表示部の上方に設置された上部光源とを含み、
前記対象距離は、上下方向の距離であり、
前記光源制御部は、前記検出光を発光する前記光源を前記下部光源と前記上部光源との間で切り替える
請求項１に記載の視線検出装置。

【請求項3】

前記光源制御部は、前記眼球の画像における前記検出光の反射像の形状が基準形状に含まれるか否かに基づいて、前記検出光を発光する前記光源を切り替える
請求項１又は請求項２に記載の視線検出装置。

【請求項4】

表示部に画像を表示することと、
複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射することと、
前記検出光が照射された眼球の画像を撮像することと、
撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の
位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、
前記瞳孔中心の位置と前記検出光が照射された眼球の角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、
前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち
前記検出光を発光する前記光源を切り替えることと
を含む視線検出方法。

【請求項5】

表示部に画像を表示する処理と、
複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射する処理と、
前記検出光が照射された眼球の画像を撮像する処理と、
撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の
位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、
前記瞳孔中心の位置と前記検出光が照射された眼球の角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、
前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち
前記検出光を発光する前記光源を切り替える処理と
をコンピュータに実行させる視線検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出装置、視線検出方法及び視線検出プログラムに関する。

【背景技術】

【0002】

光源で検出光を発光して被験者の眼球に照射し、検出光が照射された眼球の画像を取得し、取得した画像における瞳孔の像と検出光の反射像とに基づいて、瞳孔中心及び角膜曲率中心を算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する視線検出装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４６４９３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような視線検出装置では、被験者の眼球に照射される検出光の反射像が角膜と強膜との境界又は強膜に存在することがある。角膜と強膜とでは曲率半径が異なるため、このような場合には、視線の検出精度が低下する可能性がある。

【0005】

本発明は、上記に鑑みてなされたものであり、検出精度の低下を抑制することが可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る視線検出装置は、画像を表示する表示部と、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、前記検出光が照射された眼球の画像を撮像する撮像部と、撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、前記瞳孔中心の位置と前記角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部と、前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替える光源制御部とを備える。

【0007】

本発明に係る視線検出方法は、表示部に画像を表示することと、複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射することと、前記検出光が照射された眼球の画像を撮像することと、撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、前記瞳孔中心の位置と前記角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替えることとを含む。

【0008】

本発明に係る視線検出プログラムは、表示部に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射する処理と、前記検出光が照射された眼球の画像を撮像する処理と、撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、前記瞳孔中心の位置と前記角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替える処理とをコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、検出精度の低下を抑制することが可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。

【図2】図２は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。

【図3】図３は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。

【図4】図４は、第１光源及び第２光源で眼球が照明される例を示す図である。

【図5】図５は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。

【図6】図６は、本実施形態に係る視線検出処理の原理を説明するための模式図である。

【図7】図７は、検出光の反射像が形成された眼球の一例を示す図である。

【図8】図８は、検出光の反射像が形成された眼球の一例を示す図である。

【図9】図９は、視線検出処理における照明装置の動作の一例を示す図である。

【図10】図１０は、視線検出処理における照明装置の動作の一例を示す図である。

【図11】図１１は、視線検出処理における照明装置の動作の一例を示す図である。

【図12】図１２は、視線検出処理における照明装置の動作の一例を示す図である。

【図13】図１３は、視線検出処理における照明装置の動作の一例を示す図である。

【図14】図１４は、本実施形態に係る視線検出方法における視線検出処理の一例を示すフローチャートである。

【図15】図１５は、検出光の反射像が形成された眼球の他の例を示す図である。

【図16】図１６は、視線検出処理における照明装置の動作の他の例を示す図である。

【図17】図１７は、視線検出処理における照明装置の動作の他の例を示す図である。

【図18】図１８は、視線検出処理における照明装置の動作の他の例を示す図である。

【図19】図１９は、本実施形態に係る視線検出方法における視線検出処理の他の例を示すフローチャートである。

【図20】図２０は、本実施形態に係る視線検出方法における視線検出処理の他の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明に係る視線検出装置、視線検出方法及び視線検出プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0012】

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

【0013】

（視線検出装置）
図１は、本実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。図１に示すように、視線検出装置１００は、表示部１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。

【0014】

表示部１０１は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＥＬＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示部１０１は、画像を表示する。本実施形態において、表示部１０１は、例えば被験者の視機能を評価するための指標を表示する。表示部１０１は、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１０１の左右方向であり、Ｙ軸方向は表示部１０１の上下方向であり、Ｚ軸方向は表示部１０１と直交する奥行方向である。

【0015】

ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示部１０１よりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも－Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。

【0016】

照明装置（光源）１０３は、第１光源（下部第１光源）１０３Ａと、第２光源（下部第２光源）１０３Ｂと、第３光源（上部光源）１０３Ｃと、第４光源（上部光源）１０３Ｄとを有する。第１光源１０３Ａ及び第２光源１０３Ｂは、表示部１０１よりも下方に配置される。第３光源１０３Ｃ及び第４光源１０３Ｄ（上部光源）は、表示部１０１よりも上方に配置される。

【0017】

第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも－Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第３光源１０３Ｃと第４光源１０３Ｄとは、Ｘ軸方向に配置される。第３光源１０３Ｃは、第１カメラ１０２Ａよりも－Ｘ方向に配置される。第４光源１０３Ｄは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。

【0018】

第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄはそれぞれ、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。同様に、第３光源１０３Ｃ及び第４光源１０３Ｄは、Ｘ方向について第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。また、ステレオカメラ装置１０２は、表示部１０１よりも上方に配置されてもよい。

【0019】

照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａ又は第３光源１０３Ｃが発光することで射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１の一部（以下、これを含めて「眼球」とする）を撮影し、第２光源１０３Ｂ又は第４光源１０３Ｄが発光することで射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。

【0020】

第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂ又は第４光源１０３Ｄから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。第２カメラ１０２Ｂは、第１光源１０３Ａ又は第３光源１０３Ｃから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。

【0021】

眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。

【0022】

第１カメラ１０２Ａ及び第２カメラ１０２Ｂと、第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で撮影される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。視線検出装置１００は、撮影される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。

【0023】

図２は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図２に示すように、視線検出装置１００は、表示部１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム（制御部）２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０とを備える。

【0024】

コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０とは、入出力インターフェース装置３０を介してデータ通信する。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。演算処理装置２０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。

【0025】

駆動回路４０は、駆動信号を生成して、表示部１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で撮影された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。

【0026】

出力装置５０は、フラットパネルディスプレイのような表示部を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示部である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。

【0027】

本実施形態においては、表示部１０１とコンピュータシステム２０とは別々の装置である。なお、表示部１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示部１０１が搭載されてもよい。

【0028】

図３は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図３に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示部１０１を駆動するための駆動信号を生成して表示部１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄを駆動するための駆動信号を生成して第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。

【0029】

コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２１と、光源制御部２２と、画像データ取得部２３と、位置検出部２４と、曲率中心算出部２５と、注視点検出部２６と、記憶部２７と、入出力制御部２８とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。

【0030】

表示制御部２１は、被験者に見せるための画像を表示部１０１に表示させる。表示制御部２１は、例えばキャリブレーション処理における目標画像を表示部１０１の複数の位置（目標位置）に表示可能である。表示制御部２１は、目標画像を１箇所ずつ複数の目標位置に順次切り替えて表示してもよいし、目標画像が表示部１０１内で複数の目標位置に順次移動するように表示させてもよい。なお、目標画像を表示させる目標位置の数については、例えば操作者が入力装置６０等により入力することによって設定可能である。

【0031】

光源制御部２２は、光源駆動部４０６を制御して、第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄの発光と非発光とを制御する。光源制御部２２は、瞳孔中心と角膜反射中心との間の対象距離に基づいて、第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄのうち検出光を発光する光源を切り替える。対象距離としては、例えば瞳孔中心と角膜反射中心との間の上下方向の距離、瞳孔中心と角膜反射中心との間の左右方向の距離、瞳孔中心と角膜反射中心との間の最短距離、等が挙げられる。光源制御部２２は、第１光源１０３Ａ及び第２光源１０３Ｂから検出光が発光している状態において、瞳孔中心と角膜反射中心との間の対象距離が所定の閾値以上となる場合には、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を発光させるように切り替えることができる。また、光源制御部２２は、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光が発光している状態において、瞳孔中心と角膜反射中心との間の対象距離が所定の閾値以上となる場合には、第１光源１０３Ａ及び第２光源１０３Ｂから検出光を発光させるように切り替えることができる。

【0032】

また、光源制御部２２は、眼球１１１の画像における検出光の反射像の形状が基準形状に含まれるか否かに基づいて、第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ及び第４光源１０３Ｄのうち検出光を発光する光源を切り替える。本実施形態において、基準形状は、１つの楕円形状とすることができる。光源制御部２２は、第１光源１０３Ａ及び第２光源１０３Ｂから検出光が発光している状態において、眼球１１１の画像における検出光の反射像の形状が基準形状に含まれないと判定した場合には、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を発光させるように切り替えることができる。また、光源制御部２２は、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光が発光している状態において、眼球１１１の画像における検出光の反射像の形状が基準形状に含まれないと判定した場合には、第１光源１０３Ａ及び第２光源１０３Ｂから検出光を発光させるように切り替えることができる。

【0033】

画像データ取得部２３は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって撮影された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。

【0034】

位置検出部２４は、画像データ取得部２３で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２４は、画像データ取得部２３で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２４は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。

【0035】

曲率中心算出部２５は、画像データ取得部２３で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。

【0036】

注視点検出部２６は、画像データ取得部２３で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示部１０１との交点の位置データをいう。注視点検出部２６は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部２６は、視線ベクトルと表示部１０１との交点を示す注視点の位置データを検出する。

【0037】

記憶部２７は、上記の視線検出に関する各種データやプログラムを記憶する。記憶部２７は、例えば表示部１０１に表示させる画像についてのデータを、背景画像の色及び輝度ごとに記憶することができる。また、記憶部２７は、各キャリブレーション処理において算出される注視点の位置データを記憶する。

【0038】

また、記憶部２７は、表示部１０１に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球１１１に照射する処理と、検出光が照射された眼球１１１の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、瞳孔中心と角膜反射中心との間の対象距離に基づいて複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる視線検出プログラムを記憶する。

【0039】

また、記憶部２７は、表示部１０１に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球１１１に照射する処理と、検出光が照射された眼球１１１の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、眼球１１１の画像における検出光の角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる視線検出プログラムを記憶する。

【0040】

入出力制御部２８は、表示部１０１及び出力装置５０の少なくとも一方にデータを出力する。

【0041】

次に、本実施形態に係る曲率中心算出部２５の処理の概要について説明する。本実施形態では、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明され、第１カメラ１０２Ａ及び第２カメラ１０２Ｂの２つのカメラで眼球１１１を撮影する場合について説明する。なお、光源及びカメラが２つの場合に限定されず、光源及びカメラが１つである場合にも同様の説明が可能である。以下、本実施形態に係る視線検出方法の原理を説明する。

【0042】

図４は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す図である。図４に示すように、本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源（光源の基準位置）１０３Ｖが存在するとみなすことができる。

【0043】

角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。

【0044】

角膜反射中心１２４の位置データは、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２７に記憶されている。曲率中心算出部２５は、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部２５は、三次元グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置データを算出する。

【0045】

角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２５は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。当該所定値としては、角膜曲率半径１０９が用いられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。角膜曲率半径１０９の値としては、例えば一般的な角膜曲率半径値などから予め定められた値を用いることができる。

【0046】

なお、第３光源１０３Ｃ及び第４光源１０３Ｄを用いる場合については、表示部１０１の上部において、第１光源１０３Ａ及び第２光源１０３ＢとＸ座標が同一となるように第３光源１０３Ｃ及び第４光源１０３Ｄを配置し、第３光源１０３Ｃと第４光源１０３Ｄとの中間位置に仮想光源１０３Ｖ２（図示せず）が存在すると想定することにより、上記同様の方法で角膜曲率中心１１０が算出される。

【0047】

［視線検出方法］
本実施形態に係る視線検出方法では、キャリブレーション処理を行った後、注視点検出処理が行われる。まず、キャリブレーション処理の原理について説明する。図５は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。表示制御部２１は、設定された目標位置１３０に目標画像を表示する。

【0048】

第１光源１０３Ａ及び第２光源１０３Ｂは、眼球１１１を照明する。第１カメラ１０２Ａ及び第２カメラ１０２Ｂは、眼球１１１を撮影する。例えば、第１光源１０３Ａから検出光を射出した場合には、第２カメラ１０２Ｂで眼球１１１を撮影する。また、第２光源１０３Ｂから検出光を射出した場合には、第１カメラ１０２Ａで眼球１１１を撮影する。なお、第１光源１０３Ａ及び第２光源１０３Ｂに代えて第３光源１０３Ｃ及び第４光源１０３Ｄを用いる場合については、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を射出して、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂで異なるタイミングで眼球１１１を撮影する。位置検出部２４は、画像データ取得部２３で取得された眼球１１１の画像データに基づいて、瞳孔中心１１２Ｃの位置データ及び角膜反射中心１１３Ｃの位置データを検出する。位置検出部２４は、検出した各位置データをグローバル座標系に変換する。

【0049】

曲率中心算出部２５は、第１光源１０３Ａ及び第２光源１０３Ｂから検出光を出射した場合には、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出する。具体的には、曲率中心算出部２５は、仮想光源１０３Ｖと、角膜反射中心１１３Ｃとを結ぶ第１直線１４１を求める。また、曲率中心算出部２５は、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を出射した場合には、仮想光源１０３Ｖ２の位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出する。

【0050】

また、曲率中心算出部２５は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ第２直線１４２を求める。曲率中心算出部２５は、第１直線１４１と第２直線１４２との交点を角膜曲率中心１１０の位置データとして求める。そして、曲率中心算出部２５は、角膜曲率中心１１０と瞳孔中心１１２Ｃとの距離１２７を算出し、キャリブレーションデータとして記憶部２７に記憶する。本実施形態では、第１光源１０３Ａ及び第２光源１０３Ｂから検出光を発光する場合の角膜曲率中心１１０と瞳孔中心１１２Ｃとの距離（Ｒａ）と、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を発光する場合の角膜曲率中心１１０と瞳孔中心１１２Ｃとの距離（Ｒｂ）とのそれぞれについて算出する。

【0051】

次に、視線検出処理の原理について説明する。図６は、本実施形態に係る視線検出処理の原理を説明するための模式図である。視線検出処理では、キャリブレーション処理と同様に、第１光源１０３Ａ及び第２光源１０３Ｂを用いて、又は第３光源１０３Ｃ及び第４光源１０３Ｄを用いて、眼球１１１を照明する。第１カメラ１０２Ａ及び第２カメラ１０２Ｂは、眼球１１１を撮影する。位置検出部２４は、画像データ取得部２３で取得された眼球１１１の画像データに基づいて、瞳孔中心１１２Ｃの位置データ及び角膜反射中心１１３Ｃの位置データを検出する。

【0052】

曲率中心算出部２５は、第１光源１０３Ａ及び第２光源１０３Ｂを用いて検出光を照射した場合には、仮想光源１０３Ｖの位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データと、キャリブレーション処理において算出した角膜曲率中心１１０と瞳孔中心１１２Ｃとの距離１２７とに基づいて、角膜曲率中心１１０の位置データを算出する。具体的には、曲率中心算出部２５は、仮想光源１０３Ｖと、角膜反射中心１１３Ｃとを結ぶ直線１７３を求める。同様に、曲率中心算出部２５は、第３光源１０３Ｃ及び第４光源１０３Ｄを用いて検出光を照射した場合には、仮想光源１０３Ｖ２に対応する位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データと、キャリブレーション処理において算出した角膜曲率中心１１０と瞳孔中心１１２Ｃとの距離１２７とに基づいて、角膜曲率中心１１０の位置データを算出する。

【0053】

また、曲率中心算出部２５は、瞳孔中心１１２Ｃから眼球１１１の内側に対して距離１２７に相当する距離だけ離れた位置を角膜曲率中心１１０の位置データとして求める。注視点検出部２６は、瞳孔中心１１２Ｃと角膜曲率中心１１０とを結ぶ直線１７８を求め、当該直線１７８と表示部１０１との交点１６６の位置データを注視点の位置データとして算出する。

【0054】

図７は、検出光の反射像が形成された眼球の一例を示す図である。図７上段に示すように、被験者が仮想光源１０３Ｖからそれほど離れない位置を見た場合等、被験者の眼球１１１に照射される検出光の角膜反射像１１３が角膜１１１ａ上に存在する場合には、角膜反射像１１３の形状が例えば扁平率の小さい１つの楕円形状となるため、角膜反射中心の位置データを高精度に検出できる。

【0055】

図７中段及び図７下段に示すように、被験者が仮想光源１０３Ｖから大きく外れた位置を見た場合等においては、被験者の眼球１１１に照射される検出光の角膜反射像１１３が角膜１１１ａと強膜１１１ｂとの境界に存在することがある。この場合、曲率半径及び反射率の違い等により、例えば図７中段に示すように検出光の角膜反射像１１３の形が歪み、例えば扁平率の大きい楕円形、長円形等の形状となったり、図７下段に示すように複数の角膜反射像１１３が形成されたりする。このため、角膜反射中心の位置データの検出精度が低下し、視線の検出精度が低下する可能性がある。

【0056】

これに対して、本実施形態では、一例として、被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて、検出光の反射像が被験者の角膜１１１ａからはみ出さない位置に形成されるように、当該検出光を発光する光源を切り替える制御を行う。検出光の反射像が形成される位置は、例えば被験者の眼球の位置と、カメラと光源との位置関係と、によって決定される。

【0057】

図８は、検出光の反射像が形成された眼球の一例を示す図である。図８に示すように、光源制御部２２は、眼球１１１の画像データに基づいて算出された瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の対象距離を算出する。光源制御部２２は、対象距離として、例えば瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の上下方向（Ｙ方向）及び左右方向（Ｘ方向）のそれぞれについて距離を算出することができる。なお、光源制御部２２は、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の最短距離を対象距離として算出してもよい。以下、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の上下方向の距離を対象距離ＤＹと表記し、左右方向の距離を対象距離ＤＸと表記する。図８に示す例において、光源制御部２２は、対象距離ＤＹと、対象距離ＤＸとを算出する場合を示している。光源制御部２２は、例えば瞳孔中心１１２ＣのＹ座標（Ｙ２）と、角膜反射中心１１３ＣのＹ座標（Ｙ１）との差の絶対値｜Ｙ２－Ｙ１｜を対象距離ＤＹとして算出することができる。また、光源制御部２２は、例えば瞳孔中心１１２ＣのＸ座標（Ｘ２）と、角膜反射中心１１３ＣのＸ座標（Ｘ１）との差の絶対値｜Ｘ２－Ｘ１｜を対象距離ＤＸとして算出することができる。

【0058】

本実施形態では、被験者が眼球１１１を移動させることで、瞳孔中心１１２Ｃ、角膜１１１ａ及び強膜１１１ｂの位置が変化する。このため、角膜反射像１１３と瞳孔中心１１２Ｃ、角膜１１１ａ及び強膜１１１ｂとの相対的な位置関係が変化し、対象距離ＤＹ及び対象距離ＤＸが変化する。例えば、図８に示すように角膜反射像１１３が瞳孔中心１１２Ｃに対して図中の右下に位置する場合において、被験者が眼球１１１を角膜反射像１１３とは反対側に移動させた場合（左上：図中の一点鎖線）、角膜反射像１１３と瞳孔中心１１２Ｃ、角膜１１１ａ及び強膜１１１ｂとの相対的な位置関係が変化し、対象距離ＤＹ及び対象距離ＤＸが大きくなる。

【0059】

本実施形態では、角膜反射像１１３が角膜１１１ａ上の位置に収まるような対象距離ＤＹ及び対象距離ＤＸの閾値を予め設定しておく。なお、光源制御部２２は、キャリブレーション処理において、対象距離ＤＹ及び対象距離ＤＸの閾値を設定してもよい。この場合、例えば被験者が表示部１０１の表示画面１０１Ｓの中心位置を注視した場合の対象距離ＤＹ及び対象距離ＤＸの値を閾値として用いることができる。光源制御部２２は、第１光源１０３Ａ及び第２光源１０３Ｂから検出光を照射する場合の閾値と、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を照射する場合の閾値とをそれぞれ設定する。したがって、第１光源１０３Ａ及び第２光源１０３Ｂから検出光を照射する状態で、対象距離ＤＹが閾値を超える場合には、被験者が表示画面１０１Ｓの中心位置よりも上方を注視していると判断できる。また、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を照射する状態で、対象距離ＤＹが閾値を超える場合には、被験者が表示画面１０１Ｓの中心位置よりも下方を注視していると判断できる。光源制御部２２は、算出した対象距離ＤＹ及び対象距離ＤＸが、予め設定した閾値未満となるように、検出光を照射する照明装置１０３を切り替えるようにする。光源制御部２２は、対象距離ＤＹ及び対象距離ＤＸの一方の距離のみを用いて照明装置１０３の切り替え制御を行ってもよい。以下、対象距離ＤＹについて閾値を設定し、対象距離ＤＹが閾値未満となるように制御する場合を例に挙げて説明する。第１光源１０３Ａ及び第２光源１０３Ｂから検出光を照射する場合の対象距離ＤＹの閾値をαとし、第３光源１０３Ｃ及び第４光源１０３Ｄから検出光を照射する場合の対象距離ＤＹの閾値をβとする。なお、対象距離ＤＹ及び対象距離ＤＸの両方の距離を用いて照明装置１０３の切り替え制御を行う場合、対象距離ＤＹ及び対象距離ＤＸの少なくとも一方の値が閾値未満となるように制御することができる。

【0060】

図９から図１３は、視線検出処理における照明装置１０３の動作の一例を示す図である。視線検出処理において、初回の注視点の検出を行う場合、光源制御部２２は、例えば第１光源１０３Ａ及び第２光源１０３Ｂから検出光が発光するように制御する。図９に示すように、例えば眼球１１１の画像データにおける瞳孔中心１１２Ｃと角膜反射中心１１３ＣとのＹ方向の対象距離ＤＹが閾値α未満である場合、光源制御部２２は、下部光源である第１光源１０３Ａ及び第２光源１０３Ｂから検出光が発光するように制御する。

【0061】

一方、図１０に示すように、例えば眼球１１１の画像データにおける瞳孔中心１１２Ｃと角膜反射中心１１３ＣとのＹ方向の対象距離ＤＹが閾値α以上である場合、光源制御部２２は、図１１に示すように、上部光源である第３光源１０３Ｃ及び第４光源１０３Ｄから検出光が発光するように切り替える。

【0062】

光源制御部２２は、上部光源である第３光源１０３Ｃ及び第４光源１０３Ｄから検出光が発光される場合においても同様の制御を行うことができる。図１１に示すように、例えば眼球１１１の画像データにおける瞳孔中心１１２Ｃと角膜反射中心１１３ＣとのＹ方向の対象距離ＤＹが閾値β未満である場合、光源制御部２２は、上部光源である第３光源１０３Ｃ及び第４光源１０３Ｄから検出光が発光するように制御する。

【0063】

一方、図１２に示すように、例えば眼球１１１の画像データにおける瞳孔中心１１２Ｃと角膜反射中心１１３ＣとのＹ方向の対象距離ＤＹが閾値β以上である場合、光源制御部２２は、図１３に示すように、下部光源である第１光源１０３Ａ及び第２光源１０３Ｂから検出光が発光するように切り替える。

【0064】

光源制御部２２は、下部光源である第１光源１０３Ａ及び第２光源１０３Ｂの一方を発光させて眼球１１１に検出光を照射し、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち発光した光源から遠い方のカメラにより、被験者の眼球１１１を撮影する。その後、第１光源１０３Ａ及び第２光源１０３Ｂの他方を発光させて眼球１１１に検出光を照射し、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち発光した光源から遠い方のカメラにより、被験者の眼球１１１を撮影する。例えば、第１光源１０３Ａから検出光を射出した場合には、第２カメラ１０２Ｂで眼球１１１を撮影する。また、第２光源１０３Ｂから検出光を射出した場合には、第１カメラ１０２Ａで眼球１１１を撮影する。

【0065】

同様に、光源制御部２２は、上部光源である第３光源１０３Ｃ及び第４光源１０３Ｄの一方を発光させて眼球１１１に検出光を照射し、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち発光した光源から遠い方のカメラにより、被験者の眼球１１１を撮影する。その後、第３光源１０３Ｃ及び第４光源１０３Ｄの他方を発光させて眼球１１１に検出光を照射し、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち発光した光源から遠い方のカメラにより、被験者の眼球１１１を撮影する。例えば、第３光源１０３Ｃから検出光を射出した場合には、第２カメラ１０２Ｂで眼球１１１を撮影する。また、第４光源１０３Ｄから検出光を射出した場合には、第１カメラ１０２Ａで眼球１１１を撮影する。

【0066】

画像データ取得部２３は、画像データを取得する。位置検出部２４は、取得した画像データに基づいて、瞳孔中心及び角膜反射中心の位置データを検出する。位置検出部２４は、角膜反射中心の位置データを正常に検出したか否かを判定する。検出光の反射像が被験者の角膜上に収まっている場合、正常な値が検出される可能性が高くなる。一方、検出光の反射像が被験者の角膜上に収まっておらず、例えば強膜上にはみ出して歪んでいる等の場合、正常な値が検出される可能性が低くなる。正常な値が検出された場合、曲率中心算出部２５及び注視点検出部２６における各処理により、注視点の位置データが取得される。なお、正常な値が検出されない場合、注視点検出部２６は、当該視線検出処理においては、例えばエラー判定とすることができる。

【0067】

角膜反射中心の正常な値が検出された場合、曲率中心算出部２５は、検出された値に基づいて、角膜曲率中心を算出する。このとき、曲率中心算出部２５は、当該視線検出処理において検出光を発光する光源が下部光源（第１光源１０３Ａ及び第２光源１０３Ｂ）であった場合には、キャリブレーション処理において算出された２種類の距離（角膜曲率中心と瞳孔中心との距離）Ｒａ、Ｒｂのうち、検出光を発光する光源を下部光源とした場合に算出された距離Ｒａの値を用いて、角膜曲率中心を算出する。また、曲率中心算出部２５は、当該視線検出処理において検出光を発光する光源を上部光源（第３光源１０３Ｃ及び第４光源１０３Ｄ）とした場合には、キャリブレーション処理において検出光を発光する光源を上部光源とした場合に算出された距離Ｒｂの値を用いて、角膜曲率中心を算出する。

【0068】

次に、本実施形態に係る視線検出方法の一例について、図１４を参照しながら説明する。図１４は、本実施形態に係る視線検出方法における視線検出処理の一例を示すフローチャートである。図１４に示すように、視線検出処理において、光源制御部２２は、下部光源（第１光源１０３Ａ及び第２光源１０３Ｂ）及び上部光源（第３光源１０３Ｃ及び第４光源１０３Ｄ）の一方から検出光を発光させる（ステップＳ１０１）。この場合、光源制御部２２の制御は、第１光源１０３Ａ及び第２光源１０３Ｂの一方を発光させて眼球１１１に検出光を照射し、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち発光した光源から遠い方のカメラにより、被験者の眼球１１１を撮影する（ステップＳ１０２）。また、光源制御部２２の制御により第１光源１０３Ａ及び第２光源１０３Ｂの他方を発光させて眼球１１１に検出光を照射し、第１カメラ１０２Ａ及び第２カメラ１０２Ｂのうち発光した光源から遠い方のカメラにより、被験者の眼球１１１を撮影する（ステップＳ１０３）。例えば、第１光源１０３Ａから検出光を射出した場合には、第２カメラ１０２Ｂで眼球１１１を撮影する。また、第２光源１０３Ｂから検出光を射出した場合には、第１カメラ１０２Ａで眼球１１１を撮影する。

【0069】

画像データ取得部２３は、画像データを取得する。位置検出部２４は、取得した画像データに基づいて、瞳孔中心及び角膜反射中心の位置データを検出する。その後、曲率中心算出部２５及び注視点検出部２６における各処理により注視点の位置データが取得される（ステップＳ１０４）。ステップＳ１０４において、曲率中心算出部２５は、視線検出処理において検出光を発光する光源を下部光源（第１光源１０３Ａ及び第２光源１０３Ｂ）とした場合には、キャリブレーション処理において検出光を発光する光源を下部光源とした場合に算出された距離Ｒａの値を用いて、角膜曲率中心を算出する。また、曲率中心算出部２５は、視線検出処理において検出光を発光する光源を上部光源（第３光源１０３Ｃ）とした場合には、キャリブレーション処理において検出光を発光する光源を上部光源とした場合に算出された距離Ｒｂの値を用いて、角膜曲率中心を算出する。なお、ステップＳ１０４において正常な値が検出されなかった場合、エラー判定として処理を終了してもよい。

【0070】

ステップＳ１０４の後、注視点検出部２６は、注視点の検出を終了するか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定の結果、注視点の検出を終了する場合（ステップＳ１０５のＹｅｓ）、処理を終了する。また、注視点の検出を終了しない場合（ステップＳ１０５のＮｏ）、光源制御部２２は、眼球１１１の画像データにおける瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の対象距離が閾値未満であるか否かを判定する（ステップＳ１０６）。瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の対象距離が閾値未満であると判定した場合（ステップＳ１０６のＹｅｓ）、光源制御部２２は、下部光源と上部光源との間で検出光を発光させる光源を切り替えず、ステップＳ１０２以降の処理を繰り返し行わせる（ステップＳ１０７）。一方、瞳孔中心１１２Ｃと角膜反射中心１１３Ｃとの間の対象距離が閾値未満ではないと判定した場合、光源制御部２２は、下部光源と上部光源との間で検出光を発光させる光源を切り替えて、ステップＳ１０２以降の処理を繰り返し行わせる（ステップＳ１０８）。

【0071】

次に、本実施形態において、検出光を発光する光源を切り替える制御の他の例を説明する。以下では、眼球１１１の画像データにおける検出光の角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて、検出光を発光する光源を切り替える制御を行う場合を例に挙げて説明する。

【0072】

図１５は、検出光の反射像が形成された眼球の他の例を示す図である。図１５の上段に示すように、被験者の眼球１１１に照射される検出光の角膜反射像１１３が角膜１１１ａ上に存在する場合には、角膜反射像１１３の形状が例えば扁平率の小さい１つの楕円形状なる。したがって、本実施形態においては、扁平率が閾値未満の１つの楕円形状を基準形状とすることができる。所定値については、例えば角膜反射像１１３が角膜１１１ａ上に存在する場合の値を予め算出し、算出結果の平均値又は最小値を用いることができるが、この態様に限定されない。被験者の眼球１１１に照射される検出光の角膜反射像１１３が角膜１１１ａ上に存在する場合には、角膜反射像１１３の形状は、基準形状に含まれる形状となる。基準形状は、例えば記憶部２７に記憶させておくことができる。

【0073】

一方、被験者の眼球１１１に照射される検出光の角膜反射像１１３が角膜１１１ａと強膜１１１ｂとの境界に存在する場合、例えば図１５の中段に示すように角膜反射像１１３の形状が例えば扁平率の大きい楕円形、長円形等の形状となったり、図１５の下段に示すように複数の角膜反射像１１３が形成されたりする。つまり、被験者の眼球１１１に照射される検出光の角膜反射像１１３が角膜１１１ａと強膜１１１ｂとの境界に存在する場合、角膜反射像１１３の形状は、基準形状には含まれない形状となる。

【0074】

これを踏まえ、光源制御部２２は、眼球１１１の画像データについて画像処理を行うことにより、検出光の角膜反射像１１３の形状を求める。例えば、光源制御部２２は、画像データにおいて、輝度が所定値を超える領域を角膜反射像１１３の領域として算出する。光源制御部２２は、算出した角膜反射像１１３の領域の数を算出する。算出結果が２以上の場合、光源制御部２２は、角膜反射像１１３の形状が基準形状には含まれないと判定することができる。

【0075】

また、算出結果が１の場合、光源制御部２２は、算出した角膜反射像１１３の形状を判定する。光源制御部２２は、例えば算出した角膜反射像１１３と基準形状Ｑとを比較し、一致する割合が所定値以上である場合に、角膜反射像１１３の形状が角膜反射像１１３の形状が基準形状に含まれると判定することができる。一方、光源制御部２２は、算出した角膜反射像１１３と基準形状Ｑとを比較して一致する割合が所定値未満である場合には、角膜反射像１１３の形状が角膜反射像１１３の形状が基準形状には含まれないと判定することができる。

【0076】

光源制御部２２は、角膜反射像１１３の形状が基準形状には含まれないと判定した場合、下部光源（第１光源１０３Ａ、第２光源１０３Ｂ）と、上部光源（第３光源１０３Ｃ、第４光源１０３Ｄ）との間で検出光を発光させる光源を切り替える。一方、光源制御部２２は、角膜反射像１１３の形状が基準形状に含まれると判定した場合、検出光を発光させる光源の切り替えを行わないようにする。

【0077】

図１６から図１８は、視線検出処理における照明装置１０３の動作の他の例を示す図である。光源制御部２２は、例えば第１光源１０３Ａ及び第２光源１０３Ｂから検出光が発光するように制御する。例えば眼球１１１の画像データにおける検出光の角膜反射像１１３の形状が基準形状に含まれるか否かを判定する。

【0078】

光源制御部２２は、角膜反射像１１３の形状が基準形状に含まれると判定した場合、図１６に示すように、検出光を発光させる光源の切り替えを行わないようにする。一方、図１７に示すように、例えば角膜反射像１１３の形状が基準形状には含まれないと判定した場合、光源制御部２２は、図１８に示すように、上部光源である第３光源１０３Ｃ及び第４光源１０３Ｄから検出光が発光するように切り替える。

【0079】

図１９は、本実施形態に係る視線検出方法における視線検出処理の他の例を示すフローチャートである。図１９に示すように、ステップＳ２０１からステップＳ２０５については、上記した被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御の場合のステップＳ１０１からステップＳ１０５（図１４参照）と同様である。

【0080】

ステップＳ２０５の判定の結果、注視点の検出を終了する場合（ステップＳ２０５のＹｅｓ）、処理を終了する。また、注視点の検出を終了しない場合（ステップＳ２０５のＮｏ）、光源制御部２２は、眼球１１１の画像データにおける角膜反射像１１３の形状が基準形状に含まれるか否かを判定する（ステップＳ２０６）。角膜反射像１１３の形状が基準形状に含まれると判定した場合（ステップＳ２０６のＹｅｓ）、光源制御部２２は、下部光源と上部光源との間で検出光を発光させる光源を切り替えず、ステップＳ２０２以降の処理を繰り返し行わせる（ステップＳ２０７）。一方、角膜反射像１１３の形状が基準形状には含まれないと判定した場合、光源制御部２２は、下部光源と上部光源との間で検出光を発光させる光源を切り替えて、ステップＳ１０２以降の処理を繰り返し行わせる（ステップＳ２０８）。

【0081】

図２０は、本実施形態に係る視線検出方法における視線検出処理の他の例を示すフローチャートである。図２０に示す例では、被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御と、角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて検出光を発光する光源を切り替える制御とを組み合わせた場合の例を示している。

【0082】

図２０に示すように、ステップＳ３０１からステップＳ３０４については、上記した角制御におけるステップＳ１０１（Ｓ２０１）からステップＳ１０４（Ｓ２０４）と同様である（図１４、図１９参照）。

【0083】

ステップＳ３０４の後、注視点検出部２６は、注視点が正常に検出されたか否かを判定する（ステップＳ３０５）。ステップＳ３０５において、注視点が正常に検出されたと判定された場合（ステップＳ３０５のＹｅｓ）、注視点検出部２６及び光源制御部２２は、ステップＳ３０６からステップＳ３０９の処理を行う。ステップＳ３０６からステップＳ３０９は、被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御におけるステップＳ１０５からステップＳ１０８の各処理と同様である（図１４参照）。

【0084】

一方、ステップＳ３０５において、注視点が正常に検出されないと判定された場合（ステップＳ３０５のＮｏ）、光源制御部２２は、ステップＳ３１０からステップＳ３１２の処理を行う。ステップＳ３１０からステップＳ３１２は、角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて検出光を発光する光源を切り替える制御におけるステップＳ２０６からステップＳ２０８の各処理と同様である（図１９参照）。

【0085】

被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御は、瞳孔中心の位置と角膜反射中心の位置として正常な値が算出された場合、つまり注視点の位置が正常に検出される場合に、当該瞳孔中心の位置と角膜反射中心の位置の正常な値に基づいて行うことができる。一方、角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて検出光を発光する光源を切り替える制御は、瞳孔中心の位置と角膜反射中心の位置を算出することなく、角膜反射像１１３の形状に基づいて行うことができる。このため、瞳孔中心の位置と角膜反射中心の位置として正常な値が得られない場合においても、検出光を発光する光源の切り替え制御を適切に行うことができる。

【0086】

以上のように、本実施形態に係る視線検出装置１００は、画像を表示する表示部１０１と、検出光を発光して被験者の少なくとも一方の眼球１１１に照射する複数の光源（第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ、第４光源１０３Ｄ）と、検出光が照射された眼球１１１の画像を撮像するステレオカメラ装置１０２と、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部２４と、瞳孔中心の位置と角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部２６と、瞳孔中心と角膜反射中心との間の対象距離に基づいて、複数の光源のうち検出光を発光する光源を切り替える光源制御部２２とを備える。

【0087】

また、本実施形態に係る視線検出方法は、表示部１０１に画像を表示することと、複数の光源から検出光を発光して被験者の少なくとも一方の眼球１１１に照射することと、検出光が照射された眼球１１１の画像を撮像することと、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、瞳孔中心と角膜反射中心との間の対象距離に基づいて複数の光源のうち検出光を発光する光源を切り替えることとを含む。

【0088】

また、本実施形態に係る視線検出プログラムは、表示部１０１に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球１１１に照射する処理と、検出光が照射された眼球１１１の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、瞳孔中心と角膜反射中心との間の対象距離に基づいて複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる。

【0089】

本実施形態に係る構成によれば、瞳孔中心と角膜反射中心との間の対象距離に基づいて、複数の光源のうち検出光を発光する光源を切り替えることができるため、被験者の眼球に照射される検出光の反射像が角膜の外側にはみ出すことを抑制できる。これにより、視線の検出精度の低下を抑制できる。

【0090】

本実施形態に係る視線検出装置１００において、複数の光源は、表示部１０１の下方に設置された第１光源１０３Ａ及び第２光源１０３Ｂと、表示部１０１の上方に設置された第３光源１０３Ｃ及び第４光源１０３Ｄとを含み、距離は、上下方向の対象距離ＤＹであり、光源制御部２２は、検出光を発光する光源を下部光源と上部光源との間で切り替える。この構成によれば、上下方向の対象距離ＤＹに基づいて検出光を発光する光源を下部光源と上部光源との間で切り替えるため、検出光の反射像を被験者の角膜内に確実に配置することができる。

【0091】

本実施形態に係る視線検出装置１００において、光源制御部２２は、眼球１１１の画像における検出光の角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて、検出光を発光する光源を切り替える。これにより、瞳孔中心の位置と角膜反射中心の位置が得られない場合においても、検出光を発光する光源の切り替えを適切に行うことができる。

【0092】

また、本実施形態に係る視線検出装置１００は、画像を表示する表示部１０１と、検出光を発光して被験者の少なくとも一方の眼球１１１に照射する複数の光源（第１光源１０３Ａ、第２光源１０３Ｂ、第３光源１０３Ｃ、第４光源１０３Ｄ）と、検出光が照射された眼球１１１の画像を撮像するステレオカメラ装置１０２と、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部２４と、瞳孔中心の位置と角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部２６と、眼球１１１の画像における検出光の角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替える光源制御部２２とを備える。

【0093】

また、本実施形態に係る視線検出方法は、表示部１０１に画像を表示することと、複数の光源から検出光を発光して被験者の少なくとも一方の眼球１１１に照射することと、検出光が照射された眼球１１１の画像を撮像することと、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、眼球１１１の画像における検出光の角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替えることとを含む。

【0094】

また、本実施形態に係る視線検出プログラムは、表示部１０１に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球１１１に照射する処理と、検出光が照射された眼球１１１の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球１１１の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、眼球１１１の画像における検出光の角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる。

【0095】

本実施形態に係る構成によれば、眼球１１１の画像における検出光の角膜反射像１１３の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替えることができるため、被験者の眼球に照射される検出光の反射像が角膜の外側にはみ出すことを抑制できる。これにより、視線の検出精度の低下を抑制できる。

【0096】

本実施形態に係る視線検出装置１００において、基準形状は、扁平率が閾値未満の１つの楕円形状であり、光源制御部２２は、角膜反射像１１３の形状が基準形状に含まれないと判定した場合には、検出光を発光する光源を切り替える。この構成によれば、角膜反射像１１３の形状が扁平率閾値未満の１つの楕円形状の範囲に含まれないと判定される場合には検出光を発光する光源が切り替わるため、検出光の角膜反射像１１３を被験者の角膜内に配置することができる。

【0097】

本実施形態に係る視線検出装置１００において、複数の光源は、表示部１０１の下方に設置された第１光源１０３Ａ及び第２光源１０３Ｂと、表示部１０１の上方に設置された第３光源１０３Ｃ及び第４光源１０３Ｄとを含み、光源制御部２２は、検出光を発光する光源を下部光源と上部光源との間で切り替える。この構成によれば、検出光の反射像を被験者の角膜内に確実に配置することができる。

【0098】

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【0099】

例えば、上記実施形態では、複数の光源として、表示部１０１の下部に配置された下部光源（第１光源１０３Ａ、第２光源１０３Ｂ）と、表示部１０１の上部に配置された上部光源（第３光源１０３Ｃ、第４光源１０３Ｄ）とが設けられた構成を例に挙げて説明したが、これに限定されない。例えば、下部光源及び上部光源に加えて又はこれらの光源の少なくとも一方に代えて、表示部１０１の左右の側部に光源が配置された構成であってもよい。

【0100】

また、上記実施形態では、上部光源として、２つの光源（第３光源１０３Ｃ、第４光源１０３Ｄ）が設けられた構成を例に挙げて説明したが、これに限定されない。例えば、上部光源として、１つ光源が設けられた構成であってもよい。

【0101】

また、上記実施形態では、表示部１０１の下部に第１カメラ１０２Ａ及び第２カメラ１０２Ｂが配置された構成を例に挙げて説明したが、これに限定されない。第１カメラ１０２Ａ及び第２カメラ１０２Ｂは、表示部１０１の上部又は側部に配置されてもよい。

【0102】

また、上記実施形態では、光源制御部２２が、下部光源（第１光源１０３Ａ、第２光源１０３Ｂ）及び上部光源（第３光源１０３Ｃ、第４光源１０３Ｄ）の一方から検出光を発光させる構成を例に挙げて説明した。これに加えて、光源制御部２２は、下部光源及び上部光源の両方から順に検出光を発光させ、眼球１１１の画像データにおける瞳孔中心と角膜反射中心の距離をそれぞれ算出してもよい。この場合、注視点検出部２６は、下部光源及び上部光源のうち算出された距離がが小さくなる方の光源から検出光が発光された場合の画像データを用いて注視点の検出を行うようにしてもよい。また、光源制御部２２は、下部光源及び上部光源の両方から順に検出光を発光させ、眼球１１１の画像データにおける角膜反射像の形状をそれぞれ算出してもよい。この場合、注視点検出部２６は、下部光源及び上部光源のうち算出された角膜反射像の形状が基準形状に最も近い方の光源から検出光が発光された場合の画像データを用いて注視点の検出を行うようにしてもよい。

【0103】

本開示は、ＳＤＧｓの「すべての人に健康と福祉を」の実現に貢献し、ヘルスケア製品・サービスによる価値創出に寄与する事項を含む。

【符号の説明】

【0104】

ＤＸ，ＤＹ…対象距離、Ｑ…基準形状、Ｒａ，Ｒｂ，１２７…距離、２０…コンピュータシステム、２０Ａ…演算処理装置、２０Ｂ…記憶装置、２０Ｃ…コンピュータプログラム、２１…表示制御部、２２…光源制御部、２３…画像データ取得部、２４…位置検出部、２５…曲率中心算出部、２６…注視点検出部、２７…記憶部、２８…入出力制御部、３０…入出力インターフェース装置、４０…駆動回路、５０…出力装置、６０…入力装置、１００…視線検出装置、１０１…表示部、１０１Ｓ…表示画面、１０２…ステレオカメラ装置、１０２Ａ…第１カメラ、１０２Ｂ…第２カメラ、１０２Ｃ，１０３Ｃ…第３光源、１０３…照明装置、１０３Ａ…第１光源、１０３Ｂ…第２光源、１０３Ｄ…第４光源、１０３Ｖ…仮想光源、１０９…角膜曲率半径、１１０…角膜曲率中心、１１１…眼球、１１１ａ…角膜、１１１ｂ…強膜、１１２…瞳孔、１１２Ｃ…瞳孔中心、１１３…角膜反射像、１１３Ｃ，１２１，１２２，１２４…角膜反射中心、１２３，１７３，１７８…直線、１３０…目標位置、１４１…第１直線、１４２…第２直線、１６６…交点、３０２…入出力部、４０２…表示装置駆動部、４０４Ａ…第１カメラ入出力部、４０４Ｂ…第２カメラ入出力部、４０６…光源駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】