特開 2024-90620 被験者特定装置、視線検出装置、被験者特定方法及び被験者特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090620

(43)【公開日】2024-07-04

(54)【発明の名称】被験者特定装置、視線検出装置、被験者特定方法及び被験者特定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240627BHJP

   G06V 40/18 20220101ALI20240627BHJP

   A61B 3/113 20060101ALI20240627BHJP

   A61B 3/107 20060101ALI20240627BHJP

   A61B 5/1171 20160101ALI20240627BHJP

【ＦＩ】

G06T7/00 510D

G06V40/18

A61B3/113

A61B3/107

A61B5/1171 300

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022206616

(22)【出願日】2022-12-23

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】箱嶋 修二

【テーマコード（参考）】

4C038

4C316

5B043

【Ｆターム（参考）】

4C038VA07

4C038VB04

4C038VC05

4C316AA03

4C316AA21

4C316AB16

4C316FZ01

5B043AA09

5B043DA05

5B043EA07

5B043GA03

(57)【要約】

【課題】被験者を精度よく特定する。
【解決手段】被験者特定装置は、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、検出光が照射された眼球の画像を撮像する撮像部と、撮像された画像から、検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における被験者の角膜曲率を算出する角膜曲率算出部と、被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成するテーブル生成部と、新たに生成された角膜曲率テーブルである生成テーブルと、被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルである記憶テーブルとを照合し、照合結果に基づいて被験者を特定する照合部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、
前記検出光が照射された眼球の画像を撮像する撮像部と、
撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における前記被験者の角膜曲率を算出する角膜曲率算出部と、
前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成するテーブル生成部と、
新たに生成された角膜曲率テーブルである生成テーブルと、前記被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルである記憶テーブルとを照合し、照合結果に基づいて前記被験者を特定する照合部と
を備える被験者特定装置。

【請求項2】

検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、
前記検出光が照射された眼球の画像を撮像する撮像部と、
撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置に基づいて前記被験者の角膜曲率を算出する角膜曲率算出部と、
前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成するテーブル生成部と、
前記被験者の情報である被験者情報を角膜曲率テーブルに対応付けて記憶する記憶部と、
新たに生成された角膜曲率テーブルである生成テーブルと、前記記憶部に記憶された角膜曲率テーブルである記憶テーブルとが対応しているか否かを判定する照合部と、
前記被験者の視線を算出する視線処理部と
を備え、
前記視線処理部は、前記生成テーブルと前記記憶テーブルとが対応していると判定された場合に、前記記憶テーブルに対応付けられた前記被験者情報を用いて前記被験者の視線を算出する
視線検出装置。

【請求項3】

前記被験者情報は、前記被験者の眼球の角膜曲率中心と瞳孔中心とを結ぶ直線と前記被験者の視線とのズレであるガンマ角の情報を含む
請求項２に記載の視線検出装置。

【請求項4】

光源から検出光を発光して被験者の少なくとも一方の眼球に照射することと、
前記検出光が照射された眼球の画像を撮像することと、
撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における前記被験者の角膜曲率を算出することと、
前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成することと、
新たに生成された前記角膜曲率テーブルと、前記被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルとを照合し、照合結果に基づいて前記被験者を特定することと
を含む被験者特定方法。

【請求項5】

光源から検出光を発光して被験者の少なくとも一方の眼球に照射する処理と、
前記検出光が照射された眼球の画像を撮像する処理と、
撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における前記被験者の角膜曲率を算出する処理と、
前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成する処理と、
新たに生成された前記角膜曲率テーブルと、前記被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルとを照合し、照合結果に基づいて前記被験者を特定する処理と
をコンピュータに実行させる被験者特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被験者特定装置、視線検出装置、被験者特定方法及び被験者特定プログラムに関する。

【背景技術】

【0002】

光源で検出光を発光して被験者の眼球に照射し、検出光が照射された眼球の画像を取得し、取得した画像における瞳孔の像と検出光の反射像とに基づいて、瞳孔中心及び角膜曲率中心を算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する視線検出装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４６４９３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような視線検出装置では、同一の被験者が複数回の検出を行う場合、２回目以降の検出において１回目のデータを利用することがある。例えば被験者と当該被験者の１回目のデータとを対応付けておき、被験者を自動的に特定することができれば、１回目のデータを自動的に抽出することができる。この場合、被験者を精度よく特定することが求められる。

【0005】

本発明は、上記に鑑みてなされたものであり、被験者を精度よく特定することが可能な被験者特定装置、視線検出装置、被験者特定方法及び被験者特定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る被験者特定装置は、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、前記検出光が照射された眼球の画像を撮像する撮像部と、撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における前記被験者の角膜曲率を算出する角膜曲率算出部と、前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成するテーブル生成部と、新たに生成された角膜曲率テーブルである生成テーブルと、前記被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルである記憶テーブルとを照合し、照合結果に基づいて前記被験者を特定する照合部とを備える。

【0007】

本発明に係る視線検出装置は、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、前記検出光が照射された眼球の画像を撮像する撮像部と、撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置に基づいて前記被験者の角膜曲率を算出する角膜曲率算出部と、前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成するテーブル生成部と、前記被験者の情報である被験者情報を角膜曲率テーブルに対応付けて記憶する記憶部と、新たに生成された角膜曲率テーブルである生成テーブルと、前記記憶部に記憶された角膜曲率テーブルである記憶テーブルとが対応しているか否かを判定する照合部と、前記被験者の視線を算出する視線処理部とを備え、前記視線処理部は、前記生成テーブルと前記記憶テーブルとが対応していると判定された場合に、前記記憶テーブルに対応付けられた前記被験者情報を用いて前記被験者の視線を算出する。

【0008】

本発明に係る被験者特定方法は、光源から検出光を発光して被験者の少なくとも一方の眼球に照射することと、前記検出光が照射された眼球の画像を撮像することと、撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における前記被験者の角膜曲率を算出することと、前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成することと、新たに生成された前記角膜曲率テーブルと、前記被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルとを照合し、照合結果に基づいて前記被験者を特定することとを含む。

【0009】

本発明に係る被験者特定プログラムは、光源から検出光を発光して被験者の少なくとも一方の眼球に照射する処理と、前記検出光が照射された眼球の画像を撮像する処理と、撮像された前記画像から、前記検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における前記被験者の角膜曲率を算出する処理と、前記被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成する処理と、新たに生成された前記角膜曲率テーブルと、前記被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルとを照合し、照合結果に基づいて前記被験者を特定する処理とをコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、被験者を精度よく特定することが可能となる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係る視線検出装置の一例を模式的に示す図である。

【図2】図２は、視線検出装置の一例を示す機能ブロック図である。

【図3】図３は、本実施形態の視線検出装置において被験者の視線を検出する原理を模式的に示す図である。

【図4】図４は、光源部からの検出光が被験者の眼球に照射される状態を模式的に示す図である。

【図5】図５は、光源部からの検出光が被験者の眼球に照射される状態を模式的に示す図である。

【図6】図６は、光源部、撮像部及び被験者の眼球の位置関係の一例を示す図である。

【図7】図７は、撮像部により撮像された眼球の画像データの一例を示す図である。

【図8】図８は、本実施形態で用いられる角膜曲率テーブルの一例を示す模式図である。

【図9】図９は、角膜曲率テーブルの生成過程の一例を模式的に示す図である。

【図10】図１０は、眼球を正面から見た一例を模式的に示す図である。

【図11】図１１は、テーブル生成部による補間処理の一例を模式的に示す図である。

【図12】図１２は、ガンマ角情報の一例を模式的に示す図である。

【図13】図１３は、キャリブレーションによりガンマ角を計測する原理を模式的に示す図である。

【図14】図１４は、生成テーブルと記憶テーブルとを照合する処理の一例を模式的に示す図である。

【図15】図１５は、本実施形態に係る被験者特定方法及び視線検出方法の一例を示すフローチャートである。

【図16】図１６は、本実施形態に係る視線検出方法における視線検出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明に係る被験者特定装置、視線検出装置、被験者特定方法及び被験者特定プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0013】

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

【0014】

［被験者特定装置、視線検出装置］
図１は、本実施形態に係る視線検出装置１００の一例を模式的に示す図である。本実施形態に係る視線検出装置１００は、被験者の視線を検出し、検出結果を出力する。視線検出装置１００は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する。

【0015】

図１に示すように、視線検出装置１００は、表示装置１０と、画像取得装置２０と、コンピュータシステム３０と、出力装置４０と、入力装置５０と、入出力インターフェース装置６０とを備える。表示装置１０、画像取得装置２０、コンピュータシステム３０、出力装置４０及び入力装置５０は、入出力インターフェース装置６０を介してデータ通信を行う。表示装置１０及び画像取得装置２０は、それぞれ不図示の駆動回路を有する。

【0016】

表示装置１０は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０は、表示部１１を有する。表示部１１は、画像等の情報を表示する。表示部１１は、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１１の左右方向であり、Ｙ軸方向は表示部１１の上下方向であり、Ｚ軸方向は表示部１１と直交する奥行方向である。表示装置１０は、ヘッドマウント型ディスプレイ装置であってもよい。ヘッドマウント型ディスプレイの場合、ヘッドマウントモジュール内に画像取得装置２０のような構成が配置されることになる。

【0017】

画像取得装置２０は、被験者の左右の眼球ＥＢの画像データを取得し、取得した画像データをコンピュータシステム３０に送信する。画像取得装置２０は、光源部（光源）２１及び撮像部２２を有する。

【0018】

光源部２１は、被験者の眼球ＥＢに検出光を射出する。光源部２１は、互いに異なる位置に配置される第１光源２１Ａ及び第２光源２１Ｂを有する。第１光源２１Ａ及び第２光源２１Ｂは、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。光源部２１は、撮像部２２のフレーム同期信号に同期するように検出光を射出する。光源部２１は、単一の光源で構成されてもよい。

【0019】

撮像部２２は、被験者の左右の眼球ＥＢを撮像することで画像データを生成する。撮像部２２は、被験者の視線を検出する方法に応じた各種カメラを有する。本実施形態のように、被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮像部２２は、赤外線カメラを有し、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。撮像部２２は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば２０［ｍｓｅｃ］とすることができるが、これに限定されない。撮像部２２は、第１カメラ２２Ａ及び第２カメラ２２Ｂを有するステレオカメラの構成である。第１カメラ２２Ａ及び第２カメラ２２Ｂは、互いに異なる撮像位置に配置される。第１カメラ２２Ａ及び第２カメラ２２Ｂにより取得される画像データは、例えば８ビットの値（０～２５５）で設定される輝度を有する画素が２次元状に配列された構成である。輝度は、値が小さいほど暗く、値が大きいほど明るいことを示す。輝度の値が０の画素は、画像データに黒色として表示される。輝度の値が２５５の画素は、画像データに白色として表示される。第１カメラ２２Ａ及び第２カメラ２２Ｂは、例えば同一の解像度を有する。この場合、第１カメラ２２Ａ及び第２カメラ２２Ｂにより取得される画像データは、縦横の画素数が互いに等しくなる。撮像部２２は、単一のカメラで構成されてもよい。

【0020】

コンピュータシステム３０は、視線検出装置１００の動作を統括的に制御する。コンピュータシステム３０は、演算処理装置３０Ａ及び記憶装置３０Ｂを含む。演算処理装置３０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置３０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置３０Ａは、記憶装置３０Ｂに記憶されているコンピュータプログラム３０Ｃに従って演算処理を実施する。

【0021】

出力装置４０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置４０は、印刷装置を含んでもよい。入力装置５０は、操作されることにより入力データを生成する。入力装置５０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置５０が表示装置である出力装置４０の表示部に設けられたタッチセンサを含んでもよい。

【0022】

本実施形態に係る視線検出装置１００は、表示装置１０とコンピュータシステム３０とが別々の装置である。なお、表示装置１０とコンピュータシステム３０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。

【0023】

図２は、視線検出装置１００の一例を示す機能ブロック図である。図２に示すように、コンピュータシステム３０は、撮像制御部３１と、位置検出部３２と、角膜曲率算出部３３と、テーブル生成部３４と、照合部３５と、視線処理部３６と、記憶部３７とを有する。なお、コンピュータシステム３０のうち撮像制御部３１、位置検出部３２、角膜曲率算出部３３、テーブル生成部３４及び照合部３５と、上記した画像取得装置２０とにより、本実施形態に係る被験者特定装置７０が構成される。コンピュータシステム３０の機能は、演算処理装置３０Ａ及び記憶装置３０Ｂ（図１参照）によって発揮される。なお、コンピュータシステム３０は、一部の機能が視線検出装置１００の外部に設けられてもよい。

【0024】

撮像制御部３１は、光源部２１及び撮像部２２を制御する。撮像制御部３１は、光源部２１の第１光源２１Ａ及び第２光源２１Ｂのそれぞれについて、検出光の射出のタイミング、射出時間等を制御する。撮像制御部３１は、撮像部２２の第１カメラ２２Ａ及び第２カメラ２２Ｂについて、撮像のタイミング等を制御する。撮像制御部３１は、撮像部２２のフレーム同期信号と同期して、第１光源２１Ａ及び第２光源２１Ｂから検出光を射出させる。本実施形態において、撮像制御部３１は、例えばフレーム同期信号の周期ごとに、第１光源２１Ａ及び第２光源２１Ｂに交互に検出光を射出させる。撮像制御部３１は、画像取得装置２０により取得される画像データを取得する。撮像制御部３１は、取得した画像データを記憶部３７に記憶する。

【0025】

位置検出部３２は、撮像部２２で撮像された被験者の眼球の画像データに基づいて、検出光が照射された被験者の眼球の瞳孔の中心を示す瞳孔中心の位置データを検出する。また、位置検出部３２は、撮像部２２で撮像された被験者の眼球の画像データに基づいて、検出光が照射された被験者の眼球の角膜反射の中心を示す角膜反射中心の位置データを検出する。位置検出部３２は、被験者の左右それぞれの眼球について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。位置検出部３２は、撮像部２２で撮像された被験者の眼球の画像データに基づいて、光源部２１からの検出光による角膜反射中心の位置を算出する。角膜反射中心は、それぞれの検出光による角膜反射像の中心である。また、位置検出部３２は、撮像部２２の第１カメラ２２Ａ及び第２カメラ２２Ｂの２つのカメラで撮像された画像データに基づいて、三角測量法により被験者と撮像部２２との距離（以下、カメラ被験者間距離と表記する）を検出する。位置検出部３２は、検出した瞳孔中心、角膜反射中心の位置及びカメラ被験者間距離を記憶部３７に記憶する。

【0026】

角膜曲率算出部３３は、撮像された画像データから、検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置に基づいて被験者の角膜曲率を算出する。本実施形態において、角膜曲率算出部３３は、角膜曲率として、被験者の角膜曲率半径を算出することができる。なお、角膜曲率算出部３３は、角膜曲率として、被験者の角膜の曲率を算出してもよい。

【0027】

テーブル生成部３４は、被験者の眼球における異なる複数の位置で算出される角膜曲率半径に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成する。本実施形態において、テーブル生成部３４は、被験者の眼球上の位置と、角膜曲率半径との関係を示す角膜曲率テーブルを生成する。角膜曲率テーブルの詳細については、後述する。

【0028】

テーブル生成部３４は、生成した角膜曲率テーブルＴを、被験者を示す被験者情報に対応付けて記憶部３７に記憶させる。被験者情報は、被験者を特定するための被験者特定情報と、被験者のガンマ角情報とを含む。被験者特定情報は、例えば被験者を特定するための番号、被験者の氏名等が挙げられる。ガンマ角情報は、被験者の眼球の角膜曲率中心と瞳孔中心とを結ぶ直線と、被験者の視線とのズレであるガンマ角の情報である。ガンマ角の詳細については、後述する。

【0029】

照合部３５は、テーブル生成部３４で新たに生成された角膜曲率テーブル（以下、「生成テーブル」と表記する）と、記憶部３７に記憶された角膜曲率テーブル（以下、「記憶テーブル」と表記する）とを照合し、照合結果に基づいて被験者を特定する。照合部３５は、生成テーブルと記憶テーブルとが対応しているか否かを判定する。照合部３５は、生成テーブルと記憶テーブルとが対応していると判定した場合、記憶テーブルと対応付けて記憶される被験者特定情報を参照し、当該被験者特定情報に基づいて被験者を特定する。

【0030】

視線処理部３６は、被験者の視線を算出する。視線処理部３６は、撮像部２２により撮像された画像データに基づいて、被験者の瞳孔中心の位置を検出する。瞳孔中心は、瞳孔の中心である。視線処理部３６は、算出した瞳孔中心の位置と、光源部２１の位置と、位置検出部３２により算出された角膜反射中心の位置と、予め算出又は設定される角膜曲率半径の値と、ガンマ角の値とに基づいて、被験者の眼球ＥＢの視線ベクトルを視線として検出する。

【0031】

記憶部３７は、コンピュータシステム３０の各部における処理を行うための各種データやプログラムを記憶する。記憶部３７は、例えば表示部１１に表示させる画像についてのデータを記憶する。記憶部３７は、撮像制御部３１によって取得された画像データ、位置検出部３２によって算出された瞳孔中心の位置及び角膜反射中心の位置、テーブル生成部３４により算出された角膜曲率テーブル、当該角膜曲率テーブルと対応付けた被験者情報（被験者特定情報、ガンマ角情報）等の各種情報を記憶する。

【0032】

また、記憶部３７は、光源部２１から検出光を発光して被験者の少なくとも一方の眼球ＥＢに照射する処理と、検出光が照射された眼球ＥＢの画像を撮像する処理と、撮像された画像から、検出光が照射された眼球ＥＢにおける角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置に基づいて被験者の角膜曲率を算出する処理と、被験者の眼球ＥＢにおける異なる複数の位置で算出される角膜曲率に基づいて、眼球ＥＢ上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成する処理と、新たに生成された角膜曲率テーブルと、被験者を特定するための被験者特定情報に対応付けて記憶部に記憶された角膜曲率テーブルとを照合し、照合結果に基づいて被験者を特定する処理とをコンピュータに実行させる被験者特定プログラムを記憶する。

【0033】

また、記憶部３７は、光源部２１から検出光を発光して被験者の少なくとも一方の眼球ＥＢに照射する処理と、検出光が照射された眼球ＥＢの画像を撮像する処理と、撮像された画像から、検出光が照射された眼球ＥＢにおける角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置に基づいて被験者の角膜曲率を算出する処理と、被験者の眼球ＥＢにおける異なる複数の位置で算出される角膜曲率に基づいて、眼球ＥＢ上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成する処理と、新たに生成された角膜曲率テーブルと、被験者の情報である被験者特定に対応付けて記憶部に記憶された角膜曲率テーブルとが対応しているか否かを判定する処理と、被験者の視線を算出する処理とをコンピュータに実行させ、被験者の視線を算出する処理では、新たに生成された角膜曲率テーブルと記憶部に記憶される角膜曲率テーブルとが対応していると判定された場合に、記憶部に記憶される角膜曲率テーブルに対応付けられた被験者情報を用いて被験者の視線を算出する視線検出プログラムを記憶する。

【0034】

図３は、本実施形態の視線検出装置１００において被験者の視線を検出する原理を模式的に示す図である。以降、被験者の右側の眼球ＥＢ（右眼ＥＲ）について説明するが、左側の眼球ＥＢ（左眼ＥＬ）についても同様の説明が可能である。本実施形態では、被験者の眼球ＥＢにおける瞳孔中心１１２と角膜曲率中心１１０とを結ぶ直線１３０を求め、当該直線１３０の三次元ベクトルを視線として検出する。

【0035】

図３に示すように、第１光源２１Ａ及び第２光源２１Ｂの一方（例えば、第１光源２１Ａ）から被験者の眼球ＥＢに検出光を照射する。被験者の眼球ＥＢの角膜上には、検出光による角膜反射像１２０が形成される。被験者の眼球ＥＢを撮像部２２で撮像することにより、角膜反射像１２０が形成された眼球ＥＢの画像データを取得できる。当該画像データには、被験者の瞳孔の画像も含まれている。したがって、当該画像データに基づいて、被験者の眼球ＥＢの瞳孔中心１１２の位置と角膜反射中心１２５の位置とを算出することができる。瞳孔中心１１２は、被験者の瞳孔の中心を示す。角膜反射中心１２５は、角膜反射像１２０の中心を示す。このとき、第１カメラ２２Ａ及び第２カメラ２２Ｂの２つのカメラを用いることで、三角測量法により被験者の瞳孔中心１１２及び角膜反射中心１２５の位置を算出できる。

【0036】

被験者の眼球ＥＢにおいて、角膜曲率中心１１０は、角膜反射像１２０を形成した光源である第１光源２１Ａと、当該角膜反射像１２０の角膜反射中心１２５とを結ぶ直線１２３上の位置である。具体的には、角膜曲率中心１１０の位置は、直線１２３上のうち、角膜反射中心１２５から第１光源２１Ａとは反対方向について角膜曲率半径ｒに対応する距離だけ離れた位置である。したがって、角膜反射中心１２５の位置を算出した場合、角膜曲率半径ｒの値に基づいて、角膜曲率中心１１０の位置を算出することができる。角膜曲率半径ｒの値は、例えば予め設定された値を用いてもよいし、後述する測定等により算出した値を用いてもよいし、後述の角膜曲率テーブルに基づく値を用いてもよい。

【0037】

瞳孔中心１１２の位置と角膜曲率中心１１０の位置とを求めることにより、当該瞳孔中心１１２と角膜曲率中心１１０とを通る直線１３０を算出することができる。そして、この直線１３０の三次元ベクトルを、被験者の視線として算出することができる。なお、視線ベクトルを検出した後、直線１３０（視線ベクトル）と表示部１１との交点を示す注視点の位置を検出することができる。

【0038】

ここで、角膜曲率算出部３３により角膜曲率半径を算出する原理の一例について説明する。図４及び図５は、光源部２１からの検出光が被験者の眼球ＥＢに照射される状態を模式的に示す図である。以降、被験者の右側の眼球ＥＢ（右眼ＥＲ）について説明するが、左側の眼球ＥＢ（左眼ＥＬ）についても同様の説明が可能である。また、図４及び図５では、撮像部２２として第１カメラ２２Ａのみを示し、第２カメラ２２Ｂについては省略しているが、実際には第１カメラ２２Ａ及び第２カメラ２２Ｂの両方が配置される。

【0039】

図４及び図５に示すように、第１光源２１Ａ及び第２光源２１Ｂから眼球ＥＢに検出光が照射された場合、眼球ＥＢの角膜には角膜反射像が形成される。ここで、第１光源２１Ａの角膜反射像１２０Ａの中心が第１角膜反射中心１２１である。また、第２光源２１Ｂの角膜反射像１２０Ｂの中心が第２角膜反射中心１２２である。

【0040】

図５に示すように、撮像部２２と被験者との距離が変化することに伴い、第１角膜反射中心１２１と第２角膜反射中心１２２との中心間距離ｄが変化する。例えば、撮像部２２と被験者の眼球ＥＢとの距離であるカメラ被験者間距離がｘ１となる場合（位置Ｐ１）の中心間距離ｄ１と、カメラ被験者間距離がｘ１よりも大きいｘ２となる場合（位置Ｐ２）の中心間距離ｄ２との間には、ｄ１＞ｄ２が成立する。

【0041】

図６は、光源部、撮像部及び被験者の眼球の位置関係の一例を示す図である。図６に示すように、第１光源２１Ａと撮像部２２との距離をａ、第２光源２１Ｂと撮像部２２との距離をｂ、撮像部２２と被験者との間のカメラ被験者間距離をｘ、眼球ＥＢに検出される第１角膜反射中心１２１と第２角膜反射中心１２２との距離をｄ、角膜曲率半径をｒとする。この例において、カメラ被験者間距離ｘは、撮像部２２と被験者の眼球ＥＢの角膜曲率中心１１０との間の距離とする。なお、カメラ被験者間距離ｘは、例えば第１カメラ２２Ａ及び第２カメラ２２Ｂの２つのカメラで撮像された画像データに基づいて三角測量法により検出される値を用いることができる。ここで、ｒ＜＜ｘであることから、角膜曲率中心１１０及び第１光源２１Ａを通る直線Ｌ１と角膜曲率中心１１０及び第１角膜反射中心１２１を通る直線Ｌ２とがなす角度と、角膜曲率中心１１０及び撮像部２２を通る直線Ｌ３と上記直線Ｌ２とがなす角度とが同等であると近似することができる。以下、この角度をθ１とする。同様に、角膜曲率中心１１０及び第２光源２１Ｂを通る直線Ｌ４と角膜曲率中心１１０及び第１角膜反射中心１２１を通る直線Ｌ５とがなす角度と、角膜曲率中心１１０及び撮像部２２を通る直線Ｌ３と上記直線Ｌ５とがなす角度とが同等であると近似することができる。以下、この角度をθ２とする。

【0042】

この場合において、以下の式１から式３が成立する。
θ１＝ａｒｃｔａｎ（ａ／ｘ）／２ ・・・（式１）
θ２＝ａｒｃｔａｎ（ｂ／ｘ）／２ ・・・（式２）
ｄ＝ｒ・ｓｉｎθ１＋ｒ・ｓｉｎθ２ ・・・（式３）

【0043】

図７は、撮像部２２により撮像された眼球ＥＢの画像データの一例を示す図である。図７に示すように、本実施形態においては、第１光源２１Ａから検出光を眼球ＥＢに照射した状態で撮像した場合の画像データＩＭ１と、第２光源２１Ｂから検出光を眼球ＥＢに照射した状態で撮像した場合の画像データＩＭ２とが別個の画像データとして取得される。画像データＩＭ１には、第１光源２１Ａからの検出光による角膜反射像（以下、第１角膜反射像１２０Ａと表記する）が映っている。画像データＩＭ２には、第２光源２１Ｂからの検出光による角膜反射像（以下、第２角膜反射像１２０Ｂと表記する）が映っている。本実施形態では、第１光源２１Ａと第２光源２１Ｂとを異なるタイミングで点灯させる。このため、第１角膜反射像１２０Ａ及び第２角膜反射像１２０Ｂの映り方としては、一方の画像データＩＭ１には第１角膜反射像１２０Ａのみが映り、他方の画像データＩＭ２には第２角膜反射像１２０Ｂのみが映る。位置検出部３２は、取得された第１画像データ及び第２画像データに基づいて、第１角膜反射中心１２１及び第２角膜反射中心１２２の位置を算出する。

【0044】

角膜曲率算出部３３は、画像データＩＭ１に含まれる第１角膜反射中心１２１と、画像データＩＭ２に含まれる第２角膜反射中心１２２との距離（撮像素子の画素数）ｄ´（pixel）から、第１角膜反射中心１２１と第２角膜反射中心１２２との実際の距離ｄ（ｍｍ）を算出する。なお、図７では、第１角膜反射中心１２１及び第２角膜反射中心１２２の位置を判別しやすくするため、黒色の点で示しているが、実際には黒色の点は存在しない。

【0045】

ここで、撮像部２２を構成するレンズの焦点距離をｆ、撮像部２２を構成する撮像素子の画素間距離（ピッチ）をｐとすると、以下の式４が成立する。

【0046】

ｄ´＝（ｆ・ｄ／ｘ）／ｐ ・・・（式４）

【0047】

上記の式１から式４をｄ´について解くと、
ｄ´＝ｒ・（ｓｉｎ（ａｒｃｔａｎ（ａ／ｘ）／２）
＋ｓｉｎ（ａｒｃｔａｎ（ｂ／ｘ）／２））・ｆ／（ｐ・ｘ）・・・（式５）
となる。

【0048】

式５において、例えばａ、ｂ＝１００（ｍｍ）、ｆ＝１２（ｍｍ）、ｘ＝６００（ｍｍ）、ｐ＝０．００４８（ｍｍ／pixel）とすると、以下の式６のようなｘとｄ´との関係式が求められる。

【0049】

ｄ´＝ｒ・（２・ｓｉｎ（ａｒｃｔａｎ（１００／６００）／２））・１２
／（０．００４８・６００）
＝ｒ・α （ただし、αは定数） ・・・（式６）

【0050】

角膜曲率算出部３３は、上記の式６を用いることにより、中心間距離ｄ´に基づいて角膜曲率半径ｒを算出することができる。

【0051】

図８は、本実施形態で用いられる角膜曲率テーブルの一例を示す模式図である。図８に示すように、角膜曲率テーブルＴでは、被験者の眼球を正面から見た場合において瞳孔中心１１２の位置を中心としたグリッドＧが設定される。グリッドＧは、仮想直線により格子状に形成される。グリッドＧは、例えば横方向をＸ方向とし、縦方向をＹ方向とすることができる。角膜曲率テーブルＴでは、グリッドＧを構成する仮想直線で格子状に区画される部位Ｇａにより、角膜上の位置が規定される。１つの部位Ｇａごとに、角膜上の１つの位置が規定される。各部位Ｇａは、例えばＸ座標及びＹ座標により規定することができる。角膜曲率テーブルＴは、被験者ごとに生成される。

【0052】

図８の一部に、グリッドＧを拡大して示す。角膜曲率テーブルＴは、グリッドＧで区画される１つの部位Ｇａごとに、算出した角膜曲率半径が対応付けられたデータである。図４のグリッドＧでは、同一の角膜曲率半径を同一の色で示している。グリッドＧの拡大図に示す例において、グリッドＧの部位Ｇａに対応付けられる角膜曲率半径は、被験者の瞳孔中心１１２を中心として、同心円状に広がるにつれて段階的に大きくなっている。

【0053】

図９は、角膜曲率テーブルＴの生成過程の一例を模式的に示す図である。図９に示すように、被験者の眼球ＥＢに角膜反射を形成した状態で視線（眼球ＥＢ）が移動した場合、角膜上における第１角膜反射中心１２１及び第２角膜反射中心１２２の位置が相対的に移動する。図９では、第２角膜反射中心１２２の位置がグリッドＧの部位Ｇａを跨いで移動する場合を例に挙げて説明する。なお、第１角膜反射中心１２１の位置が移動する場合も同様の説明が可能である。角膜曲率算出部３３は、角膜上における第２角膜反射中心１２２の位置が図９に示す軌跡１２２ＲでグリッドＧの部位Ｇａを跨いで移動する場合、部位Ｇａごとに角膜曲率半径の値を算出する。また、テーブル生成部３４は、算出した値を当該部位Ｇａに対応付けて記憶する。なお、角膜曲率算出部３３により同一の部位Ｇａにおいて角膜曲率半径の値が複数回算出された場合、テーブル生成部３４は、複数回の算出結果の平均値を角膜曲率半径の値として対応付けてもよい。このように、テーブル生成部３４は、生成した角膜曲率テーブルＴを更新することができる。テーブル生成部３４は、例えば上記の処理を所定時間行うことにより、図８に示す角膜曲率テーブルＴを生成することができる。

【0054】

なお、図８に示す角膜曲率テーブルＴにおいて、一部の部位Ｇａについては、上記手順によらなくても角膜曲率半径を算出することができる。図１０は、眼球ＥＢを正面から見た一例を模式的に示す図である。図１０には、瞳孔１１４、虹彩１１６及びその付近における角膜曲率半径を示す近似円Ｃ１～Ｃ３が示されている。図１０に示すように、一般的に人の眼球ＥＢの角膜曲率半径は、正面から見た場合には瞳孔中心１１２を中心に同心円状になだらかに変化する。つまり、瞳孔中心１１２から離れるにつれて近似円の径が徐々に大きくなる。また、近似円に沿った部分の角膜曲率半径は、当該近似円の一周に亘ってほぼ等しくなっている。このため、テーブル生成部３４は、角膜曲率テーブルＴのグリッドＧのうち角膜曲率半径の値が算出されなかった部位Ｇａに対して、瞳孔中心１１２を中心に角膜曲率半径が同心円状に大きくなるように、かつ同心円に沿った部位Ｇａの角膜曲率半径が同一となるように補間処理を行うことで、全ての部位Ｇａについて角膜曲率半径を算出することができる。

【0055】

図１１は、テーブル生成部３４による補間処理の一例を模式的に示す図である。図１１に示すように、テーブル生成部３４は、補間処理として、グリッドＧに瞳孔中心１１２を中心とした径が異なる複数の同心円を設定し、複数の同心円で区画される複数の領域について同一の領域に存在する部位Ｇａ同士の角膜曲率半径が同一の値となるように角膜曲率テーブルＴを補間することができる。また、テーブル生成部３４は、同心円の径が大きくなるほど角膜曲率半径の値が大きくなるように角膜曲率テーブルＴを補間することができる。図１１では、テーブル生成部３４が３つの仮想の同心円を設定する場合を例に挙げている。以下、最も径が小さい仮想円を第１仮想円と表記し、２番目に径が小さい仮想円を第２仮想円と表記し、最も径が大きい仮想円を第３仮想円と表記する。第１仮想円から第３仮想円は、例えば上記した近似円Ｃ１～Ｃ３に対応する。図１１に示すように、テーブル生成部３４は、第１仮想円の内側の領域に位置する部位Ｇａ同士が同値となり、第１仮想円と第２仮想円との間の領域に位置する部位Ｇａ同士が同値となり、第２仮想円と第３仮想円との間の領域に位置する部位Ｇａ同士が同値となり、第３仮想円の外側の領域に位置する部位Ｇａ同士が同値となるように、角膜曲率半径を補間することができる。テーブル生成部３４による角膜曲率テーブルＴの生成は、いわゆる従来のキャリブレーション動作とは異なり、被験者が予め指定された特定の位置を注視する必要が無く、被験者が撮像部２２で撮像可能な範囲にいる状態であれば実行可能である。

【0056】

図１２は、ガンマ角情報の一例を模式的に示す図である。図１２の上段に示すように、眼球ＥＢにおいて、網膜１１７の物理的な中心１１８と網膜視野中心１１９とが同一である場合、瞳孔中心１１２と、角膜曲率中心１１０と、網膜視野中心１１９とが同一直線上に存在する。この場合、角膜曲率中心１１０と瞳孔中心１１２とを結ぶ直線１３０と、角膜曲率中心１１０と網膜視野中心１１９とを結ぶ直線１２９とが等しくなる。直線１３０は、被験者の瞳孔の向きを示す。直線１３０は、視線検出装置１００において検出する視線ベクトルに相当する直線である。直線１２９は、被験者の網膜１１７の網膜視野中心１１９に映る像の方向、すなわち被験者の実際の視線を示す。

【0057】

これに対して、図１２の下段に示すように、網膜１１７の物理的な中心１１８と網膜視野中心１１９とがずれた位置に存在する場合、瞳孔中心１１２と、角膜曲率中心１１０と、網膜視野中心１１９とが同一直線上に存在しない。この場合、角膜曲率中心１１０と瞳孔中心１１２とを結ぶ直線１３０が、角膜曲率中心１１０と網膜視野中心１１９とを結ぶ直線１２９に対して傾いた状態となる。この直線１２９と直線１３０との傾き角度、すなわち視線検出装置１００で検出する視線ベクトルに相当する直線１３０と、被験者の実際の視線に相当する直線１２９とがなす角度がガンマ角γである。ガンマ角γは、個人に特有の値となっている。

【0058】

図１３は、キャリブレーションによりガンマ角を計測する原理を模式的に示す図である。図１３に示すように、キャリブレーション開始時に表示部１１上の目標物１２を注視するように被験者に指示する。被験者が目標物１２を注視した状態において、例えば光源部２１の第１光源２１Ａから検出光を照射する。第１光源２１Ａと被験者の眼球ＥＢに形成される角膜反射中心１２１とを結ぶ直線と、角膜曲率半径の値とに基づいて角膜曲率中心１１０を求める。角膜曲率中心１１０と瞳孔中心１１２とを結ぶ直線１３０が被験者の瞳孔の向きである。また、本キャリブレーションにおいては、角膜曲率中心１１０と目標物１２とを結ぶ直線１２９が被験者の視線である。この場合、直線１３０と直線１２９とがなす角度γをガンマ角として算出することができる。

【0059】

被験者の瞳孔の向き（直線１３０）に対してガンマ角γの補正を加えることで、精度よく視線ベクトルを算出することができる。このように、ガンマ角γの計測は、被験者が目標物１２を注視する等、被験者の自覚的な動作によって得ることができる。したがって、被験者及び測定者の負担を考えた場合、キャリブレーションにより正しいガンマ角γの値が得られた場合には、当該被験者の次回以降の視線検出時にも上記で得られたガンマ角γの値を再利用することが望ましい。尚、上記説明では、視線検出装置１００で検出する視線ベクトルに相当する直線１３０と、被験者の実際の視線に相当する直線１２９とがなす角度を被験者を上から見た場合の平面的な角度として説明したが、実際には被験者を横から見た場合の角度も含めて３次元的な角度としてガンマ角γを算出する。

【0060】

図１４は、生成テーブルと記憶テーブルとを照合する処理の一例を模式的に示す図である。図１４に示す例は、生成テーブルＴ１と、記憶テーブルＴ２、Ｔ３を用いる場合を示している。なお、図１４に示す生成テーブルＴ１及び記憶テーブルＴ２、Ｔ３は、説明を簡略化するため、グリッドＧをＸ方向及びＹ方向のそれぞれについて５つずつ、すなわち５×５のグリッドＧである場合を例に挙げて説明する。Ｘ軸、Ｙ軸の各数値は、瞳孔中心に対応する部位Ｇａを原点とした場合のＸ座標、Ｙ座標をそれぞれ示している。グリッドＧの数は、５×５に限定されない。また、図１４では、グリッドＧの部位Ｇａに対応付ける値として、角膜曲率半径の逆数に基づく値（曲率の値）を用いている。なお、図１４において、グリッドＧの部位Ｇａに対応付ける値として、角膜曲率半径を用いた場合でも同様の説明が可能である。

【0061】

図１４に示すように、照合部３５は、新たに生成された生成テーブルＴ１を取得する。照合部３５は、取得した生成テーブルＴ１が記憶テーブルＴ２、Ｔ３と対応するか否かを判定する。この場合、照合部３５は、生成テーブルＴ１を、記憶テーブルＴ２、Ｔ３とそれぞれ照合する。

【0062】

照合部３５は、例えば生成テーブルＴ１と、記憶テーブルＴ２、Ｔ３とについて、２次元配列の全ての値の差分を算出し、当該差分の和βに基づいて対応関係を判定することができる。ここで、生成テーブルＴ１の各部位Ｇａの曲率の値をＡ（ｘ、ｙ）とし、記憶テーブルＴ２、Ｔ３の各部位Ｇａの曲率の値をＢ（ｘ、ｙ）とする。ただし、ｘはＸ座標、ｙはＹ座標を示す。この場合、以下の式７によって差分の和βを算出することができる。

【0063】

β＝｜Ａ（－２，－２）－Ｂ（－２，－２）｜
＋｜Ａ（－２，－２）－Ｂ（－２，－１）｜＋
＋……
＋｜Ａ（２，２）－Ｂ（２，２）｜ （式７）

【0064】

ここで、実際の曲率の計測においては、完全一致する場合はほとんどなく、一定の誤差が生じる。このため、差分の和βが閾値以下の場合、生成テーブルＴ１と記憶テーブルＴ２、Ｔ３が対応するとみなすことができる。

【0065】

図１４において、生成テーブルＴ１と記憶テーブルＴ２との差分の和βは、６．５８である。また、生成テーブルＴ１と記憶テーブルＴ３との差分の和βは、２．３４である。

【0066】

例えば、閾値を３．０とした場合、照合部３５は、差分の和βが閾値３．０よりも大きい記憶テーブルＴ２については、生成テーブルＴ１とは対応しないと判定することができる。また、照合部３５は、差分の和βが閾値３．０以下の記憶テーブルＴ３については、生成テーブルＴ１と対応すると判定することができる。

【0067】

この場合、視線処理部３６は、照合部３５により生成テーブルＴ１と対応すると判定された記憶テーブルＴ３について、当該記憶テーブルＴ３に対応付けられる被験者情報のうち被験者特定情報を参照し、当該被験者特定情報により被験者を特定する。

【0068】

また、視線処理部３６は、当該生成テーブルＴ１に係る被験者の視線を算出する際、照合部３５により生成テーブルＴ１と対応すると判定された記憶テーブルＴ３について、当該記憶テーブルＴ３に対応付けられる被験者情報のうちガンマ角情報を参照し、当該ガンマ角情報に基づいたガンマ角γを用いて被験者の視線を算出する。

【0069】

また、例えば閾値を１．０とした場合、照合部３５は、差分の和βが閾値１．０よりも大きい記憶テーブルＴ２、Ｔ３の両者について、生成テーブルＴ１とは対応しないと判定することができる。

【0070】

この場合、生成テーブルＴ１と対応する記憶テーブルが存在しないことになる。このため、照合部３５は、生成テーブルＴ１を記憶部３７に記憶させる。これにより、生成テーブルＴは、記憶部３７において新たな記憶テーブルとして記憶される。また、視線処理部３６は、キャリブレーションにより当該被験者のガンマ角γの算出を行い、算出したガンマ角γを含むガンマ角情報を新たな記憶テーブル（Ｔ１）に対応付けて記憶部３７に記憶させる。

【0071】

［被験者特定方法、視線検出方法］
次に、本実施形態に係る視線検出装置１００を用いた被験者特定方法及び視線検出方法の一例を説明する。図１５は、本実施形態に係る被験者特定方法及び視線検出方法の一例を示すフローチャートである。図１５に示すように、まず、テーブル生成部３４は、被験者の眼球における異なる複数の位置で算出される角膜曲率半径に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブル（生成テーブル）を生成する（ステップＳ１０１）。

【0072】

次に、照合部３５は、生成テーブルと、記憶部３７に記憶される角膜曲率テーブル（記憶テーブル）とを照合する（ステップＳ１０２）。照合部３５は、照合結果に基づいて、生成テーブルに対応する記憶テーブルが存在するか否かを判定する（ステップＳ１０３）。

【0073】

ステップＳ１０３において、生成テーブルに対応する記憶テーブルが存在すると判定した場合（ステップＳ１０３のＹｅｓ）、照合部３５は、判定された記憶テーブルに対応付けられた被験者情報のうち被験者特定情報に基づいて被験者を特定する（ステップＳ１０４）。

【0074】

一方、ステップＳ１０３において、生成テーブルに対応する記憶テーブルが存在しないと判定した場合（ステップＳ１０３のＮｏ）、照合部３５は、当該生成テーブルを新たな記憶テーブルとして記憶部３７に記憶させる（ステップＳ１０５）。

【0075】

視線処理部３６は、キャリブレーションにより被験者のガンマ角γを計測させる（ステップＳ１０６）。視線処理部３６は、計測したガンマ角γを新たな記憶テーブルに対応付けて記憶させる（ステップＳ１０７）。

【0076】

ステップＳ１０４の処理が行われた場合、視線処理部３６は、特定された被験者の記憶テーブルに対応付けられた被験者情報のガンマ角情報に含まれるガンマ角γを取得して（ステップＳ１０５）、視線の算出を行う（ステップＳ１１０）。一方、ステップＳ１０７の処理が行われた場合、視線処理部３６は、計測したガンマ角γを取得して（ステップＳ１０９）、視線の算出を行う（ステップＳ１１０）。

【0077】

図１６は、本実施形態に係る視線検出方法における視線検出処理の一例を示すフローチャートである。図１６に示すように、視線検出処理では、光源部２１の第１光源２１Ａ又は第２光源２１Ｂの一方から検出光を射出して眼球ＥＢを照明し（ステップＳ２０１）、撮像部２２の第１カメラ２２Ａ及び第２カメラ２２Ｂの両方で眼球ＥＢを撮像する（ステップＳ２０２）。位置検出部３２は、取得された眼球ＥＢの画像データに基づいて、瞳孔中心１１２の位置及び角膜反射中心１２５の位置を検出する（ステップＳ２０３）。位置検出部３２は、三角測量法等により、瞳孔中心１１２及び角膜反射中心１２５の各位置を世界座標（グローバル座標系）に変換する（ステップＳ２０４）。

【0078】

視線処理部３６は、第１光源２１Ａ及び第２光源２１Ｂのうち検出光を射出した光源の位置と、瞳孔中心１１２の位置と、角膜反射中心１２５の位置と、角膜曲率半径ｒとに基づいて、角膜曲率中心１１０の位置を算出する（ステップＳ２０５）。この場合、視線処理部３６は、検出光を射出した光源の位置と、角膜反射中心１２５とを結ぶ直線１２３を求める。視線処理部３６は、求めた直線１２３上において、角膜反射中心１２５から眼球ＥＢの内側に対して角膜曲率半径ｒに相当する距離だけ離れた位置を角膜曲率中心１１０の位置として求める。

【0079】

視線処理部３６は、瞳孔中心１１２と角膜曲率中心１１０とを結ぶ直線１３０を求め、ステップＳ１０５又はステップＳ１０９により取得したガンマ角γにより直線１３０の傾きを補正することにより、当該直線１３０の三次元ベクトルを視線ベクトルとして算出する（ステップＳ２０６）。

【0080】

以上のように、本実施形態に係る被験者特定装置７０は、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の第１光源２１Ａ及び第２光源２１Ｂと、検出光が照射された眼球の画像を撮像する撮像部２２と、撮像された画像から、検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における被験者の角膜曲率を算出する角膜曲率算出部３３と、被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成するテーブル生成部３４と、新たに生成された角膜曲率テーブルである生成テーブルと、被験者を特定するための被験者特定情報に対応付けて記憶部３７に記憶された角膜曲率テーブルである記憶テーブルとを照合し、照合結果に基づいて被験者を特定する照合部３５とを備える。

【0081】

また、本実施形態に係る被験者特定方法は、第１光源２１Ａ及び第２光源２１Ｂから検出光を発光して被験者の少なくとも一方の眼球に照射することと、検出光が照射された眼球の画像を撮像することと、撮像された画像から、検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における被験者の角膜曲率を算出することと、被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成することと、新たに生成された角膜曲率テーブルと、被験者を特定するための被験者特定情報に対応付けて記憶部３７に記憶された角膜曲率テーブルとを照合し、照合結果に基づいて被験者を特定することとを含む。

【0082】

また、本実施形態に係る被験者特定プログラムは、第１光源２１Ａ及び第２光源２１Ｂから検出光を発光して被験者の少なくとも一方の眼球に照射する処理と、検出光が照射された眼球の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置における被験者の角膜曲率を算出する処理と、被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成する処理と、新たに生成された角膜曲率テーブルと、被験者を特定するための被験者特定情報に対応付けて記憶部３７に記憶された角膜曲率テーブルとを照合し、照合結果に基づいて被験者を特定する処理とをコンピュータに実行させる。

【0083】

この構成によれば、角膜曲率テーブルを生成し、新たに生成された生成テーブルと、記憶部３７に記憶される記憶テーブルとを照合して、照合結果に基づいて、記憶テーブルに対応付けられた被験者特定情報により被験者を特定することができる。角膜曲率テーブルは被験者によって異なる情報、すなわち被験者固有の情報である。したがって、被験者固有の情報を用いることで、被験者を精度よく特定することができる。

【0084】

本実施形態に係る視線検出装置１００は、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の第１光源２１Ａ及び第２光源２１Ｂと、検出光が照射された眼球の画像を撮像する撮像部２２と、撮像された画像から、検出光が照射された眼球における角膜反射の中心を示す角膜反射中心の位置を検出し、検出した位置に基づいて被験者の角膜曲率を算出する角膜曲率算出部３３と、被験者の眼球における異なる複数の位置で算出される角膜曲率に基づいて、眼球上の位置と角膜曲率との関係を示す角膜曲率テーブルを生成するテーブル生成部３４と、被験者の情報である被験者情報を角膜曲率テーブルに対応付けて記憶する記憶部３７と、新たに生成された角膜曲率テーブルである生成テーブルと、記憶部３７に記憶された角膜曲率テーブルである記憶テーブルとが対応しているか否かを判定する照合部３５と、被験者の視線を算出する視線処理部３６とを備え、視線処理部３６は、生成テーブルと記憶テーブルとが対応していると判定された場合に、記憶テーブルに対応付けられた被験者情報を用いて被験者の視線を算出する。

【0085】

この構成によれば、照合部３５において生成テーブルと記憶テーブルとが対応していると判定された場合、被験者の視線の算出において、記憶テーブルに対応付けられた被験者情報が用いられる。これにより、被験者情報を適切に取得することができるため、被験者および操作者の負担を軽減し、視線検出装置１００の性能を向上させることができる。

【0086】

本実施形態に係る視線検出装置１００において、被験者情報は、被験者の眼球の角膜曲率中心と瞳孔中心とを結ぶ直線と被験者の視線とのズレであるガンマ角の情報を含む。

【0087】

この構成によれば、被験者の自覚的な動作が必要な計測によって得ることが可能なガンマ角の情報を被験者情報として用いることができるため、ガンマ角の再計測の手間を省くことが可能となる。これにより、被験者および操作者の負担を軽減し、視線検出装置１００の性能を向上させることができる。

【0088】

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、被験者情報としてガンマ角γを用いる場合を例に挙げて説明したが、この構成に限定されない。例えば、表示部１１の異なる箇所に補正用注視点を順に表示し、被験者に当該補正用注視点を注視させて被験者の注視点の位置を計測し、計測結果に基づいて被験者の視線を補正するための被験者固有の補正データを生成し、当該補正データを被験者情報として用いてもよい。この場合、補正データの生成は、例えばキャリブレーションとして行うことができる。

【符号の説明】

【0089】

ＥＢ…眼球、Ｇ…グリッド、Ｇａ…部位、ＩＭ１，ＩＭ２…画像データ、ｒ…角膜曲率半径、ｘ…カメラ被験者間距離、Ｔ…角膜曲率テーブル、Ｔ１…生成テーブル、Ｔ２，Ｔ３…記憶テーブル、１０…表示装置、１１…表示部、１２…目標物、２０…画像取得装置、２１…光源部、２１Ａ…第１光源、２１Ｂ…第２光源、２２…撮像部、２２Ａ…第１カメラ、２２Ｂ…第２カメラ、３０…コンピュータシステム、３０Ａ…演算処理装置、３０Ｂ…記憶装置、３０Ｃ…コンピュータプログラム、３１…撮像制御部、３２…位置検出部、３３…角膜曲率算出部、３４…テーブル生成部、３５…照合部、３６…視線処理部、３７…記憶部、４０…出力装置、５０…入力装置、６０…入出力インターフェース装置、７０…被験者特定装置、１００…視線検出装置、１１０…角膜曲率中心、１１２…瞳孔中心、１１４…瞳孔、１１６…虹彩、１１７…網膜、１１８…網膜の物理的な中心、１１９…網膜視野中心、１２０…角膜反射像、１２０Ａ…第１角膜反射像、１２０Ｂ…第２角膜反射像、１２１…第１角膜反射中心、１２２…第２角膜反射中心、１２２Ｒ…軌跡、１２５…角膜反射中心

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】