特許 7593008 距離算出装置、距離算出方法及び距離算出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】距離算出装置、距離算出方法及び距離算出プログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20241126BHJP

   G01B 11/00 20060101ALI20241126BHJP

【ＦＩ】

A61B3/113

G01B11/00 H

【請求項の数】 5

(21)【出願番号】P 2020139307

(22)【出願日】2020-08-20

(65)【公開番号】P2022035177

(43)【公開日】2022-03-04

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】箱嶋 修二

【審査官】相川 俊

(56)【参考文献】

【文献】特開平１０－０７３６６２（ＪＰ，Ａ）

【文献】特開２０１０－２５９６０５（ＪＰ，Ａ）

【文献】特開２００７－１３６０００（ＪＰ，Ａ）

【文献】特開２０１５－１２６８５７（ＪＰ，Ａ）

【文献】特開２０１１－１１５４６０（ＪＰ，Ａ）

【文献】特開２０１９－１６９０８０（ＪＰ，Ａ）

【文献】特開２０１９－０００１３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／１１３

Ｇ０１Ｂ １１／００

Ｇ０６Ｆ ３／０３８

(57)【特許請求の範囲】

【請求項1】

互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球に照射する第１光源及び第２光源と、
前記検出光が照射された前記被験者の眼球の画像を撮像する撮像部と、
前記撮像部で撮像された前記被験者の眼球の画像に基づいて、前記第１光源からの前記検出光による第１角膜反射中心の位置、及び前記第２光源からの前記検出光による第２角膜反射中心の位置をそれぞれ算出する位置算出部と、
前記撮像部で撮像された画像上における前記第１角膜反射中心の位置と前記第２角膜反射中心との間の画像上の中心間距離を算出するとともに、算出した前記画像上の中心間距離と、前記撮像部のレンズの焦点距離情報と、前記撮像部の画素間距離情報とを用いて、実際の中心間距離を算出する中心距離算出部と、
前記実際の中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する対象距離算出部と
を備える距離算出装置。

【請求項2】

前記第１光源と前記第２光源とは、交互に前記検出光を射出し、
前記位置算出部は、前記第１光源から前記検出光が射出されたタイミングで撮像された画像に基づいて前記第１角膜反射中心の位置を算出し、前記第２光源から前記検出光が射出されたタイミングで撮像された画像に基づいて前記第２角膜反射中心の位置を算出する
請求項１に記載の距離算出装置。

【請求項3】

前記対象距離算出部は、前記被験者の眼球の角膜曲率半径を所定の定数として前記対象距離を算出する
請求項１又は請求項２に記載の距離算出装置。

【請求項4】

互いに異なる位置に配置された第１光源及び第２光源から検出光を射出して被験者の少なくとも一方の眼球に照射することと、
前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像することと、
撮像された前記被験者の眼球の画像に基づいて、前記第１光源からの前記検出光による第１角膜反射中心の位置、及び前記第２光源からの前記検出光による第２角膜反射中心の位置をそれぞれ算出することと、
前記撮像部で撮像された画像上における前記第１角膜反射中心の位置と前記第２角膜反射中心との間の画像上の中心間距離を算出するとともに、算出した前記画像上の中心間距離と、前記撮像部のレンズの焦点距離情報と、前記撮像部の画素間距離情報とを用いて、実際の中心間距離を算出することと、
前記実際の中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出することと
を含む距離算出方法。

【請求項5】

互いに異なる位置に配置された第１光源及び第２光源から検出光を射出して被験者の少なくとも一方の眼球に照射する処理と、
前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像する処理と、
撮像された前記被験者の眼球の画像に基づいて、前記第１光源からの前記検出光による第１角膜反射中心の位置、及び前記第２光源からの前記検出光による第２角膜反射中心の位置をそれぞれ算出する処理と、
前記撮像部で撮像された画像上における前記第１角膜反射中心の位置と前記第２角膜反射中心との間の画像上の中心間距離を算出するとともに、算出した前記画像上の中心間距離と、前記撮像部のレンズの焦点距離情報と、前記撮像部の画素間距離情報とを用いて、実際の中心間距離を算出する処理と、
前記実際の中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する処理と
をコンピュータに実行させる距離算出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離算出装置、距離算出方法及び距離算出プログラムに関する。

【背景技術】

【0002】

複数の光源で検出光を発光して被験者の眼球に照射し、検出光が照射された眼球の画像を１つの撮像部により取得し、取得した画像と、撮像部と被験者との距離とに基づいて被験者の視線方向を検出する視線検出装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４６４９３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の視線検出装置では、撮像部と被験者との距離を検出するため、超音波センサを用いる方式、ステレオカメラを用いる方式、カメラで合焦したレンズ位置から求める方式等が用いられている。しかしながら、これらの各方式では、構成が複雑になってしまう。

【0005】

本発明は、上記に鑑みてなされたものであり、簡単な構成で撮像部と被験者との距離を算出可能な距離算出装置、距離算出方法及び距離算出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る距離算出装置は、互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球に照射する第１光源及び第２光源と、前記検出光が照射された前記被験者の眼球の画像を撮像する撮像部と、前記撮像部で撮像された前記被験者の眼球の画像に基づいて、前記第１光源からの前記検出光による第１角膜反射中心の位置、及び前記第２光源からの前記検出光による第２角膜反射中心の位置をそれぞれ算出する位置算出部と、前記第１角膜反射中心の位置と前記第２角膜反射中心との間の中心間距離を算出する中心間距離算出部と、前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する対象距離算出部とを備える。

【0007】

本発明に係る距離算出方法は、互いに異なる位置に配置された第１光源及び第２光源から検出光を射出して被験者の少なくとも一方の眼球に照射することと、前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像することと、撮像された前記被験者の眼球の画像に基づいて、前記第１光源からの前記検出光による第１角膜反射中心の位置、及び前記第２光源からの前記検出光による第２角膜反射中心の位置をそれぞれ算出することと、前記第１角膜反射中心の位置と前記第２角膜反射中心との間の中心間距離を算出することと、前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出することとを含む。

【0008】

本発明に係る距離算出プログラムは、互いに異なる位置に配置された第１光源及び第２光源から検出光を射出して被験者の少なくとも一方の眼球に照射する処理と、前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像する処理と、撮像された前記被験者の眼球の画像に基づいて、前記第１光源からの前記検出光による第１角膜反射中心の位置、及び前記第２光源からの前記検出光による第２角膜反射中心の位置をそれぞれ算出する処理と、前記第１角膜反射中心の位置と前記第２角膜反射中心との間の中心間距離を算出する処理と、前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する処理とをコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、簡単な構成で撮像部と被験者との距離を算出可能となる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態に係る視線検出装置の一例を模式的に示す図である。

【図2】図２は、視線検出装置の一例を示す機能ブロック図である。

【図3】図３は、光源部からの検出光が被験者の眼球に照射される状態を模式的に示す図である。

【図4】図４は、光源部からの検出光が被験者の眼球に照射される状態を模式的に示す図である。

【図5】図５は、光源部からの検出光が被験者の眼球に照射される状態を模式的に示す図である。

【図6】図６は、光源部、撮像部及び被験者の眼球の位置関係の一例を示す図である。

【図7】図７は、撮像部により撮像された眼球の画像データの一例を示す図である。

【図8】図８は、中心間距離と対象距離との関係の一例を示すグラフである。

【図9】図９は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。

【図10】図１０は、本実施形態に係る視線検出処理の原理を説明するための模式図である。

【図11】図１１は、本実施形態に係る距離算出方法の一例を示すフローチャートである。

【図12】図１２は、第１光源と第２光源とを同一のタイミングで点灯させた状態で撮像された眼球の画像データの例を示す図である。

【図13】図１３は、第１光源と第２光源とを同一のタイミングで点灯させた状態で撮像された眼球の画像データの例を示す図である。

【図14】図１４は、第１光源と第２光源とを同一のタイミングで点灯させた状態で撮像された眼球の画像データの例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0012】

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

【0013】

［距離算出装置、視線検出装置］
図１は、本実施形態に係る視線検出装置１００の一例を模式的に示す図である。本実施形態に係る視線検出装置１００は、被験者の視線を検出し、検出結果を出力する。視線検出装置１００は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する。

【0014】

図１に示すように、視線検出装置１００は、表示装置１０と、画像取得装置２０と、コンピュータシステム３０と、出力装置４０と、入力装置５０と、入出力インターフェース装置６０とを備える。表示装置１０、画像取得装置２０、コンピュータシステム３０、出力装置４０及び入力装置５０は、入出力インターフェース装置６０を介してデータ通信を行う。表示装置１０及び画像取得装置２０は、それぞれ不図示の駆動回路を有する。

【0015】

表示装置１０は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０は、表示部１１を有する。表示部１１は、画像等の情報を表示する。表示部１１は、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１１の左右方向であり、Ｙ軸方向は表示部１１の上下方向であり、Ｚ軸方向は表示部１１と直交する奥行方向である。表示装置１０は、ヘッドマウント型ディスプレイ装置であってもよい。ヘッドマウント型ディスプレイの場合、ヘッドマウントモジュール内に画像取得装置２０のような構成が配置されることになる。

【0016】

画像取得装置２０は、被験者の左右の眼球ＥＢの画像データを取得し、取得した画像データをコンピュータシステム３０に送信する。画像取得装置２０は、光源部２１及び撮像部２２を有する。

【0017】

光源部２１は、被験者の眼球ＥＢに検出光を射出する。光源部２１は、互いに異なる位置に配置される第１光源２１Ａ及び第２光源２１Ｂを有する。第１光源２１Ａ及び第２光源２１Ｂは、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。第１光源２１Ａ及び第２光源２１Ｂは、検出光の射出のタイミングを個別に制御可能である。

【0018】

撮像部２２は、被験者の左右の眼球ＥＢを撮像することで画像データを生成する。本実施形態において、撮像部２２は、１つ設けられる。撮像部２２としては、被験者の視線を検出する方法に応じた各種カメラが用いられる。本実施形態のように、被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮像部２２は、赤外線カメラを有し、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。撮像部２２は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば２０［ｍｓｅｃ］とすることができるが、これに限定されない。本実施形態において、撮像部２２は、１つのカメラである。撮像部２２は、第１光源２１Ａと第２光源２１Ｂとの中間の位置に配置される。撮像部２２により取得される画像データは、例えば８ビットの値（０～２５５）で設定される輝度を有する画素が２次元状に配列された構成である。輝度は、値が小さいほど暗く、値が大きいほど明るいことを示す。輝度の値が０の画素は、画像データに黒色として表示される。輝度の値が２５５の画素は、画像データに白色として表示される。

【0019】

コンピュータシステム３０は、視線検出装置１００の動作を統括的に制御する。コンピュータシステム３０は、演算処理装置３０Ａ及び記憶装置３０Ｂを含む。演算処理装置３０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置３０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置３０Ａは、記憶装置３０Ｂに記憶されているコンピュータプログラム３０Ｃに従って演算処理を実施する。

【0020】

出力装置４０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置４０は、印刷装置を含んでもよい。入力装置５０は、操作されることにより入力データを生成する。入力装置５０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置５０が表示装置である出力装置４０の表示部に設けられたタッチセンサを含んでもよい。

【0021】

本実施形態に係る視線検出装置１００は、表示装置１０とコンピュータシステム３０とが別々の装置である。なお、表示装置１０とコンピュータシステム３０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。

【0022】

図２は、視線検出装置１００の一例を示す機能ブロック図である。図２に示すように、コンピュータシステム３０は、撮像制御部３１と、位置算出部３２と、中心間距離算出部３３と、対象距離算出部３４と、検出処理部３５と、記憶部３６とを有する。コンピュータシステム３０の機能は、演算処理装置３０Ａ及び記憶装置３０Ｂ（図１参照）によって発揮される。なお、コンピュータシステム３０は、一部の機能が視線検出装置１００の外部に設けられてもよい。本実施形態では、画像取得装置２０の光源部２１（第１光源２１Ａ及び第２光源２１Ｂ）及び撮像部２２と、撮像制御部３１と、位置算出部３２と、中心間距離算出部３３と、対象距離算出部３４とによって距離算出装置８０が構成される。なお、距離算出装置８０は、検出処理部３５及び記憶部３６の少なくとも一方を含んでもよい。

【0023】

撮像制御部３１は、光源部２１及び撮像部２２を制御する。撮像制御部３１は、第１光源２１Ａ及び第２光源２１Ｂのそれぞれについて、検出光の射出のタイミング、射出時間等を制御する。撮像制御部３１は、撮像部２２について、撮像のタイミング等を制御する。撮像制御部３１は、撮像部２２のフレーム同期信号の周期と同期して、第１光源２１Ａ及び第２光源２１Ｂから検出光を射出させる。本実施形態において、撮像制御部３１は、例えばフレーム同期信号の周期ごとに、第１光源２１Ａ及び第２光源２１Ｂに交互に検出光を射出させる。撮像制御部３１は、画像取得装置２０により取得される画像データを取得する。撮像制御部３１は、取得した画像データを記憶部３６に記憶する。

【0024】

位置算出部３２は、撮像部２２で撮像された被験者の眼球の画像データに基づいて、第１光源２１Ａからの検出光による第１角膜反射中心１２１（図１、図３等参照）の位置、及び第２光源２１Ｂからの検出光による第２角膜反射中心１２２（図１、図３等参照）の位置をそれぞれ算出する。第１角膜反射中心１２１及び第２角膜反射中心１２２は、それぞれの検出光による角膜反射像（第１角膜反射像１２０Ａ、第２角膜反射像１２０Ｂ）の中心である。位置算出部３２は、算出した第１角膜反射中心１２１及び第２角膜反射中心１２２の位置を記憶部３６に記憶する。

【0025】

中心間距離算出部３３は、第１角膜反射中心１２１の位置と第２角膜反射中心１２２との間の中心間距離を算出する。

【0026】

対象距離算出部３４は、中心間距離と、被験者の眼球の角膜曲率半径とに基づいて、撮像部２２と被験者の眼球ＥＢとの間の対象距離を算出する。対象距離算出部３４は、算出した対象距離を記憶部３６に記憶する。対象距離算出部３４は、被験者の眼球の角膜曲率半径を、例えば所定の定数として対象距離を算出することができる。角膜曲率半径は、眼球ＥＢの角膜の表面と、角膜曲率中心との距離である。角膜曲率半径及び角膜曲率中心については、後述する。

【0027】

検出処理部３５は、撮像部２２により撮像された画像データと、対象距離とに基づいて、被験者の眼球の角膜曲率中心の位置を算出する。検出処理部３５は、画像データに基づいて、被験者の瞳孔中心の位置を検出する。瞳孔中心は、瞳孔１１２の中心である。検出処理部３５は、算出した瞳孔中心の位置と、位置算出部３２により算出された第１角膜反射中心１２１及び第２角膜反射中心１２２の位置とにより、眼球ＥＢの角膜曲率中心の位置を算出する。

【0028】

検出処理部３５において角膜曲率中心の位置を算出する処理の概要について説明する。本実施形態では、第１光源２１Ａ及び第２光源２１Ｂで眼球ＥＢが照明され、１つの撮像部２２で眼球ＥＢを撮像する場合について説明する。なお、光源が２つ、撮像部が１つの場合に限定されず、光源が１つであり、カメラが２つである場合にも同様の説明が可能である。

【0029】

図３は、光源部２１からの検出光が被験者の眼球ＥＢに照射される状態を模式的に示す図である。図３に示すように、本実施形態においては、光源部２１の第１光源２１Ａと第２光源２１Ｂとは、撮像部２２に対して左右対称の位置に配置される。したがって、この場合、撮像部２２の位置に仮想光源（光源の基準位置）２１Ｃが存在するとみなすことができる。

【0030】

第１角膜反射中心１２１は、第１光源２１Ａから検出光を眼球ＥＢに照射した場合の画像における角膜反射中心を示す。第２角膜反射中心１２２は、第２光源２１Ｂから検出光を眼球ＥＢに照射した場合の画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源２１Ｃに対応する角膜反射中心を示す。

【0031】

角膜反射中心１２４の位置は、第１角膜反射中心１２１及び第２角膜反射中心１２２の位置に基づいて算出される。検出処理部３５は、第１角膜反射中心１２１及び第２角膜反射中心１２２について、撮像部２２の画像上での位置を算出する。検出処理部３５は、撮像部２２と被験者の眼球ＥＢとの対象距離に基づいて、当該位置を三次元座標系に変換する。位置を三次元座標系に変換するための変換パラメータは、例えば記憶部３６に記憶しておく。検出処理部３５は、三次元座標系で規定される第１角膜反射中心１２１及び第２角膜反射中心１２２の位置に基づいて、三次元座標系における角膜反射中心１２４の位置を算出する。

【0032】

角膜曲率中心１１０は、仮想光源２１Ｃと角膜反射中心１２４とを結ぶ直線１２３上に存在する。検出処理部３５は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。当該所定値としては、角膜曲率半径ｒが用いられる。角膜曲率半径ｒは、角膜表面と角膜曲率中心１１０との距離である。角膜曲率半径ｒの値としては、例えば一般的な角膜曲率半径値などに基づいて予め定められた定数を用いることができる。この角膜曲率半径ｒの値は、例えば上記した対象距離算出部３４においても用いられる。

【0033】

検出処理部３５は、瞳孔中心の位置及び角膜曲率中心の位置に基づいて、被験者の左右それぞれの眼球ＥＢの視線ベクトルを検出する。視線ベクトルを検出した後、検出処理部３５は、視線ベクトルと表示部１１との交点を示す注視点の位置を検出する。

【0034】

記憶部３６は、コンピュータシステム３０の各部における処理を行うための各種データやプログラムを記憶する。記憶部３６は、例えば表示部１１に表示させる画像についてのデータを記憶する。記憶部３６は、撮像制御部３１によって取得された画像データ、位置算出部３２によって算出された第１角膜反射中心１２１及び第２角膜反射中心１２２の位置、対象距離算出部３４により算出された対象距離、検出処理部３５によって算出された角膜曲率半径ｒのそれぞれを記憶する。

【0035】

また、記憶部３６は、互いに異なる位置に配置された第１光源２１Ａ及び第２光源２１Ｂから検出光を射出して被験者の少なくとも一方の眼球ＥＢに照射する処理と、検出光が照射された被験者の眼球ＥＢの画像を撮像部２２により撮像する処理と、撮像された被験者の眼球の画像に基づいて、第１光源２１Ａからの検出光による第１角膜反射中心１２１の位置、及び第２光源２１Ｂからの検出光による第２角膜反射中心１２２の位置をそれぞれ算出する処理と、第１角膜反射中心１２１の位置と第２角膜反射中心１２２との間の中心間距離を算出する処理と、中心間距離と、被験者の眼球の角膜曲率半径ｒとに基づいて、撮像部２２と被験者の眼球ＥＢとの間の対象距離を算出する処理とをコンピュータに実行させる距離算出プログラムを記憶する。

【0036】

［距離算出方法］
次に、本実施形態に係る距離算出方法について説明する。図４及び図５は、光源部２１からの検出光が被験者の眼球ＥＢに照射される状態を模式的に示す図である。以降、被験者の右側の眼球ＥＢ（右眼ＥＲ）について説明するが、左側の眼球ＥＢ（左眼ＥＬ）についても同様の説明が可能である。図４及び図５に示すように、第１光源２１Ａ及び第２光源２１Ｂから眼球ＥＢに検出光が照射された場合、眼球ＥＢの角膜には角膜反射像が形成される。ここで、第１光源２１Ａの角膜反射像の中心が第１角膜反射中心１２１である。また、第２光源２１Ｂの角膜反射像の中心が第２角膜反射中心１２２である。

【0037】

図５に示すように、撮像部２２と被験者との距離が変化することに伴い、第１角膜反射中心１２１と第２角膜反射中心１２２との中心間距離ｄが変化する。例えば、撮像部２２と被験者の眼球ＥＢとの距離である対象距離がｘ１となる場合（位置Ｐ１）の中心間距離ｄ１と、対象距離がｘ１よりも大きいｘ２となる場合（位置Ｐ２）の中心間距離ｄ２との間には、ｄ１＞ｄ２が成立する。

【0038】

図６は、光源部、撮像部及び被験者の眼球の位置関係の一例を示す図である。図６に示すように、第１光源２１Ａと撮像部２２との距離をａ、第２光源２１Ｂと撮像部２２との距離をｂ、撮像部２２と被験者との間の対象距離をｘ、眼球ＥＢに検出される角膜反射中心１２１と角膜反射中心１２２との距離をｄ、角膜曲率半径をｒとする。この例において、対象距離ｘは、撮像部２２と被験者の眼球ＥＢの角膜曲率中心１１０との間の距離とする。ここで、ｒ＜＜ｘであることから、角膜曲率中心１１０及び第１光源２１Ａを通る直線Ｌ１と角膜曲率中心１１０及び角膜反射中心１２１を通る直線Ｌ２とがなす角度と、角膜曲率中心１１０及び撮像部２２を通る直線Ｌ３と上記直線Ｌ２とがなす角度とが同等であると近似することができる。以下、この角度をθ１とする。同様に、角膜曲率中心１１０及び第２光源２１Ｂを通る直線Ｌ４と角膜曲率中心１１０及び角膜反射中心１２１を通る直線Ｌ５とがなす角度と、角膜曲率中心１１０及び撮像部２２を通る直線Ｌ３と上記直線Ｌ５とがなす角度とが同等であると近似することができる。以下、この角度をθ２とする。

【0039】

この場合において、以下の式１から式３が成立する。
θ１＝ａｒｃｔａｎ（ａ／ｘ）／２ ・・・（式１）
θ２＝ａｒｃｔａｎ（ｂ／ｘ）／２ ・・・（式２）
ｄ＝ｒ・ｓｉｎθ１＋ｒ・ｓｉｎθ２ ・・・（式３）

【0040】

図７は、撮像部２２により撮像された眼球ＥＢの画像データの一例を示す図である。図７に示すように、本実施形態においては、第１光源２１Ａから検出光を眼球ＥＢに照射した状態で撮像した場合の画像データＩＭ１と、第２光源２１Ｂから検出光を眼球ＥＢに照射した状態で撮像した場合の画像データＩＭ２とが別個の画像データとして取得される。画像データＩＭ１には、第１光源２１Ａからの検出光による角膜反射像（以下、第１角膜反射像１２０Ａと表記する）が映っている。画像データＩＭ２には、第２光源２１Ｂからの検出光による角膜反射像（以下、第２角膜反射像１２０Ｂと表記する）が映っている。本実施形態では、第１光源２１Ａと第２光源２１Ｂとを異なるタイミングで点灯させる。このため、第１角膜反射像１２０Ａ及び第２角膜反射像１２０Ｂの映り方としては、一方の画像データＩＭ１には第１角膜反射像１２０Ａのみが映り、他方の画像データＩＭ２には第２角膜反射像１２０Ｂのみが映る。

【0041】

位置算出部３２は、取得された画像データＩＭ１に基づいて、第１光源２１Ａからの検出光による第１角膜反射中心１２１の位置を算出する。また、位置算出部３２は、取得された画像データＩＭ２に基づいて、第２光源２１Ｂからの検出光による第２角膜反射中心１２２の位置を算出する。画像データＩＭ１、ＩＭ２において、第１角膜反射像１２０Ａ及び第２角膜反射像１２０Ｂが形成された画素は、他の画素に比べて高輝度となる。位置算出部３２は、画像データＩＭ１、ＩＭ２において最も輝度が高い画素を探索し、当該画素を基準として一定範囲内の輝度を有する画素が存在する高輝度領域を求め、この領域の輝度重心を求めて、当該輝度重心の画像上における座標を第１角膜反射中心１２１及び第２角膜反射中心１２２とする。なお、図７では、高輝度領域の輝度が均一な状態で模式的に示されているが、例えば高輝度領域の一画素から周囲の画素にかけて輝度が低下した状態となる場合もある。

【0042】

中心間距離算出部３３は、画像データＩＭ１に含まれる第１角膜反射中心１２１と、画像データＩＭ２に含まれる第２角膜反射中心１２２との距離（撮像素子の画素数）ｄ´（pixel）から、第１角膜反射中心１２１と第２角膜反射中心１２２との実際の距離ｄ（ｍｍ）を算出する。なお、図７では、第１角膜反射中心１２１及び第２角膜反射中心１２２の位置を判別しやすくするため、黒色の点で示しているが、実際には黒色の点は存在しない。

【0043】

ここで、撮像部２２を構成するレンズの焦点距離をｆ、撮像部２２を構成する撮像素子の画素間距離（ピッチ）をｐとすると、以下の式４が成立する。

【0044】

ｄ´＝（ｆ・ｄ／ｘ）／ｐ ・・・（式４）

【0045】

上記の式１から式４をｄ´について解くと、
ｄ´＝ｒ・（ｓｉｎ（ａｒｃｔａｎ（ａ／ｘ）／２）
＋ｓｉｎ（ａｒｃｔａｎ（ｂ／ｘ）／２））・ｆ／（ｐ・ｘ）・・・（式５）
となる。

【0046】

式５において、例えばａ、ｂ＝１００（ｍｍ）、ｆ＝１２（ｍｍ）、ｒ＝７．９（ｍｍ）、ｐ＝０．００４８（ｍｍ／pixel）とすると、以下の式６のようなｘとｄ´との関係式が求められる。なお、本実施形態では、角膜曲率半径ｒの値（７．９）を所定の定数としている。この角膜曲率半径ｒの値については、例えば一般的な角膜曲率半径の値などから事前に定められた値を用いてもよいし、キャリブレーション処理において算出された値を用いてもよい。

【0047】

ｄ´＝７．９・（２・ｓｉｎ（ａｒｃｔａｎ（１００／ｘ）／２））・１２
／（０．００４８・ｘ） ・・・（式６）

【0048】

上記の式６を用いることにより、中心間距離ｄ´に基づいて対象距離ｘを算出することができる。図８は、中心間距離ｄ´と対象距離ｘとの関係の一例を示すグラフである。図８では、式６で示される中心間距離ｄ´と対象距離ｘとの関係について、対象距離ｘが大きくなるほど、中心間距離ｄ´が小さくなることを示している。

【0049】

［視線検出方法］
次に、本実施形態に係る視線検出装置１００を用いた視線検出方法の一例を説明する。本実施形態における視線検出方法は、キャリブレーション処理を行った後、注視点検出処理が行われる。まず、キャリブレーション処理の原理について説明する。図９は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。この場合、検出処理部３５は、設定された目標位置１３０に目標画像を表示する。

【0050】

第１光源２１Ａ及び第２光源２１Ｂは、検出光により交互に眼球ＥＢを照明する。撮像部２２は、検出光が照射された眼球ＥＢを撮像する。検出処理部３５は、眼球ＥＢの画像データに基づいて、瞳孔中心１１２Ｃの位置及び仮想光源２１Ｃに対応する角膜反射中心１１３Ｃの位置を検出する。検出処理部３５は、対象距離算出部３４によって算出された対象距離ｘを用いて、瞳孔中心１１２Ｃ及び角膜反射中心１１３Ｃの各位置をグローバル座標系に変換する。

【0051】

検出処理部３５は、仮想光源２１Ｃの位置と、目標位置１３０の位置と、瞳孔中心１１２Ｃの位置と、角膜反射中心１１３Ｃの位置とに基づいて、角膜曲率中心１１０の位置を算出する。具体的には、検出処理部３５は、仮想光源２１Ｃと、角膜反射中心１１３Ｃとを結ぶ第１直線１４１を求める。また、検出処理部３５は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ第２直線１４２を求める。検出処理部３５は、第１直線１４１と第２直線１４２との交点を角膜曲率中心１１０の位置として求める。そして、検出処理部３５は、角膜曲率中心１１０と角膜反射中心１１３Ｃとの距離を角膜曲率半径ｒとして算出する。検出処理部３５は、算出した角膜曲率半径ｒの値をキャリブレーションデータとして記憶部３６に記憶する。

【0052】

次に、視線検出処理の原理について説明する。図１０は、本実施形態に係る視線検出処理の原理を説明するための模式図である。視線検出処理では、キャリブレーション処理と同様に、第１光源２１Ａ及び第２光源２１Ｂから検出光を交互に射出して眼球ＥＢを照明し、撮像部２２により眼球ＥＢを撮像する。検出処理部３５は、取得された眼球ＥＢの画像データに基づいて、瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を検出する。検出処理部３５は、対象距離算出部３４によって算出された対象距離ｘを用いて、瞳孔中心１１２Ｃ及び角膜反射中心１１３Ｃの各位置をグローバル座標系に変換する。

【0053】

検出処理部３５は、仮想光源２１Ｃの位置と、瞳孔中心１１２Ｃの位置と、角膜反射中心１１３Ｃの位置と、キャリブレーション処理において算出した角膜曲率半径ｒとに基づいて、角膜曲率中心１１０の位置を算出する。具体的には、検出処理部３５は、仮想光源２１Ｃと、角膜反射中心１１３Ｃとを結ぶ直線１７３を求める。また、検出処理部３５は、角膜反射中心１１３Ｃから眼球ＥＢの内側に対して角膜曲率半径ｒに相当する距離だけ離れた位置を角膜曲率中心１１０の位置として求める。検出処理部３５は、瞳孔中心１１２Ｃと角膜曲率中心１１０とを結ぶ直線１７８を求め、当該直線１７８と表示部１１との交点１６６の位置を注視点の位置として算出する。

【0054】

次に、本実施形態に係る距離算出方法の一例について、図１１を参照しながら説明する。図１１は、本実施形態に係る距離算出方法の一例を示すフローチャートである。図１１に示すように、撮像制御部３１の制御により第１光源２１Ａ及び第２光源２１Ｂの一方を発光させて眼球ＥＢに検出光を照射し（ステップＳ１０１）、撮像部２２により被験者の眼球ＥＢを撮像する（ステップＳ１０２）。また、撮像制御部３１の制御により第１光源２１Ａ及び第２光源２１Ｂの他方を発光させて眼球ＥＢに検出光を照射し（ステップＳ１０３）、撮像部２２により被験者の眼球ＥＢを撮像する（ステップＳ１０４）。撮像制御部３１は、撮像部２２により撮像された左右の眼球ＥＢについての画像データを取得する。

【0055】

位置算出部３２は、取得された画像データに基づいて、左右の眼球ＥＢについて、それぞれ第１角膜反射像１２０Ａにおける第１角膜反射中心１２１と、第２角膜反射像１２０における第２角膜反射中心１２２とを求める（ステップＳ１０５）。中心間距離算出部３３は、第１角膜反射中心１２１と第２角膜反射中心１２２との距離である中心間距離ｄ´を算出する（ステップＳ１０６）。対象距離算出部３４は、算出された中心間距離ｄ´に基づいて、対象距離ｘを算出する（ステップＳ１０７）。

【0056】

以上のように、本実施形態に係る距離算出装置８０は、互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球ＥＢに照射する第１光源２１Ａ及び第２光源２１Ｂと、検出光が照射された被験者の眼球ＥＢの画像を撮像する撮像部２２と、撮像部２２で撮像された被験者の眼球ＥＢの画像に基づいて、第１光源２１Ａからの検出光による第１角膜反射中心１２１の位置、及び第２光源２１Ｂからの検出光による第２角膜反射中心１２２の位置をそれぞれ算出する位置算出部３２と、第１角膜反射中心１２１の位置と第２角膜反射中心１２２との間の中心間距離ｄ´を算出する中心間距離算出部３３と、中心間距離ｄ´と、被験者の眼球ＥＢの角膜曲率半径ｒとに基づいて、撮像部２２と被験者の眼球ＥＢとの間の対象距離を算出する対象距離算出部３４とを備える。

【0057】

本実施形態に係る距離算出方法は、互いに異なる位置に配置された第１光源２１Ａ及び第２光源２１Ｂから検出光を射出して被験者の少なくとも一方の眼球ＥＢに照射することと、検出光が照射された被験者の眼球ＥＢの画像を撮像部２２により撮像することと、撮像された被験者の眼球ＥＢの画像に基づいて、第１光源２１Ａからの検出光による第１角膜反射中心１２１の位置、及び第２光源２１Ｂからの検出光による第２角膜反射中心１２２の位置をそれぞれ算出することと、第１角膜反射中心１２１の位置と第２角膜反射中心１２２との間の中心間距離ｄ´を算出することと、中心間距離ｄ´と、被験者の眼球ＥＢの角膜曲率半径ｒとに基づいて、撮像部２２と被験者の眼球ＥＢとの間の対象距離を算出することとを含む。

【0058】

本実施形態に係る距離算出プログラムは、互いに異なる位置に配置された第１光源２１Ａ及び第２光源２１Ｂから検出光を射出して被験者の少なくとも一方の眼球ＥＢに照射する処理と、検出光が照射された被験者の眼球ＥＢの画像を撮像部２２により撮像する処理と、撮像された被験者の眼球ＥＢの画像に基づいて、第１光源２１Ａからの検出光による第１角膜反射中心１２１の位置、及び第２光源２１Ｂからの検出光による第２角膜反射中心１２２の位置をそれぞれ算出する処理と、第１角膜反射中心１２１の位置と第２角膜反射中心１２２との間の中心間距離ｄ´を算出する処理と、中心間距離ｄ´と、被験者の眼球ＥＢの角膜曲率半径ｒとに基づいて、撮像部２２と被験者の眼球ＥＢとの間の対象距離を算出する処理とをコンピュータに実行させる。

【0059】

上記構成によれば、撮像部２２による画像データに基づいて第１角膜反射中心１２１の位置と第２角膜反射中心１２２との間の中心間距離ｄ´を算出し、算出した中心間距離ｄ´と、被験者の眼球ＥＢの角膜曲率半径ｒとに基づいて、撮像部２２と被験者の眼球ＥＢとの間の対象距離を算出することにより、超音波センサ、ステレオカメラ等の複雑な構成を用いることなく、簡単な構成で撮像部２２と被験者との距離を算出可能となる。

【0060】

本実施形態に係る距離算出装置８０において、第１光源２１Ａと第２光源２１Ｂとは、交互に検出光を射出し、位置算出部３２は、第１光源２１Ａから検出光が射出されたタイミングで撮像された画像に基づいて第１角膜反射中心１２１の位置を算出し、第２光源２１Ｂから検出光が射出されたタイミングで撮像された画像に基づいて第２角膜反射中心１２２の位置を算出する。第１光源２１Ａと第２光源２１Ｂとから同時に検出光を射出する場合、第１光源２１Ａからの検出光による第１角膜反射像１２０Ａと、第２光源２１Ｂからの検出光による第２角膜反射像１２０Ｂとが重なる場合があり、第１角膜反射中心１２１及び第２角膜反射中心１２２の検出精度が低下する可能性がある。これに対して、上記構成では、第１角膜反射像１２０Ａと、第２角膜反射像１２０Ｂとが別画像として取得できるため、第１角膜反射中心１２１及び第２角膜反射中心１２２を精度よく検出できる。

【0061】

本実施形態に係る距離算出装置８０において、対象距離算出部３４は、被験者の眼球ＥＢの角膜曲率半径ｒを所定の定数として対象距離ｘを算出する。この構成では、被験者の眼球ＥＢの角膜曲率半径ｒを所定の定数とすることで、対象距離ｘの算出を容易に行うことができる。

【0062】

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記した実施形態では、第１光源２１Ａと第２光源２１Ｂとを異なるタイミングで点灯させる場合を例に挙げているが、これに限定されず、第１光源２１Ａと第２光源２１Ｂとを同一のタイミングで点灯させて撮像部２２で撮像してもよい。

【0063】

図１２から図１４は、第１光源２１Ａと第２光源２１Ｂとを同一のタイミングで点灯させた状態で撮像された眼球ＥＢの画像データの例を示す図である。図１２は、例えば撮像部２２と被験者との対象距離ｘが図７と同様の場合の例を示している。図１３は、対象距離が図１２の状態に比べて近くなっている場合の例を示している。図１４は、対象距離が図１３の状態に比べてさらに近くなっている場合の例を示している。なお、図１２から図１４では、第１角膜反射中心１２１及び第２角膜反射中心１２２の位置を判別しやすくするため、黒色の点で示しているが、実際には黒色の点は存在しない。

【0064】

図１２及び図１３に示す画像データＩＭ３、ＩＭ４においては、第１角膜反射像１２０Ａの画像と第２角膜反射像１２０Ｂの画像とが分離された状態である。この場合、位置算出部３２は、第１角膜反射像１２０Ａの画像と第２角膜反射像１２０Ｂの画像とを別個の高輝度領域として求め、当該別個の高輝度領域の輝度重心の座標を独立して求めることができる。これにより、１つの画像データＩＭ３、ＩＭ４から第１角膜反射中心１２１及び第２角膜反射中心１２２の位置を別個に算出でき、中心間距離ｄ３、ｄ４を算出できる。

【0065】

一方、図１４に示す画像データＩＭ５においては、第１角膜反射像１２０Ａの画像及び第２角膜反射像１２０Ｂの画像の一部同士が結合している状態である。この状態において、位置算出部３２は、第１角膜反射像１２０Ａの画像と第２角膜反射像１２０Ｂの画像とを別個の高輝度領域として求めることは困難となる。したがって、このような場合には、第１光源２１Ａと第２光源２１Ｂとを異なるタイミングで点灯させた状態で眼球ＥＢを撮像した画像データＩＭ１、ＩＭ２を用いることで、第１角膜反射中心１２１及び第２角膜反射中心１２２の位置を確実に算出でき、中心間距離ｄ５を算出できる。

【符号の説明】

【0066】

ＥＢ…眼球、ｄ，ｄ１，ｄ２，ｄ３，ｄ４，ｄ５…中心間距離、ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４，ＩＭ５…画像データ、ｒ…角膜曲率半径、ｘ…対象距離、１０…表示装置、１１…表示部、２０…画像取得装置、２１…光源部、２１Ａ…第１光源、２１Ｂ…第２光源、２１Ｃ…仮想光源、２２…撮像部、３０…コンピュータシステム、３０Ａ…演算処理装置、３０Ｂ…記憶装置、３０Ｃ…コンピュータプログラム、３１…撮像制御部、３２…位置算出部、３３…中心間距離算出部、３４…対象距離算出部、３５…検出処理部、３６…記憶部、４０…出力装置、５０…入力装置、６０…入出力インターフェース装置、８０…距離算出装置、１００…視線検出装置、１１０…角膜曲率中心、１１２…瞳孔、１１２Ｃ…瞳孔中心、１１３Ｃ，１２１，１２２，１２４…角膜反射中心、１２０Ａ…第１角膜反射像、１２０Ｂ…第２角膜反射像、１２１…第１角膜反射中心、１２２…第２角膜反射中心

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】