特許 7063045 視線検出装置、視線検出方法及び視線検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-25

(45)【発行日】2022-05-09

(54)【発明の名称】視線検出装置、視線検出方法及び視線検出プログラム

(51)【国際特許分類】

   G06F 3/038 20130101AFI20220426BHJP

   A61B 3/113 20060101ALI20220426BHJP

   G06F 3/0346 20130101ALI20220426BHJP

   G06T 7/00 20170101ALI20220426BHJP

   G06T 7/593 20170101ALI20220426BHJP

【ＦＩ】

G06F3/038 310A

A61B3/113

G06F3/0346 422

G06T7/00 660Z

G06T7/593

【請求項の数】 5

(21)【出願番号】P 2018058311

(22)【出願日】2018-03-26

(65)【公開番号】P2019169080

(43)【公開日】2019-10-03

【審査請求日】2020-10-30

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度 国立研究開発法人日本医療研究開発機構「ＩＣＴを活用した診療支援技術研究開発プロジェクト 注視点検出技術を活用した発達障がい診システムの開発」委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】二宮 賢

【審査官】星野 裕

(56)【参考文献】

【文献】特開２０１７－１８２７３９（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１６－００６３０４０（ＫＲ，Ａ）

【文献】特開２０１３－１０５２６３（ＪＰ，Ａ）

【文献】国際公開第２０１８／０３０５１５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０１４７３２８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３３

Ａ６１Ｂ ３／１０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

被験者の左右の眼球に検出光を照射する光源と、
前記検出光が照射される被験者の左右の眼球を、前記眼球に対して上下方向にずれた位置から画像データを撮影する撮像部と、
前記撮像部が撮影した前記画像データに基づいて、左右それぞれの瞳孔中心の位置を検出する位置検出部と、
前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
左右それぞれの前記瞳孔中心の位置に基づいて、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかを算出する演算部と、
前記演算部が算出した、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかに基づいて、前記被験者の顔向きに応じて、前記注視点検出部の検出結果が有効か否かを判定する判定部と、
を備えることを特徴とする視線検出装置。

【請求項2】

前記判定部は、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分が、瞳孔中心距離差分しきい値より大きい場合、前記注視点検出部の検出結果が無効であると判定する、
請求項１に記載の視線検出装置。

【請求項3】

前記判定部は、左右の前記瞳孔中心の位置の上下方向の差分が、瞳孔中心高さ差分しきい値より大きい場合、前記注視点検出部の検出結果が無効であると判定する、
請求項２に記載の視線検出装置。

【請求項4】

被験者の左右の眼球に検出光を照射する照射ステップと、
前記検出光が照射される被験者の左右の眼球を、前記眼球に対して上下方向にずれた位置から画像データを撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像データに基づいて、左右それぞれの瞳孔中心の位置を検出する位置検出ステップと、
前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出ステップと、
左右それぞれの前記瞳孔中心の位置に基づいて、撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかを算出する演算ステップと、
前記演算ステップによって算出した、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかに基づいて、前記被験者の顔向きに応じて、前記注視点検出ステップにおける検出結果が有効か否かを判定する判定ステップと、
を含むことを特徴とする視線検出方法。

【請求項5】

被験者の左右の眼球に検出光を照射する照射ステップと、
前記検出光が照射される被験者の左右の眼球を、前記眼球に対して上下方向にずれた位置から画像データを撮影する撮像ステップと、
前記撮像ステップにおいて撮影された画像データに基づいて、左右それぞれの瞳孔中心の位置を検出する位置検出ステップと、
前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出ステップと、
左右それぞれの前記瞳孔中心の位置に基づいて、撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかを算出する演算ステップと、
前記演算ステップによって算出した、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかに基づいて、前記被験者の顔向きに応じて、前記注視点検出ステップにおける検出結果が有効か否かを判定する判定ステップと、
をコンピュータに実行させることを特徴とする視線検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出装置、視線検出方法及び視線検出プログラムに関する。

【背景技術】

【0002】

操作者または被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。顔に装置を取り付けることなく被験者の視線方向を非接触で検出する方法として、被験者の眼球に検出光を照射し、検出光が照射された眼の画像から瞳孔中心と角膜曲率中心とを算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する技術が知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２０１９５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

被験者が視線検出の測定中に顔の向きを変えた場合、瞳孔中心と角膜曲率中心とを正確に算出することができなくなって視線を正確に検出することが困難になり、視線検出の結果の信頼性が低下するおそれがある。そこで、視線検出の結果が有効か否かを判定することが望まれる。

【0005】

本発明は、視線を正確に検出することができるか否かを判断する視線検出装置、視線検出方法及び視線検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る視線検出装置は、被験者の左右の眼球に検出光を照射する光源と、前記検出光が照射される被験者の左右の眼球を、前記眼球に対して上下方向にずれた位置から画像データを撮影する撮像部と、前記撮像部が撮影した前記画像データに基づいて、左右それぞれの瞳孔中心の位置を検出する位置検出部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、左右それぞれの前記瞳孔中心の位置に基づいて、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかを算出する演算部と、前記演算部が算出した、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかに基づいて、前記注視点検出部の検出結果が有効か否かを判定する判定部と、を備える。

【0007】

本発明に係る視線検出方法は、被験者の左右の眼球に検出光を照射する照射ステップと、前記検出光が照射される被験者の左右の眼球を、前記眼球に対して上下方向にずれた位置から画像データを撮影する撮像ステップと、前記撮像ステップにおいて撮影された画像データに基づいて、左右それぞれの瞳孔中心の位置を検出する位置検出ステップと、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出ステップと、左右それぞれの前記瞳孔中心の位置に基づいて、撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかを算出する演算ステップと、前記演算ステップによって算出した、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかに基づいて、前記注視点検出ステップにおける検出結果が有効か否かを判定する判定ステップと、を含む。

【0008】

本発明に係る視線検出プログラムは、被験者の左右の眼球に検出光を照射する照射ステップと、前記検出光が照射される被験者の左右の眼球を、前記眼球に対して上下方向にずれた位置から画像データを撮影する撮像ステップと、前記撮像ステップにおいて撮影された画像データに基づいて、左右それぞれの瞳孔中心の位置を検出する位置検出ステップと、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出ステップと、左右それぞれの前記瞳孔中心の位置に基づいて、撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかを算出する演算ステップと、前記演算ステップによって算出した、前記撮像部と左右それぞれの前記瞳孔中心との距離の差分と、左右の前記瞳孔中心の位置の上下方向の差分との少なくともどちらかに基づいて、前記注視点検出ステップにおける検出結果が有効か否かを判定する判定ステップと、をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、視線を正確に検出することができるか否かを判断することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。

【図2】図２は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼球との位置関係を模式的に示す図である。

【図3】図３は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。

【図4】図４は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。

【図5】図５は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。

【図6】図６は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。

【図7】図７は、本実施形態に係る視線検出方法の一例を示すフローチャートである。

【図8】図８は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。

【図9】図９は、本実施形態に係るキャリブレーション処理の一例を示すフローチャートである。

【図10】図１０は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。

【図11】図１１は、本実施形態に係る視線検出処理の一例を示すフローチャートである。

【図12】図１２は、被験者の顔が正面を向いている場合の模式図である。

【図13】図１３は、被験者の顔が傾いている場合の模式図である。

【図14】図１４は、図１２における、ステレオカメラ装置と被験者の眼球とを説明する模式図である。

【図15】図１５は、図１３における、ステレオカメラ装置と被験者の眼球とを説明する模式図である。

【図16】図１６は、本実施形態に係る有効判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0012】

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第一軸と平行な方向をＸ軸方向とし、第一軸と直交する所定面の第二軸と平行な方向をＹ軸方向とし、第一軸及び第二軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

【0013】

図１を用いて、視線検出装置について説明する。図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置（撮像部）１０２と、照明装置（光源）１０３とを備える。

【0014】

表示装置１０１は、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）または有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。

【0015】

本実施形態において、表示装置１０１の表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。また、表示画面１０１Ｓに向かって右方向が＋Ｘ方向、左方向が－Ｘ方向であり、上方向が＋Ｙ方向、下方向が－Ｙ方向であり、手前方向が＋Ｚ方向、奥方向が－Ｚ方向である。

【0016】

ステレオカメラ装置１０２は、第一カメラ１０２Ａ及び第二カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、被験者の眼球１１１に対して上下方向にずれた位置から撮影する。ステレオカメラ装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。本実施形態では、ステレオカメラ装置１０２は、被験者の眼球１１１に対して下方向にずれた位置から見上げる角度で撮影する。第一カメラ１０２Ａと第二カメラ１０２ＢとはＸ軸方向に配置される。第一カメラ１０２Ａは、第二カメラ１０２Ｂよりも－Ｘ方向に配置される。第一カメラ１０２Ａ及び第二カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。

【0017】

照明装置１０３は、第一光源１０３Ａ及び第二光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第一光源１０３Ａと第二光源１０３ＢとはＸ軸方向に配置される。第一光源１０３Ａは、第一カメラ１０２Ａよりも－Ｘ方向に配置される。第二光源１０３Ｂは、第二カメラ１０２Ｂよりも＋Ｘ方向に配置される。第一光源１０３Ａ及び第二光源１０３Ｂはそれぞれ、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第一光源１０３Ａ及び第二光源１０３Ｂは、第一カメラ１０２Ａと第二カメラ１０２Ｂとの間に配置されてもよい。

【0018】

図２を用いて、被験者の眼球１１１の撮影について説明する。図２は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼球との位置関係を模式的に示す図である。

【0019】

照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第一光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第二カメラ１０２Ｂで眼球１１１を撮影し、第二光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第一カメラ１０２Ａで眼球１１１を撮影する。

【0020】

第一カメラ１０２Ａ及び第二カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第一光源１０３Ａ及び第二光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第一カメラ１０２Ａは、第二光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。第二カメラ１０２Ｂは、第一光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。

【0021】

眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。

【0022】

第一カメラ１０２Ａ及び第二カメラ１０２Ｂと第一光源１０３Ａ及び第二光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で撮影される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、撮影される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。

【0023】

図３を用いて、コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とについて説明する。図３は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。図３に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とを備える。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。

【0024】

コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とは、入出力インターフェース装置３０を介してデータ通信する。

【0025】

演算処理装置２０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリまたはストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。

【0026】

駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で撮影された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。

【0027】

出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボードまたはマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置７０は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。

【0028】

本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型コンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。

【0029】

図４を用いて、入出力インターフェース装置３０について説明する。図４は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。図４に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第一カメラ１０２Ａを駆動するための駆動信号を生成して第一カメラ１０２Ａに出力する第一カメラ入出力部４０４Ａと、第二カメラ１０２Ｂを駆動するための駆動信号を生成して第二カメラ１０２Ｂに出力する第二カメラ入出力部４０４Ｂと、第一光源１０３Ａ及び第二光源１０３Ｂを駆動するための駆動信号を生成して第一光源１０３Ａ及び第二光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第一カメラ入出力部４０４Ａは、第一カメラ１０２Ａで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第二カメラ入出力部４０４Ｂは、第二カメラ１０２Ｂで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。

【0030】

コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、補正位置算出部２１４と、注視点検出部２１６と、理想位置算出部２１８と、演算部２２０と、判定部２２２と、記憶部２２４と、出力制御部２２６とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。

【0031】

表示制御部２０２は、被験者に見せるための画像を表示装置１０１の表示画面１０１Ｓに表示させる。表示制御部２０２は、例えば表示画面１０１Ｓに画像を表示可能である。

【0032】

光源制御部２０４は、光源駆動部４０６を制御して、第一光源１０３Ａ及び第二光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第一光源１０３Ａと第二光源１０３Ｂとが異なるタイミングで検出光を射出するように第一光源１０３Ａ及び第二光源１０３Ｂを制御する。

【0033】

画像データ取得部２０６は、第一カメラ１０２Ａ及び第二カメラ１０２Ｂを含むステレオカメラ装置１０２によって撮影された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。

【0034】

入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。

【0035】

位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心１１２Ｃの位置を検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置を検出する。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、被験者の左右それぞれの眼球１１１について、瞳孔中心１１２Ｃの位置及び角膜反射中心の位置を検出する。

【0036】

曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置を算出する。

【0037】

補正位置算出部２１４は、位置検出部２１０で検出された瞳孔１１２の中心と、曲率中心算出部２１２で算出された角膜曲率中心１１０との距離に基づいて、角膜曲率中心１１０の位置を補正し、左右それぞれの眼球１１１の補正後の角膜曲率中心１１０Ｈの位置を算出する。

【0038】

注視点検出部２１６は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置を検出する。本実施形態において、注視点の位置とは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置をいう。注視点検出部２１６は、眼球１１１の画像データから取得された瞳孔中心１１２Ｃの位置及び角膜曲率中心の位置に基づいて、被験者の左右それぞれの眼球１１１の視線方向である視線ベクトルを検出する。つまり、注視点検出部２１６は、被験者の左右それぞれの眼球１１１の視線方向を検出する視線検出部でもある。被験者の左右それぞれの眼球１１１の視線ベクトルが検出された後、注視点検出部２１６は、視線ベクトルと表示画面１０１Ｓとの交点を示す注視点の位置を検出する。

【0039】

演算部２２０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、左右の眼球１１１の瞳孔中心１１２Ｃの距離の差分と、左右の眼球１１１の瞳孔中心１１２Ｃの位置の上下方向の差分との少なくともどちらかを算出する。左右の眼球１１１の瞳孔中心１１２Ｃの位置は、位置検出部２１０によって算出されている。本実施形態では、演算部２２０は、左右の眼球１１１の瞳孔中心１１２Ｃの距離の差分と、左右の眼球１１１の瞳孔中心１１２Ｃの位置の上下方向の差分とをいずれも算出する。

【0040】

判定部２２２は、演算部２２０が算出した、左右の眼球１１１の瞳孔中心１１２Ｃの距離の差分と、左右の眼球１１１の瞳孔中心１１２Ｃの位置の上下方向の差分との少なくともどちらかに基づいて、注視点検出部２１６の検出結果が有効か否かを判定する。本実施形態では、左右の眼球１１１の瞳孔中心１１２Ｃの距離の差分と、左右の眼球１１１の瞳孔中心１１２Ｃの位置の上下方向の差分との両方に基づいて、注視点検出部２１６の検出結果が有効か否かを判定する。

【0041】

記憶部２２４は、視線検出装置１００が実行する処理をコンピュータに実行させる視線検出プログラムを記憶する。

【0042】

出力制御部２２６は、表示装置１０１、出力装置５０、及び音声出力装置７０の少なくとも一つにデータを出力する。本実施形態において、出力制御部２２６は、表示画面１０１Ｓに画像を表示させる。また、出力制御部２２６は、被験者の左右それぞれの眼球１１１の注視点の位置を表示画面１０１Ｓまたは出力装置５０に表示させる。

【0043】

次に、図５、図６を用いて、本実施形態に係る曲率中心算出部２１２の処理について説明する。図５は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。図６は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。

【0044】

まず、図５を用いて、１つの光源を使用する場合について説明する。図５において、眼球１１１は、１つの光源１０３Ｃで照明されている。光源１０３Ｃは、第一カメラ１０２Ａと第二カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、光源１０３Ｃを点灯させた際に検出される瞳孔１１２の中心である。角膜反射中心１１３Ｃは、光源１０３Ｃを点灯させた際に検出される角膜反射像１１３の中心である。

【0045】

角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に位置する。角膜反射中心１１３Ｃは、角膜の表面（以下、「角膜表面」という。）と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。

【0046】

角膜反射中心１１３Ｃの位置は、ステレオカメラ装置１０２が撮影した画像データから検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に位置する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２８に記憶されている。

【0047】

つづいて、図６を用いて、２つの第一光源１０３Ａと第二光源１０３Ｂとを使用する場合について説明する。本実施形態においては、第一カメラ１０２Ａ及び第二光源１０３Ｂと、第二カメラ１０２Ｂ及び第一光源１０３Ａとは、第一カメラ１０２Ａと第二カメラ１０２Ｂとの中間位置を通る直線１２３に対して左右対称の位置に配置される。第一カメラ１０２Ａと第二カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが位置するとみなす。

【0048】

角膜反射中心１２１は、第二カメラ１０２Ｂによって眼球１１１を撮影した画像における角膜反射中心である。角膜反射中心１２２は、第一カメラ１０２Ａによって眼球１１１を撮影した画像における角膜反射中心である。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心である。

【0049】

角膜反射中心１２４の位置は、ステレオカメラ装置１０２が撮影した画像データから検出された角膜反射中心１２１の位置と角膜反射中心１２２の位置とに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置と角膜反射中心１２２の位置とを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２８に記憶されている。

【0050】

曲率中心算出部２１２は、ステレオカメラ装置１０２が撮影した画像データから検出された角膜反射中心１２１の位置と角膜反射中心１２２の位置とを、変換パラメータを使って、三次元グローバル座標系における位置に変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置と角膜反射中心１２２の位置とに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置を算出する。

【0051】

角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に位置する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置を、角膜曲率中心１１０の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２８に記憶されている。

【0052】

このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。

【0053】

角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置と角膜曲率中心１１０の位置とが算出されることにより、角膜曲率半径１０９が算出される。

【0054】

次に、図７を用いて、本実施形態に係る視線検出方法の一例について説明する。図７は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、角膜曲率中心１１０の位置の算出処理及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離データの算出処理を含むキャリブレーション処理（ステップＳ１００）と、注視点検出処理（ステップＳ２００）と、注視点の検出結果が有効か否かを判定する有効判定処理（ステップＳ３００）とが実施される。

【0055】

まず、図８を用いて、キャリブレーション処理の概略を説明する。図８は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１３０は、例えば、表示装置１０１の表示画面１０１Ｓの中央位置に設定される。目標位置１３０は、表示画面１０１Ｓの端部位置に設定されてもよい。

【0056】

表示制御部２０２は、設定された目標位置１３０に目標画像を表示させる。これにより、被験者は、目標位置１３０を注視し易くなる。

【0057】

直線１３１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１３２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１３１と直線１３２との交点である。曲率中心算出部２１２は、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データが算出可能である。

【0058】

つづいて、図９を用いて、キャリブレーション処理の方法について、フローチャートに沿って説明する。図９は、本実施形態に係るキャリブレーション処理の一例を示すフローチャートである。ステップＳ１０１ないしステップＳ１０９の処理は、図７のステップＳ１００に対応する。

【0059】

表示制御部２０２は、表示装置１０１の表示画面１０１Ｓに目標画像を表示させる（ステップＳ１０１）。被験者は、目標画像を注視することにより、目標位置１３０を注視することができる。

【0060】

次に、光源制御部２０４は、光源駆動部４０６を制御して、第一光源１０３Ａ及び第二光源１０３Ｂのうち一方の光源から検出光を射出させる（ステップＳ１０２）。

【0061】

ステレオカメラ装置１０２は、第一カメラ１０２Ａ及び第二カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ１０３）。

【0062】

次に、光源制御部２０４は、光源駆動部４０６を制御して、第一光源１０３Ａ及び第二光源１０３Ｂのうち他方の光源から検出光を射出させる（ステップＳ１０４）。

【0063】

ステレオカメラ装置１０２は、第一カメラ１０２Ａ及び第二カメラ１０２Ｂのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する（ステップＳ１０５）。

【0064】

ステップＳ１０２ないしステップＳ１０５においては、照明装置１０３が照射されているので、瞳孔１１２は、暗い部分としてステレオカメラ装置１０２に検出され、角膜反射像１１３は、明るい部分としてステレオカメラ装置１０２に検出される。すなわち、ステレオカメラ装置１０２で撮影される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。これらにより、位置検出部２１０は、撮影される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。

【0065】

位置検出部２１０は、瞳孔１１２の画像データに基づいて、瞳孔中心１１２Ｃの位置を算出する。また、位置検出部２１０は、角膜反射像１１３の画像データに基づいて、角膜反射中心１１３Ｃの位置を算出する（ステップＳ１０６）。

【0066】

ステレオカメラ装置１０２によって検出された位置は、３次元のローカル座標系で規定される位置である。位置検出部２１０は、記憶部２２４に記憶されている変換パラメータを使用して、ステレオカメラ装置１０２で検出された瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を座標変換して、三次元グローバル座標系で規定される瞳孔中心１１２Ｃの位置及び角膜反射中心１１３Ｃの位置を算出する（ステップＳ１０７）。

【0067】

曲率中心算出部２１２は、グローバル座標系で規定される角膜反射中心１１３Ｃと仮想光源１０３Ｖとを結ぶ直線１３１を算出する（ステップＳ１０８）。

【0068】

曲率中心算出部２１２は、表示装置１０１の表示画面１０１Ｓに規定される目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線１３２を算出する（ステップＳ１０９）。

【0069】

曲率中心算出部２１２は、ステップＳ１０８で算出した直線１３１とステップＳ１０９で算出した直線１３２との交点を求め、この交点を角膜曲率中心１１０とする（ステップＳ１１０）。

【0070】

曲率中心算出部２１２は、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を算出して、記憶部２２４に記憶する（ステップＳ１１１）。より詳しくは、曲率中心算出部２１２は、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を算出して、キャリブレーション結果として記憶部２２８に記憶する。記憶された距離１２６は、ステップＳ２００の注視点検出処理において、角膜曲率中心１１０を算出する際の補正に使用される。

【0071】

次に、図１０、図１１を用いて、本実施形態に係る注視点検出処理の一例について説明する。図１０は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図１１は、本実施形態に係る視線検出処理の一例を示すフローチャートである。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出処理は、キャリブレーション処理で求めた瞳孔中心１１２Ｃと角膜曲率中心１１０との距離１２６を用いて、角膜曲率中心１１０の位置を補正することと、補正された角膜曲率中心１１０の位置を使って注視点を算出することとを含む。

【0072】

まず、図１０を用いて、注視点検出処理の概略を説明する。注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心１１０から求めた注視点である。注視点１６６は、キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心１１０Ｈから求めた注視点である。

【0073】

瞳孔中心１１２Ｃは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、キャリブレーション処理において算出された角膜反射中心を示す。

【0074】

直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。

【0075】

距離１２６は、キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。

【0076】

角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。

【0077】

角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示画面１０１Ｓ上の注視点は、注視点１６５から注視点１６６に補正される。

【0078】

つづいて、図１１を用いて、視線検出処理の方法について、フローチャートに沿って説明する。ステップＳ２０１ないしステップＳ２０７の処理は、図９のステップＳ１０２～ステップＳ１０８と同様の処理を行う。ステップＳ２０１ないしステップＳ１２１１処理は、図７のステップＳ２００に対応する。

【0079】

補正位置算出部２１４は、ステップＳ２０７で算出した直線１７３上であって、瞳孔中心１１２Ｃからの距離がキャリブレーション処理によって求めた距離１２６と等しい位置を、補正後の角膜曲率中心である角膜曲率中心１１０Ｈとして算出する（ステップＳ２０８）。

【0080】

注視点検出部２１６は、瞳孔中心１１２Ｃと角膜曲率中心１１０Ｈとを結ぶ視線ベクトルを算出する（ステップＳ２０９）。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部２１６は、視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置を算出する（ステップＳ２１０）。視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置が、三次元グローバル座標系で規定される表示画面１０１Ｓにおける被験者の注視点の位置である。

【0081】

注視点検出部２１６は、三次元グローバル座標系で規定される注視点の位置を、２次元座標系で規定される表示装置１０１の表示画面１０１Ｓにおける位置に変換する（ステップＳ２１１）。これにより、被験者が見つめる表示装置１０１の表示画面１０１Ｓ上の注視点の位置が算出される。

【0082】

次に、有効判定処理について説明する。有効判定処理では、左右それぞれの眼球１１１の位置に基づいて、視線検出結果が有効か否かを判定する。

【0083】

図１２、図１３を用いて、ステレオカメラ装置１０２に対する被検者の顔向きが変わったときの画像の違いについて説明する。図１２は、被験者の顔が正面を向いている場合の模式図である。図１３は、被験者の顔が傾いている場合の模式図である。本実施形態では、ステレオカメラ装置１０２は、表示装置１０１の下側に配置されている。また、被検者は、表示装置１０１の表示画面１０１Ｓと正対する。これにより、ステレオカメラ装置１０２は、被験者を下から一定の煽り角度を持って撮影する。図１２において、ステレオカメラ装置１０２に対して被検者の顔が正面を向いている場合を示す。この場合、画像上の被験者の左右の眼（左右の瞳孔中心１１２Ｃ）の高さ位置は同一となる。図１３において、ステレオカメラ装置１０２に対して被験者が向かって右を向いている場合を示す。この場合、画像上の向かって右側の眼は、左側の眼より高さ位置が低くなる。このような特徴を使用して、視線検出時の被検者の顔向きを判定することが可能である。

【0084】

図１４、図１５を用いて、ステレオカメラ装置１０２に対する被検者の顔向きが変わったときの被検者とステレオカメラ装置１０２との距離に違いについて説明する。図１４は、図１２における、ステレオカメラ装置と被験者の眼球とを説明する模式図である。図１５は、図１３における、ステレオカメラ装置と被験者の眼球とを説明する模式図である。図１４は、ステレオカメラ装置１０２に対して被検者の顔が正面を向いている場合である。この場合、２つのステレオカメラ装置１０２の中心位置に対して、左右の眼（左右の瞳孔中心１１２Ｃ）までの距離は、同一である。図１５は、被験者が向かって右を向いた場合であり、２つのステレオカメラ装置１０２の中心位置に対しての距離は、右眼の方が左眼より長くなっている。本このような特徴を使用して、視線検出時の被検者の顔向きを判定することが可能である。ステレオカメラ装置１０２と左右の瞳孔中心１１２Ｃとの距離を測定する方法は、本実施形態のステレオカメラ装置１０２による視差を使用してもよいし、別の方法を使用してもよい。

【0085】

次に、図１６を用いて、本実施形態に係る有効判定処理の一例について説明する。図１６は、本実施形態に係る有効判定処理の一例を示すフローチャートである。有効判定処理は、注視点判定処理の後に実施される。

【0086】

演算部２２０は、視線検出処理の結果を取得する（ステップＳ３０１）。より詳しくは、演算部２２０は、視線検出処理の結果から、右眼と左眼とについて、三次元グローバル座標系で規定される瞳孔中心１１２Ｃの位置を取得する。

【0087】

演算部２２０は、視線検出処理の結果を取得したときのカメラと左右の眼（瞳孔中心）との距離をそれぞれ算出する（ステップＳ３０２）。より詳しくは、演算部２２０は、視線検出処理の結果を取得したときの、右眼の三次元グローバル座標系で規定される瞳孔中心１１２Ｃの位置とステレオカメラ装置１０２の中心位置との距離を算出する。演算部２２０は、視線検出処理の結果を取得したときの、左眼の三次元グローバル座標系で規定される瞳孔中心１１２Ｃの位置とステレオカメラ装置１０２の中心位置との距離を算出する。

【0088】

演算部２２０は、視線検出処理の結果を取得したときの画像から、左右の眼球の瞳孔中心１１２Ｃの高さ方向の位置を算出する（ステップＳ３０３）。より詳しくは、演算部２２０は、画像上における左右の眼球の瞳孔中心１１２Ｃの高さ方向（Ｙ方向）の位置をそれぞれ算出する。

【0089】

ステップＳ３０２、ステップＳ３０３における演算結果から、被検者の顔向きがわかる。ステレオカメラ装置１０２に対して被検者の顔が正面を向いている場合、被験者の位置から見て、視線方向と顔向き方向とは近い方向になる。ステレオカメラ装置１０２に対して被検者の顔が正面を向いていない場合、被験者の位置から見て、視線方向と顔向き方向とは異なる方向になる。この場合、視線検出装置１００によって検出した被験者の視線は、誤検出して結果が正しくない可能性が高い。そこで、被検者の顔が正面から一定範囲以内に入っているか否かで、視線検出の結果が有効であるか無効であるかを判定する。具体的には、被験者の顔が正面向きに対して３０°以上ずれた方向を向いている場合、正しく視線検出ができない可能性が高い。

【0090】

図１５を用いて、被検者の顔向きについて説明する。例えば、顔向きが３０°ずれている場合における、ステップＳ３０２で算出したカメラと左右の眼球の瞳孔中心１１２Ｃとの距離の差は、左右の瞳孔中心１１２Ｃの距離をｒｄとすると、三角比によって（１／２×ｒｄ）として表すことができる。また、例えば、顔向きが３０°ずれている場合における、ステップＳ３０３で算出した左右の眼球の瞳孔中心１１２Ｃの高さ方向の位置の差は、ステレオカメラ装置１０２と被験者との距離が本実施形態における標準の６０ｃｍとすると、ステレオカメラ装置１０２のセンサーサイズと焦点距離との関係から、表示画面１０１Ｓ上において、５０ピクセル程度のずれに相当する。これらより、被験者の顔が正面向きに対して３０°以上ずれた方向を向くと視線検出の結果を無効と判定する場合、（１／２×ｒｄ）が瞳孔中心距離差分しきい値であり、５０ピクセルが瞳孔中心高さ差分しきい値となる。

【0091】

本実施形態では、左右の瞳孔中心１１２Ｃの距離の差が瞳孔中心距離差分しきい値以下であり、左右の瞳孔中心１１２Ｃの高さの差が瞳孔中心高さ差分しきい値以下であるとき、視線検出の結果を有効とする。左右の瞳孔中心１１２Ｃの距離の差が瞳孔中心距離差分しきい値以下ではない、または、左右の瞳孔中心１１２Ｃの高さの差が瞳孔中心高さ差分しきい値以下ではないとき、視線検出の結果を無効とする。

【0092】

判定部２２２は、ステレオカメラ装置１０２の中心位置からの瞳孔中心１１２Ｃの距離の差が、瞳孔中心距離差分しきい値以下であるか否かを判定する（ステップＳ３０４）。判定部２２２は、ステップＳ３０２で算出した、右眼球の瞳孔中心１１２Ｃの位置とステレオカメラ装置１０２の中心位置との距離と、左眼球の瞳孔中心１１２Ｃの位置とステレオカメラ装置１０２の中心位置との距離との差が、瞳孔中心距離差分しきい値以下ではない場合（ステップＳ３０４でＮｏ）、ステップＳ３０５に進む。判定部２２２は、ステップＳ３０２で算出した、右眼球の瞳孔中心１１２Ｃの位置とステレオカメラ装置１０２の中心位置との距離と、左眼球の瞳孔中心１１２Ｃの位置とステレオカメラ装置１０２の中心位置との距離との差が、瞳孔中心距離差分しきい値以下である場合（ステップＳ３０４でＹｅｓ）、ステップＳ３０７に進む。

【0093】

判定部２２２は、視線検出処理の結果は無効であると判定する（ステップＳ３０５）。

【0094】

出力制御部２２６は、視線検出処理の結果は無効である旨を出力装置５０にアラート表示する（ステップＳ３０６）。

【0095】

判定部２２２は、左右の瞳孔中心１１２Ｃの高さ方向の差が、瞳孔中心高さ差分しきい値以下であるか否かを判定する（ステップＳ３０７）。判定部２２２は、ステップＳ３０３で算出した、右眼球の瞳孔中心１１２Ｃの高さ方向の位置と、左眼球の瞳孔中心１１２Ｃの高さ方向の位置との差が、瞳孔中心高さ差分しきい値以下ではない場合（ステップＳ３０７でＮｏ）、ステップＳ３０８に進む。判定部２２２は、ステップＳ３０３で算出した、右眼球の瞳孔中心１１２Ｃの高さ方向の位置と、左眼球の瞳孔中心１１２Ｃの高さ方向の位置との差が、瞳孔中心高さ差分しきい値以下である場合（ステップＳ３０７でＹｅｓ）、ステップＳ３０９に進む。

【0096】

判定部２２２は、視線検出処理の結果は無効であると判定する（ステップＳ３０８）。

【0097】

判定部２２２は、視線検出処理の結果は有効であると判定する（ステップＳ３０９）。

【0098】

このようにして、視線検出処理によって視線を誤検出するおそれがあるような、被験者の顔向きであると判定されると、視線検出の結果を無効として表示する。有効判定処理によって無効と判定された視線抽出処理の結果が、そのまま後続処理において使用されないようにする。有効判定処理によって有効と判定された視線検出処理の結果のみ、後続処理において使用されるようにする。

【0099】

有効判定処理の後続処理の一例について説明する。有効判定処理によって有効とされた場合、後続処理として、理想位置算出部２１８によって、左右それぞれの眼球１１１の理想的な角膜曲率中心１１０Ｆの位置を算出する、第二キャリブレーション処理を実行してもよい。なお、有効判定処理によって無効とされた場合、第二キャリブレーション処理を実行しない。

【0100】

理想位置算出部２１８は、表示画面１０１Ｓの１点に表示される画像の位置と、瞳孔１１２の中心の位置とから、左右それぞれの眼球１１１の理想的な角膜曲率中心の位置を算出する。

【0101】

以上のように、本実施形態は、演算部２２０が算出した、左右の眼球１１１の瞳孔中心１１２Ｃの距離の差分と、左右の眼球１１１の瞳孔中心１１２Ｃの位置の上下方向の差分との少なくともどちらかに基づいて、注視点検出部２１６の検出結果が有効か否かを判定する。本実施形態では、ステレオカメラ装置１０２に対する被検者の顔向きが、視線検出処理によって視線を誤検出するおそれがあるとき、視線検出結果を無効と判定する。このように、本実施形態によれば、被験者の顔向きに応じて、視線を正確に検出することができるか否かを判断することができる。また、視線を正確に検出することができたと判定された場合にのみ、後続処理を行うようにすることで、後続処理の精度も向上することができる。

【0102】

本実施形態によれば、注視点検出部２１６で検出される視線方向の有効性について、視線検出処理によって算出した、三次元グローバル座標系で規定される左右の瞳孔中心１１２Ｃの位置に基づいて判定する。これにより、本実施形態によれば、別途視線方向の有効性を検出するための装置などを使用することなく、容易かつ効果的に視線方向の有効性を判定することができる。

【0103】

また、本実施形態において、判定部２２２は、左右の眼球１１１の瞳孔中心１１２Ｃの距離の差分が、瞳孔中心距離差分しきい値より大きい場合、注視点検出部２１６の検出結果が無効であると判定する。これにより、本実施形態によれば、被験者の顔が正面向きに対して３０°以上ずれて、視線検出に影響を与える場合、注視点検出部２１６の検出結果が無効であると判定することができる。

【0104】

また、本実施形態において、左右の眼球１１１の瞳孔中心１１２Ｃの位置の上下方向の差分が、瞳孔中心高さ差分しきい値より大きい場合、注視点検出部２１６の検出結果が無効であると判定する。これにより、本実施形態によれば、被験者の顔が正面向きに対して３０°以上ずれて、視線検出に影響を与える場合、注視点検出部２１６の検出結果が無効であると判定することができる。

【0105】

これまで本発明に係る視線検出装置１００について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

【0106】

図示した視線検出装置１００の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0107】

視線検出装置１００の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0108】

ステップＳ３０４において、視線検出処理の結果を取得したときの左右の瞳孔中心１１２Ｃの距離の差を比較したが、これに限定されない。例えば、左右の瞳孔中心１１２Ｃの距離の基準値として、計測開始前のキャリブレーション時に被験者が正面を向いたときの左右の瞳孔中心１１２Ｃの距離の差を測定しておき、視線検出処理の結果を取得したときの左右の瞳孔中心１１２Ｃの距離の差の変化量に基づいて、判定するようにしてもよい。

【0109】

ステップＳ３０７において、視線検出処理の結果を取得したときの左右の瞳孔中心１１２Ｃの高さの差を比較したが、これに限定されない。例えば、左右の瞳孔中心１１２Ｃの高さの基準値として、計測開始前のキャリブレーション時に被験者が正面を向いたときの左右の瞳孔中心１１２Ｃの高さの差を測定しておき、視線検出処理の結果を取得したときの左右の瞳孔中心１１２Ｃの高さの差の変化量に基づいて、判定するようにしてもよい。

【0110】

上記では、ステレオカメラ装置１０２は、独立した第一カメラ１０２Ａ及び第二カメラ１０２Ｂの２台のカメラを有するものとして説明したが、一つの筐体に配置された第一カメラ１０２Ａ及び第二カメラ１０２Ｂであってもよい。

【0111】

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【符号の説明】

【0112】

１００ 視線検出装置
１０１ 表示装置
１０１Ｓ 表示画面
１０２ ステレオカメラ装置（撮像部）
１０３ 照明装置（光源）
２０ コンピュータシステム
２１０ 位置検出部
２１２ 曲率中心算出部
２１４ 補正位置算出部
２１６ 注視点検出部
２２０ 演算部
２２２ 判定部
３０ 入出力インターフェース装置
４０ 駆動回路
５０ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】