特許 6210023 視線検出支援装置および視線検出支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6210023

(24)【登録日】2017年9月22日

(45)【発行日】2017年10月11日

(54)【発明の名称】視線検出支援装置および視線検出支援方法

(51)【国際特許分類】

   A61B 3/113 20060101AFI20171002BHJP

   G06F 3/038 20130101ALI20171002BHJP

   A61B 10/00 20060101ALI20171002BHJP

【ＦＩ】

   A61B3/10 BZDM

   G06F3/038 310A

   A61B10/00 H

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2014-111699(P2014-111699)

(22)【出願日】2014年5月29日

(65)【公開番号】特開2015-126857(P2015-126857A)

(43)【公開日】2015年7月9日

【審査請求日】2016年9月29日

(31)【優先権主張番号】特願2013-246725(P2013-246725)

(32)【優先日】2013年11月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】二宮 賢

(72)【発明者】

【氏名】首藤 勝行

(72)【発明者】

【氏名】箱嶋 修二

【審査官】 宮川 哲伸

(56)【参考文献】

【文献】 特開２０１４−１９５６４１（ＪＰ，Ａ）

【文献】 特開２００９−２９７３２３（ＪＰ，Ａ）

【文献】 特開平６−３１９７０１（ＪＰ，Ａ）

【文献】 大野健彦，１点キャリブレーションによる視線計測とその応用，情報処理学会研究報告，２００６年 １月１３日，第２００６巻，第３号，第６７−７４頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／１１３

Ａ６１Ｂ １０／００

Ｇ０６Ｆ ３／０３８

(57)【特許請求の範囲】

【請求項1】

光を照射する光源を含む照明部と、
複数の撮像部と、
前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置と、角膜反射の中心を示す第２位置と、を検出する位置検出部と、
前記光源の位置と、表示部上の第３位置と、前記第１位置と、前記第２位置と、に基づいて、角膜の曲率中心を示す第４位置を算出する算出部と、
を備える視線検出支援装置。

【請求項2】

前記第１位置と前記第４位置とに基づいて視線を検出する視線検出部をさらに備える、
請求項１に記載の視線検出支援装置。

【請求項3】

前記算出部は、
前記光源の位置と前記第２位置とを結ぶ第１直線と、
前記第１位置と前記第３位置とを結ぶ第２直線と、を算出し、
前記第１直線と前記第２直線との交点と、前記第１位置との距離を第１距離として、
前記第１直線上に存在し、前記第１位置からの距離が前記第１距離となる前記第４位置を算出する、
請求項１又は２に記載の視線検出支援装置。

【請求項4】

前記算出部は、
前記光源の位置と前記第３位置とを結ぶ第１線分と、
前記第１線分に平行で、前記第１位置から前記第１直線に向かう第２線分と、を算出し、
前記第１線分の長さに対する前記第２線分の長さの比率と、
前記第３位置と前記第４位置との距離に対する前記第１距離の比率と、が等しくなる前記第１距離を算出する、
請求項３に記載の視線検出支援装置。

【請求項5】

光源を含む照明部によって光が照射され、複数の撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置と、角膜反射の中心を示す第２位置と、を検出する位置検出ステップと、
前記光源の位置と、表示部上の第３位置と、前記第１位置と、前記第２位置と、に基づいて、角膜の曲率中心を示す第４位置を算出する算出ステップと、
を含む視線検出支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出支援装置および視線検出支援方法に関する。

【背景技術】

【0002】

操作者または被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。例えば、被験者の顔に何らかの装置を取り付けることなく、視線方向を確実に検出する非接触視線検出を可能とする方法が知られている。この方法では、光源から照射した光の眼球反射を検出して、瞳孔中心と角膜曲率中心を算出し、瞳孔中心と角膜曲率中心とを結ぶ直線を視線として検出する。この方法の多くは２つ以上の光源から照射した光の眼球反射を検出して、視線を算出しているものであった。

【0003】

特許文献１の方法では、２台のカメラおよび２つの光源を使用し、１つの眼球内に２つの角膜反射点を検出し、この２点の角膜反射点から角膜曲率中心を算出して、瞳孔中心との位置関係から視線を検出する。特許文献２の方法では、１台のカメラおよび２つの光源を使用し、それぞれ２つの角膜反射点を含む平面の交線から角膜曲率中心を算出し、瞳孔中心との位置関係から視線を検出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第２７３９３３１号公報

【特許文献2】特許第４８２４４２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記各文献の方法では、装置構成が複雑になり、装置のサイズが大きくなるという問題があった。例えば、２つの光源を用いる場合、各光源に対応する２つの反射点を分離して検出するため、２つの光源間の距離を一定以上離す必要がある。光源間の距離が近いと２つの反射点が重なり分離することが困難となるためである。

【0006】

本発明は、上記に鑑みてなされたものであって、装置構成を簡略化できる視線検出支援装置および視線検出支援方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明は、光を照射する光源を含む照明部と、複数の撮像部と、前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置と、角膜反射の中心を示す第２位置と、を検出する位置検出部と、前記光源の位置と、表示部上の第３位置と、前記第１位置と、前記第２位置と、に基づいて、角膜の曲率中心を示す第４位置を算出する算出部と、を備える。

【発明の効果】

【0008】

本発明にかかる視線検出支援装置および視線検出支援方法は、装置構成を簡略化できるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

【図2】図２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

【図3】図３は、診断支援装置の機能の概要を示す図である。

【図4】図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。

【図5】図５は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。

【図6】図６は、２つの光源を用いる方法と、１つの光源を用いる本実施形態との違いを示す説明図である。

【図7】図７は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。

【図8】図８は、本実施形態の算出処理の一例を示すフローチャートである。

【図9】図９は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。

【図10】図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。

【図11】図１１は、変形例の算出処理を説明するための図である。

【図12】図１２は、変形例の算出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明にかかる視線検出支援装置および視線検出支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出支援装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

【0011】

本実施形態の視線検出支援装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出支援装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

【0012】

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

【0013】

図１および２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

【0014】

図１に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラ１０２と、ＬＥＤ光源１０３と、を含む。ステレオカメラ１０２は、表示部１０１の下に配置される。ＬＥＤ光源１０３は、ステレオカメラ１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１では、９個のＬＥＤによりＬＥＤ光源１０３（照明部）を構成する例が示されている。なお、ステレオカメラ１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。

【0015】

図２に示すように、ステレオカメラ１０２は、右カメラ２０２と左カメラ２０３とを備えている。ＬＥＤ光源１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２０２、左カメラ２０３）それぞれで取得することができる。

【0016】

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

【0017】

図３は、診断支援装置１００の機能の概要を示す図である。図３では、図１および２に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図３に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０３と、ＬＥＤ光源１０３と、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図３において、表示画面２０１は、右カメラ２０２および左カメラ２０３との位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

【0018】

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

【0019】

駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

【0020】

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

【0021】

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。

【0022】

図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。図４に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

【0023】

駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０３が接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。

【0024】

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

【0025】

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、第１算出部３５１と、第２算出部３５２と、第３算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、を備えている。なお、視線検出支援装置としては、少なくとも第１算出部３５１、第２算出部３５２、第３算出部３５３、および、視線検出部３５４が備えられていればよい。

【0026】

制御部３００に含まれる各要素（第１算出部３５１、第２算出部３５２、第３算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、および、評価部３５７）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

【0027】

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0028】

第１算出部３５１は、ステレオカメラ１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。第１算出部３５１および第２算出部３５２が、瞳孔の中心を示す第１位置と、角膜反射の中心を示す第２位置と、を検出する位置検出部に相当する。

【0029】

第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線（第１直線）から、角膜曲率中心（第４位置）を算出する。例えば、第３算出部３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

【0030】

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部３５３は、まず目標位置（第３位置）を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線（第２直線）と、角膜反射中心とＬＥＤ光源１０３とを結ぶ直線（第１直線）と、の交点を算出する。そして第３算出部３５３は、瞳孔中心と算出した交点との距離（第１距離）を算出し、例えば記憶部１５０に記憶する。

【0031】

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

【0032】

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

【0033】

なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

【0034】

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。第３算出部３５３が、ＬＥＤ光源１０３の位置と、表示部上の目標画像を示す所定の位置（第３位置）と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心（第４位置）を算出する算出部に相当する。

【0035】

視線検出部３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

【0036】

視点検出部３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

【0037】

出力制御部３５６は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、診断画像、および、評価部３５７による評価結果などの表示部１０１に対する出力を制御する。

【0038】

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。

【0039】

評価部３５７は、診断画像と、視点検出部３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

【0040】

図５は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。

【0041】

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。

【0042】

図６は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。

【0043】

方法Ａは、ＬＥＤ光源１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。

【0044】

これに対し、本実施形態では、ＬＥＤ光源１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

【0045】

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

【0046】

図７は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１〜図４で説明した要素については同一の符号を付し説明を省略する。

【0047】

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、ＬＥＤ光源１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

【0048】

図８は、本実施形態の算出処理の一例を示すフローチャートである。

【0049】

まず出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、制御部３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ２０２、左カメラ２０３）で被験者の目を撮像する（ステップＳ１０３）。

【0050】

ＬＥＤ光源１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。第１算出部３５１は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、第２算出部３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部３５１および第２算出部３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０４）。

【0051】

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

【0052】

第１算出部３５１および第２算出部３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０５）。第３算出部３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０６）。次に、第３算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０７）。第３算出部３５３は、ステップＳ１０６で算出した直線とステップＳ１０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１０８）。第３算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

【0053】

算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

【0054】

図９は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

【0055】

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。

【0056】

図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図１０の視線検出処理を実行することができる。診断処理では、図１０の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部３５７による評価処理などが実行される。

【0057】

ステップＳ２０１〜ステップＳ２０５は、図８のステップＳ１０２〜ステップＳ１０６と同様であるため説明を省略する。

【0058】

第３算出部３５３は、ステップＳ２０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０６）。

【0059】

視線検出部３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５５は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２０８）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２０９）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。

【0060】

（変形例）
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図７および図８で説明した方法に限られるものではない。以下では、算出処理の他の例について図１１および図１２を用いて説明する。

【0061】

図１１は、本変形例の算出処理を説明するための図である。図１〜図４および図７で説明した要素については同一の符号を付し説明を省略する。

【0062】

線分１１０１は、目標位置６０５とＬＥＤ光源１０３とを結ぶ線分（第１線分）である。線分１１０２は、線分１１０１と平行で、瞳孔中心６１１と直線６１３とを結ぶ線分（第２線分）である。本変形例では、以下のように、線分１１０１、線分１１０２を用いて瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

【0063】

図１２は、本変形例の算出処理の一例を示すフローチャートである。

【0064】

ステップＳ３０１〜ステップＳ３０７は、図８のステップＳ１０１〜ステップＳ１０７と同様であるため説明を省略する。

【0065】

第３算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心と、ＬＥＤ光源１０３の中心とを結ぶ線分（図１１では線分１１０１）を算出するとともに、算出した線分の長さ（Ｌ１１０１とする）を算出する（ステップＳ３０８）。

【0066】

第３算出部３５３は、瞳孔中心６１１を通り、ステップＳ３０８で算出した線分と平行な線分（図１１では線分１１０２）を算出するとともに、算出した線分の長さ（Ｌ１１０２とする）を算出する（ステップＳ３０９）。

【0067】

第３算出部３５３は、角膜曲率中心６１５を頂点とし、ステップＳ３０８で算出した線分を下辺とする三角形と、角膜曲率中心６１５を頂点とし、ステップＳ３０９で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心６１１と角膜曲率中心６１５との間の距離６１６を算出する（ステップＳ３１０）。例えば第３算出部３５３は、線分１１０１の長さに対する線分１１０２の長さの比率と、目標位置６０５と角膜曲率中心６１５との間の距離に対する距離６１６の比率と、が等しくなるように、距離６１６を算出する。

【0068】

距離６１６は、以下の（１）式により算出することができる。なおＬ６１４は、目標位置６０５から瞳孔中心６１１までの距離である。
距離６１６＝（Ｌ６１４×Ｌ１１０２）／（Ｌ１１０１−Ｌ１１０２）・・・（１）

【0069】

第３算出部３５３は、算出した距離６１６を記憶部１５０などに記憶する（ステップＳ３１１）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

【0070】

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（２）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。

【符号の説明】

【0071】

１００ 診断支援装置
１０１ 表示部
１０２ ステレオカメラ
１０３ ＬＥＤ光源
１５０ 記憶部
２０１ 表示画面
２０２ 右カメラ
２０３ 左カメラ
２０５ スピーカ
３００ 制御部
３１３ 駆動・ＩＦ部
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 第１算出部
３５２ 第２算出部
３５３ 第３算出部
３５４ 視線検出部
３５５ 視点検出部
３５６ 出力制御部
３５７ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】