特許 6142822 診断支援装置および診断支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6142822

(24)【登録日】2017年5月19日

(45)【発行日】2017年6月7日

(54)【発明の名称】診断支援装置および診断支援方法

(51)【国際特許分類】

   A61B 10/00 20060101AFI20170529BHJP

   A61B 3/113 20060101ALI20170529BHJP

【ＦＩ】

   A61B10/00 H

   A61B3/10 B

【請求項の数】7

【全頁数】25

(21)【出願番号】特願2014-35948(P2014-35948)

(22)【出願日】2014年2月26日

(65)【公開番号】特開2015-43963(P2015-43963A)

(43)【公開日】2015年3月12日

【審査請求日】2016年4月25日

(31)【優先権主張番号】特願2013-157030(P2013-157030)

(32)【優先日】2013年7月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】首藤 勝行

(72)【発明者】

【氏名】二宮 賢

(72)【発明者】

【氏名】箱嶋 修二

【審査官】 右▲高▼ 孝幸

(56)【参考文献】

【文献】 特開２０１３−２２３７１３（ＪＰ，Ａ）

【文献】 特開２０１２−５５４１８（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０７７７１３（ＷＯ，Ａ１）

【文献】 特開２０１１−２０６５４２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０２０８２０５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００８／０１８６４４９（ＵＳ，Ａ１）

【文献】 Karen PIERCE et al，Preference for geometric patterns early in life as arisk factor for autism，Arch Gen Psychiatry，２０１１年 １月，vol.68, no.1，pp.101-109

【文献】 松村 佳亮、他，「近赤外瞳孔検出法に基づくカラーカメラ顔画像中の高精度実時間瞳孔位置推定」，映像情報メディア学会誌，日本，（社）映像情報メディア学会 The Institute of Image，２０１１年，第65巻 第12号，P1783-P1787

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １０／００

Ａ６１Ｂ ３／１１３

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

表示部と、
被験者を撮像する撮像部と、
前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
前記表示部の表示領域を分割した複数の分割領域における前記被験者の視点を、前記視線方向に基づいて検出する視点検出部と、
人物画像と、模様画像と、キャラクタ画像と、のうち少なくとも２つを、複数の前記分割領域のうち相互に異なる前記分割領域に、それぞれ診断画像として表示させる出力制御部と、
前記診断画像が表示されたときに前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、
を備えることを特徴とする診断支援装置。

【請求項2】

前記評価部は、所定期間内の前記視点の移動距離、前記所定期間内の前記視点の移動速度、前記所定期間内に前記分割領域で前記視点が検出された個数、および、前記所定期間内に複数の前記分割領域間で前記視点が移動した回数、の少なくとも１つに基づく前記評価値を算出すること、
を特徴とする請求項１に記載の診断支援装置。

【請求項3】

前記分割領域は、複数の部分領域を含み、
前記評価部は、前記所定期間内に前記部分領域で前記視点が検出された個数、および、前記所定期間内に複数の前記部分領域間で前記視点が移動した回数、の少なくとも１つに基づく前記評価値を算出すること、
を特徴とする請求項１に記載の診断支援装置。

【請求項4】

前記評価部は、前記模様画像を含む分割領域で前記視点が検出された時間と、前記模様画像を含む分割領域以外で前記視点が検出された時間と、に基づく前記評価値を算出すること、
を特徴とする請求項１に記載の診断支援装置。

【請求項5】

前記出力制御部は、第１期間と第２期間とで、前記診断画像を表示する前記分割領域を変更し、
前記評価部は、前記第１期間に算出された第１評価値と、前記第２期間に算出された第２評価値とに基づいて、前記評価値を算出すること、
を特徴とする請求項１に記載の診断支援装置。

【請求項6】

光を照射する光源を含む照明部と、
前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置を算出する第１算出部と、
撮像された前記眼球の画像から角膜反射の中心を示す第２位置を算出する第２算出部と、
前記光源と前記第２位置とを結ぶ直線に基づいて、角膜曲率中心を示す第３位置を算出する第３算出部と、をさらに備え、
前記視線検出部は、前記第１位置と前記第３位置に基づいて前記被験者の視線を検出すること、
を特徴とする請求項１に記載の診断支援装置。

【請求項7】

被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出ステップと、
表示部の表示領域を分割した複数の分割領域における前記被験者の視点を、前記視線方向に基づいて検出する視点検出ステップと、
人物画像と、模様画像と、キャラクタ画像と、のうち少なくとも２つを、複数の前記分割領域のうち相互に異なる前記分割領域に、それぞれ診断画像として表示させる出力制御ステップと、
前記診断画像が表示されたときに前記視点検出ステップにより検出された前記視点に基づいて前記被験者の評価値を算出する評価ステップと、
を含む診断支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、診断支援装置および診断支援方法に関する。

【背景技術】

【0002】

最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。

【0003】

発達障がい早期発見のためには、例えば１歳半検診時に診断できることが理想的である。発達障がいとしては、注意欠陥・多動性障がい（ＡＤＨＤ（Attention Deficit / Hyperactivity Disorder））、および、自閉症スペクトラム障がい（ＡＳＤ（Autistic Spectrum Disorder））などが知られている。ＡＤＨＤの障がい児の特徴として、１つのものに集中し難いため、注視対象も一定に留まらず、注視点が移動しやすいことが挙げられる。また、ＡＳＤの障がい児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。また、ＡＳＤの障がい児は、人物映像より幾何学模様の映像を好むことが知られている。

【0004】

また、カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障がいを診断支援する方法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−１８５４３１号公報

【特許文献2】特開２００８−１２５６１９号公報

【特許文献3】特開２００５−１９８７４３号公報

【特許文献4】特開２００２−３６０５１８号公報

【特許文献5】特開２０１１−２０６５４２号公報

【非特許文献】

【0006】

【非特許文献1】Pierce K et al.,“Preference for Geometric Patterns Early in Life as a Risk Factor for Autism.”，Arch Gen Psychiatry. 2011 Jan;68（1）:101-109.

【発明の概要】

【発明が解決しようとする課題】

【0007】

１歳半程度の被験者は、動きの少ない物体を注視しない傾向がある。このため、従来のように注視点を検出する方法では、適切に診断を支援できない場合があり、さらに高精度の検出方法が求められていた。

【0008】

本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置および診断支援方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、前記表示部の表示領域を分割した複数の分割領域における前記被験者の視点を、前記視線方向に基づいて検出する視点検出部と、人物画像と、模様画像と、キャラクタ画像と、のうち少なくとも２つを、複数の前記分割領域のうち相互に異なる前記分割領域に、それぞれ診断画像として表示させる出力制御部と、前記診断画像が表示されたときに前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、を備えることを特徴とする。

【発明の効果】

【0010】

本発明にかかる診断支援装置および診断支援方法は、診断の精度を向上できるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。

【図2】図２は、第１の実施形態の診断支援装置の機能の概要を示す図である。

【図3】図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。

【図4】図４は、２台のカメラを使用した場合の目および距離の検出の一例を示す図である。

【図5】図５は、表示される診断画像の一例を示す説明図である。

【図6】図６は、第１の実施形態における診断支援処理の一例を示すフローチャートである。

【図7】図７は、図６のウィンドウ移動処理の一例を示すフローチャートである。

【図8】図８は、図６の総合評価処理の一例を示すフローチャートである。

【図9】図９は、図６の総合評価処理の他の例を示すフローチャートである。

【図10】図１０は、図６のエリアＡ１処理の一例を示すフローチャートである。

【図11】図１１は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

【図12】図１２は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。

【図13】図１３は、診断支援装置の機能の概要を示す図である。

【図14】図１４は、図１３に示す各部の詳細な機能の一例を示すブロック図である。

【図15】図１５は、第２の実施形態の診断支援装置により実行される処理の概要を説明する図である。

【図16】図１６は、２つの光源を用いる方法と、１つの光源を用いる第２の実施形態との違いを示す説明図である。

【図17】図１７は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。

【図18】図１８は、第２の実施形態の算出処理の一例を示すフローチャートである。

【図19】図１９は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。

【図20】図２０は、第２の実施形態の視線検出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

【0013】

（第１の実施形態）
上述のように、発達障がいの診断支援装置では、より精度の高い方法が求められていた。また、多種の発達障がいに対して診断支援できる効率の良い装置が求められていた。これまでは、例えば、何も表示されていない画面を見た時のサッカードを検出してＡＤＨＤを診断支援する技術が提案されている。第１の実施形態の診断支援装置は、グループ化した複数のウィンドウに対する注視点を検出して判断する。これにより、ＡＤＨＤを従来より高い精度で診断支援するとともに、ＡＳＤの診断支援も実現できるようにする。

【0014】

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、本実施形態では、表示画面１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。

【0015】

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。

【0016】

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

【0017】

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ（interface）部２０８と、制御部３００と、記憶部１５０と、表示部２１０と、を含む。図２において、表示画面１０１は、右カメラ２０２および左カメラ２０４との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

【0018】

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

【0019】

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

【0020】

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。

【0021】

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

【0022】

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

【0023】

赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。

【0024】

波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。

【0025】

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。なお、照射する赤外線の波長については、上記に限らず、波長１の赤外線を照射して瞳孔で反射された反射光を撮像した結果と、波長２の赤外線を照射して瞳孔で反射された反射光を撮像した結果とで、差が出せるものであればよい。

【0026】

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

【0027】

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、視線検出部３５１と、視点検出部３５２と、出力制御部３５３と、評価部３５４と、を備えている。

【0028】

視線検出部３５１は、撮像部（ステレオカメラ１０２）により撮像された撮像画像から、被験者の視線（視線方向）を検出する。視線を検出する処理には、被験者の目の位置を検出する処理が含まれる。視点検出部３５２は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５２は、例えば、表示画面１０１に表示された対象画像のうち、被験者が注視する点である視点（注視点）を検出する。視線検出部３５１による視線検出方法、および、視点検出部３５２による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステレオカメラを用いて被験者の視線方向および注視点を検出する場合を例に説明する。

【0029】

この場合、まず視線検出部３５１は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。視線検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視線検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視線検出部３５１は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置（目の位置）を算出する。また、視線検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視線検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。

【0030】

なお、被験者の目の位置および視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の目の位置および視線を検出してもよい。

【0031】

視点検出部３５２は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって注視点を計測してもよい。

【0032】

図４は、２台のカメラ（右カメラ２０２、左カメラ２０４）を使用した場合の目および距離の検出の一例を示す図である。２台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ２０２で撮影された画像から検出した目の位置と、左カメラ２０４で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の３次元座標が得られる。これにより、目とステレオカメラ１０２間の距離、および、瞳孔座標を推定することができる。瞳孔座標とは、ＸＹ平面上での被験者の目（瞳孔）の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をＸＹ平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。表示画面１０１には、診断画像が表示される。後述するように、診断画像は、例えば自然画（人物画像およびキャラクタ画像など）と模様画像とを含む。

【0033】

模様画像は、例えば１以上の幾何学模様を含む画像（幾何学画像）である。自然画は、幾何学画像以外の、自然物または自然物を連想させるような画像であればよい。例えば、人物、動物、植物、および自然の景観などをカメラで撮像した画像（静止画、動画）を自然画として用いてもよい。また、人物および動物などを模したキャラクタの画像（静止画、動画）を自然画として用いてもよい。

【0034】

図３に戻り、出力制御部３５３は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部３５３は、診断画像、および、評価部３５４による評価結果などの表示部２１０に対する出力を制御する。出力制御部３５３は、人物画像と、幾何学画像と、キャラクタ画像と、のうち少なくとも２つを、複数の分割領域のうち相互に異なる分割領域に、それぞれ診断画像として表示させる。分割領域とは、表示部２１０の表示領域（表示画面１０１）を分割した領域を表す。分割領域の具体例については後述する。

【0035】

評価部３５４は、診断画像と、視点検出部３５２により検出された注視点とに基づいて、発達障がいの程度に関する指標として評価値を算出する。評価部３５４は、例えば、後述する図５のような診断画像を表示した際の被験者の注視点の位置に基づいて、所定期間内の注視点の移動距離、所定期間内の注視点の移動速度、所定期間内に分割領域で注視点が検出された個数、および、所定期間内に複数の分割領域間で注視点が移動した回数、の少なくとも１つに基づく評価値を算出する。評価部３５４は、診断画像と注視点とに基づいて、評価値を算出すればよく、その算出方法は、実施の形態に限定されるものではない。

【0036】

図５は、表示される診断画像の一例を示す説明図である。図５に示すように、表示画面１０１は、複数の分割領域に分割される。以下では、分割領域をエリアともいう。図５の例では、表示画面１０１は、４つのエリアＡ１、エリアＡ２、エリアＡ３、エリアＡ４に分割されている。なお、エリアの個数は４に限られるものではない。

【0037】

本実施形態では、各エリアをさらに４つの領域（部分領域）に分割する。以下では、エリアを分割した領域をウィンドウともいう。図５の例では、各エリアがさらに４つのウィンドウに分割される。なお、エリアをさらに分割せず、各エリアにそれぞれ１つの診断画像を表示するように構成してもよい。

【0038】

エリアＡ１の中には、４つのウィンドウＷ１、Ｗ２、Ｗ３、Ｗ４が設定されている。ウィンドウＷ１、Ｗ２、Ｗ３、Ｗ４の中に人物映像（人物画像）が表示される。ここで、各映像（画像）は静止画・動画のいずれでもよいが、動画の方が注視されやすいので好ましい形態である。エリアＡ２の中には、４つのウィンドウＷ５、Ｗ６、Ｗ７、Ｗ８が設定されている。ウィンドウＷ５、Ｗ６、Ｗ７、Ｗ８の中にキャラクタ画像としての動物映像（動物画像）が表示される。エリアＡ３の中には、４つのウィンドウＷ９、Ｗ１０、Ｗ１１、Ｗ１２が設定されている。ウィンドウＷ９、Ｗ１０、Ｗ１１、Ｗ１２の中に幾何学映像（幾何学画像）が表示される。エリアＡ４の中には、４つのウィンドウＷ１３、Ｗ１４、Ｗ１５、Ｗ１６が設定されている。ウィンドウＷ１３、Ｗ１４、Ｗ１５、Ｗ１６の中にキャラクタ画像としての乗り物映像（乗り物画像）が表示される。

【0039】

なお、出力制御部３５３が、複数の測定期間（第１期間、第２期間）で、診断画像を表示するエリアを変更するように構成してもよい。この場合、評価部３５４が、各期間で算出された評価値の平均値を、最終的な評価値として求めてもよい。例えば、エリアＡ１とエリアＡ３、エリアＡ２とエリアＡ４の位置を入れ替えた２つのパターンそれぞれで算出された評価値を平均化してもよい。これにより、注視の好み（いつも右上から見始めるなど）などの影響を排除することが可能である。

【0040】

次に、このように構成された第１の実施形態にかかる診断支援装置１００による診断支援処理について図６〜図１０を用いて説明する。図６は、本実施形態における診断支援処理の一例を示すフローチャートである。なお、これ以前に個別のキャリブレーションは完了しているものとする。キャリブレーションには、上述のようなカメラキャリブレーション、および、視線検出のためのキャリブレーション（視線検出用較正）が含まれる。

【0041】

まず、出力制御部３５３は、映像（診断画像）の再生を開始する（ステップＳ１０１）。出力制御部３５３は、映像再生時間を決めるタイマをリセットする（ステップＳ１０２）。評価部３５４は、記憶部１５０などに保存されている映像再生期間中の注視点の移動距離の累積値（累積距離）をクリア（初期化）する（ステップＳ１０３）。

【0042】

評価部３５４は、評価値の算出に用いる以下のような各カウンタをリセット（初期化）する（ステップＳ１０４）。
・エリア内に注視点がある場合にインクリメントするエリアカウンタＣＡ１〜ＣＡ４
・ウィンドウ内に注視点がある場合にインクリメントするウィンドウカウンタＣＷ１〜ＣＷ１６
・注視点がウィンドウから別のウィンドウに移った場合にインクリメントするウィンドウ移動カウンタＣＭ

【0043】

評価部３５４は、評価値の算出に用いる以下の各情報をクリア（初期化）する（ステップＳ１０５）。
・各ウィンドウに注視点が存在する場合に、１をセットするウィンドウＯＫフラグＦＷ１〜ＦＷ１６
・現在または過去の最近の時刻で注視点が検出されたウィンドウを示す現在ウィンドウＮＷ

【0044】

次に、視点検出部３５２は、注視点を検出する（ステップＳ１０６）。視点検出部３５２は、瞬きなどの影響で注視点検出を失敗したか否かを判断する（ステップＳ１０７）。瞬きなどが生じた場合、瞳孔検出ができないので注視点の検出が不可能となる。注視点検出を失敗した場合（ステップＳ１０７：Ｙｅｓ）、ステップＳ１２０に進む。注視点を検出できた場合（ステップＳ１０７：Ｎｏ）、ステップＳ１０８に進む。

【0045】

ステップＳ１０８では、視点検出部３５２は、注視点の座標が、エリアＡ１内にあるか否かを判断する（ステップＳ１０８）。エリアＡ１内にある場合（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９に進む。ステップＳ１０９では、視点検出部３５２は、エリアＡ１に対応した処理（エリアＡ１処理）を行う（ステップＳ１０９）。エリアＡ１処理の詳細は後述する。エリアＡ１ではない場合（ステップＳ１０８：Ｎｏ）、ステップＳ１１０に進む。

【0046】

ステップＳ１１０では、視点検出部３５２は、注視点の座標が、エリアＡ２内にあるか否かを判断する（ステップＳ１１０）。エリアＡ２内にある場合（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１１に進む。ステップＳ１１１では、視点検出部３５２は、エリアＡ２に対応した処理（エリアＡ２処理）を行う（ステップＳ１１１）。エリアＡ２ではない場合（ステップＳ１１０：Ｎｏ）、ステップＳ１１２に進む。

【0047】

ステップＳ１１２では、視点検出部３５２は、注視点の座標が、エリアＡ３内にあるか否かを判断する（ステップＳ１１２）。エリアＡ３内にある場合（ステップＳ１１２：Ｙｅｓ）、ステップＳ１１３に進む。ステップＳ１１３では、視点検出部３５２は、エリアＡ３に対応した処理（エリアＡ３処理）を行う（ステップＳ１１３）。エリアＡ３ではない場合（ステップＳ１１２：Ｎｏ）、ステップＳ１１４に進む。

【0048】

ステップＳ１１４では、視点検出部３５２は、注視点の座標が、エリアＡ４内にあるか否かを判断する（ステップＳ１１４）。エリアＡ４内にある場合（ステップＳ１１４：Ｙｅｓ）、ステップＳ１１５に進む。ステップＳ１１５では、視点検出部３５２は、エリアＡ４に対応した処理（エリアＡ４処理）を行う（ステップＳ１１５）。エリアＡ４ではない場合、例えば、注視点が表示画面外などの場合（ステップＳ１１４：Ｎｏ）、ステップＳ１１６に進む。

【0049】

ステップＳ１１６では、視点検出部３５２は、現在の注視点の座標と前回の注視点の座標との間の距離を計算する（ステップＳ１１６）。次に、視点検出部３５２は、累積距離に、今回計算した距離を加算する（ステップＳ１１７）。次に、視点検出部３５２は、前回の注視点の座標に、現在の注視点の座標を代入する（ステップＳ１１８）。次に、視点検出部３５２は、ウィンドウ移動処理を実行する（ステップＳ１１９）。ウィンドウ移動処理の詳細は後述する。

【0050】

次に、出力制御部３５３は、映像の再生が終わったか否かを判断する（ステップＳ１２０）。出力制御部３５３は、例えば、タイマが所定の値（再生時間）になったか否かにより、映像の再生が終わったか否かを判断する。映像の再生が終了していない場合（ステップＳ１２０：Ｎｏ）、ステップＳ１０６に戻り処理を繰り返す。映像の再生が終了した場合（ステップＳ１２０：Ｙｅｓ）、ステップＳ１２１に進む。

【0051】

出力制御部３５３は、映像の再生を停止する（ステップＳ１２１）。評価部３５４は、注視点移動の累積距離を取得する（ステップＳ１２２）。さらに、評価部３５４は、累積距離と映像の再生時間とから、注視点移動の平均速度を求める（ステップＳ１２３）。次に、評価部３５４は、エリアカウンタＣＡ１〜ＣＡ４の値を取得し、ウィンドウカウンタＣＷ１〜ＣＷ１６の値を取得し、ウィンドウ移動カウンタＣＭの値を取得する（ステップＳ１２４）。次に、評価部３５４は、人物映像が表示されたエリア（エリアＡ１）と幾何学映像が表示されたエリア（エリアＡ３）で検出された注視点の個数の合計に対する、幾何学映像が表示されたエリア（エリアＡ３）で検出された注視点の個数の割合ＡＮＳを求める（ステップＳ１２５）。割合ＡＮＳは、人物映像と幾何学映像を見たうちの、幾何学映像を見た割合を示す。割合ＡＮＳが高いほどＡＳＤの可能性が高くなる。

【0052】

なお、ＡＳＤの診断支援に用いる評価値は割合ＡＮＳに限られるものではない。例えば、人物映像が表示されたエリアで検出された注視点の個数と、幾何学映像が表示されたエリアで検出された注視点の個数との差分に基づく値を評価値として用いてもよい。また、本実施形態では人物映像と幾何学映像とを比較したが、人物映像とキャラクタ映像（動物映像や乗り物映像）との注視点の割合や個数を比較してもよく、またキャラクタ映像と幾何学映像との注視点の割合や個数を比較してもよい。人物映像とキャラクタ映像とを比較した場合、キャラクタ映像を注視する割合が高いほど、ＡＳＤの可能性が高く、キャラクタ映像と幾何学映像を比較した場合、幾何学映像を注視する割合が高いほど、ＡＳＤの可能性が高い。

【0053】

次に、評価部３５４は、ウィンドウＯＫフラグＦＷ１〜ＦＷ１６を取得する（ステップＳ１２６）。ウィンドウＯＫフラグは、対応するウィンドウを１回注視するとフラグが０から１へと変化する。ウィンドウＯＫフラグＦＷ１〜ＦＷ１６は、それぞれウィンドウＷ１〜Ｗ１６に対応する。評価部３５４は、ウィンドウＯＫフラグにより、いずれのウィンドウを見たかを判定する。

【0054】

最後に、評価部３５４は、総合評価を行う（ステップＳ１２７）。総合評価処理の詳細は後述する。

【0055】

図７は、図６のウィンドウ移動処理（ステップＳ１１９）の一例を示すフローチャートである。まず、視点検出部３５２は、現在ウィンドウが前回ウィンドウと同一かを判断する（ステップＳ２０１）。

【0056】

上述のように、現在ウィンドウとは、現在または過去の最近の時刻で注視点が検出されたウィンドウである。現時点で注視点が検出され（ステップＳ１０７：Ｎｏ）、かつ、各エリア内のいずれかのウィンドウ内で注視点が検出された場合は、現時点で注視点が検出されたウィンドウが現在ウィンドウとなる。一方、現時点で注視点が検出されたが（ステップＳ１０７：Ｎｏ）、注視点が各エリア内のいずれかのウィンドウ内に含まれない場合は、現在ウィンドウは更新されない。すなわち、現時点ではない過去の時刻に注視点が検出されたウィンドウが現在ウィンドウとなる。

【0057】

前回ウィンドウとは、現在ウィンドウの１つ前に注視点が検出されたウィンドウである。現在ウィンドウおよび前回ウィンドウは、例えば診断支援処理の開始時に初期化しておく。いずれかのウィンドウで最初に注視点を検出した場合は、前回ウィンドウは初期化されているので、前回ウィンドウに現在ウィンドウを代入してウィンドウ移動処理を終了してもよい。

【0058】

現在ウィンドウが前回ウィンドウと同一であった場合（ステップＳ２０１：Ｙｅｓ）、視点検出部３５２は、ウィンドウ移動処理を終了する。同一でなかった場合（ステップＳ２０１：Ｎｏ）、視点検出部３５２は、ウィンドウ移動カウンタＣＭをインクリメントする（ステップＳ２０２）。次に、視点検出部３５２は、前回ウィンドウに現在ウィンドウを代入する（ステップＳ２０３）。このように、注視点がウィンドウ間を移動するごとに、ウィンドウ移動カウンタＣＭの値が１ずつ加算される。

【0059】

ウィンドウ移動処理は、ウィンドウ間の注視点の移動を確認するための処理である。従って、注視点がウィンドウ以外の場所で検出された場合はウィンドウ間の移動には関係ないので無視する。

【0060】

図８は、図６の総合評価処理（ステップＳ１２７）の一例を示すフローチャートである。まず、評価部３５４は、注視点の累積距離が閾値Ｂ１より大きいかを判断する（ステップＳ３０１）。大きい場合（ステップＳ３０１：Ｙｅｓ）、評価部３５４は、ＡＤＨＤの可能性があることを示す評価結果を出力する（ステップＳ３０５）。

【0061】

累積距離が閾値Ｂ１以下の場合（ステップＳ３０１：Ｎｏ）、評価部３５４は、注視点の平均移動速度が閾値Ｂ２より大きいかを判断する（ステップＳ３０２）。大きい場合（ステップＳ３０２：Ｙｅｓ）、評価部３５４は、ＡＤＨＤの可能性があることを示す評価結果を出力する（ステップＳ３０５）。

【0062】

平均移動速度が閾値Ｂ２以下の場合（ステップＳ３０２：Ｎｏ）、評価部３５４は、ウィンドウ移動カウンタＣＭの値が閾値Ｂ３より大きいかを判断する（ステップＳ３０３）。大きい場合（ステップＳ３０３：Ｙｅｓ）、評価部３５４は、ＡＤＨＤの可能性があることを示す評価結果を出力する（ステップＳ３０５）。

【0063】

ウィンドウ移動カウンタＣＭの値が閾値Ｂ３以下の場合（ステップＳ３０３：Ｎｏ）、評価部３５４は、ウィンドウＯＫフラグ＝１の数が閾値Ｂ４より大きいかを判断する（ステップＳ３０４）。大きい場合（ステップＳ３０４：Ｙｅｓ）、評価部３５４は、ＡＤＨＤの可能性があることを示す評価結果を出力する（ステップＳ３０５）。

【0064】

ウィンドウＯＫフラグ＝１の数が閾値Ｂ４以下の場合（ステップＳ３０４：Ｎｏ）、または、ステップＳ３０５の後、評価部３５４は、ＡＳＤの評価値である割合ＡＮＳが、閾値Ｂ５より大きいかを判断する（ステップＳ３０６）。大きい場合（ステップＳ３０６：Ｙｅｓ）は、評価部３５４は、ＡＳＤの可能性があることを示す評価結果を出力する（ステップＳ３０７）。割合ＡＮＳが閾値Ｂ５以下の場合（ステップＳ３０６：Ｎｏ）、または、ステップＳ３０７の後、総合評価処理を終了する。

【0065】

なお、図８の総合評価処理は一例でありこれに限られるものではない。上記のように、評価部３５４が、注視点の位置に基づいて、注視点の移動距離（累積距離など）、注視点の移動速度（平均移動速度など）、エリアで注視点が検出された個数（ウィンドウＯＫフラグの総数など）、および、エリア間で注視点が移動した回数（ウィンドウ移動カウンタなど）、の少なくとも１つに基づく評価値を算出すればよい。

【0066】

本実施形態では、表示領域を分割したエリアごとに異なる診断画像を表示して評価値を算出できるため、診断の精度を向上することができる。

【0067】

図９は、図６の総合評価処理（ステップＳ１２７）の他の例を示すフローチャートである。まず、評価部３５４は、累積距離の平均値ＡＶ１に対する注視点の累積距離の割合Ｐ１を求める（ステップＳ４０１）。評価部３５４は、平均移動速度の平均値ＡＶ２に対する注視点の平均移動速度の割合Ｐ２を求める（ステップＳ４０２）。評価部３５４は、ＣＭの値の平均値ＡＶ３に対するウィンドウ移動カウンタＣＭの値の割合Ｐ３を求める（ステップＳ４０３）。評価部３５４は、ウィンドウＯＫフラグ＝１の数の平均値ＡＶ４に対するウィンドウＯＫフラグ＝１の数の割合Ｐ４を求める（ステップＳ４０４）。

【0068】

平均値ＡＶ１、ＡＶ２、ＡＶ３、および、ＡＶ４は、それぞれ、例えば多数の被験者から算出された累積距離、平均移動速度、ウィンドウ移動カウンタＣＭ、および、ウィンドウＯＫフラグ＝１の数、の平均値を用いる。

【0069】

次に、評価部３５４は、各割合Ｐ１〜Ｐ４に、重み付け係数（Ｋ１〜Ｋ４）をそれぞれ乗じた値の総和であるＡＤＨＤの評価値Ｅを求める（ステップＳ４０５）。次に、評価部３５４は、ＡＤＨＤの評価値Ｅが、閾値Ｂ６より大きいかを判断する（ステップＳ４０６）。大きい場合（ステップＳ４０６：Ｙｅｓ）、評価部３５４は、ＡＤＨＤの可能性があることを示す評価結果を出力する（ステップＳ４０７）。

【0070】

ＡＤＨＤの評価値Ｅが閾値Ｂ６以下の場合（ステップＳ４０６：Ｎｏ）、または、ステップＳ４０７の後、評価部３５４は、ＡＳＤの評価値である割合ＡＮＳが、閾値Ｂ５より大きいかを判断する（ステップＳ４０８）。大きい場合（ステップＳ４０８：Ｙｅｓ）、評価部３５４は、ＡＳＤの可能性があることを示す評価結果を出力する（ステップＳ４０９）。割合ＡＮＳが閾値Ｂ５以下の場合（ステップＳ４０８：Ｎｏ）、または、ステップＳ４０９の後、総合評価処理を終了する。

【0071】

図１０は、図６のエリアＡ１処理（ステップＳ１０９）の一例を示すフローチャートである。エリアＡ１処理は、ステップＳ１０８の判断により、現在の注視点がエリアＡ１に存在することが前提となる。

【0072】

まず、注視点がエリアＡ１に存在するので、視点検出部３５２は、エリアカウンタＣＡ１をインクリメントする（ステップＳ５０１）。

【0073】

視点検出部３５２は、エリアＡ１内のウィンドウＷ１内に注視点があるか否かを判断する（ステップＳ５０２）。注視点がＷ１内にない場合（ステップＳ５０２：Ｎｏ）、ステップＳ５０６に進む。注視点がＷ１内にある場合（ステップＳ５０２：Ｙｅｓ）、ステップＳ５０３に進む。ステップＳ５０３では、視点検出部３５２は、ウィンドウカウンタＣＷ１をインクリメントし、現在ウィンドウをＷ１に設定する（ステップＳ５０３）。

【0074】

次に、視点検出部３５２は、ウィンドウＯＫフラグＦＷ１が０か否かを判断する（ステップＳ５０４）。ＦＷ１＝０の場合（ステップＳ５０４：Ｙｅｓ）、視点検出部３５２は、ＦＷ１＝１を設定してエリアＡ１処理を終了する（ステップＳ５０５）。既にＦＷ１＝１の場合（ステップＳ５０４：Ｎｏ）、エリアＡ１処理を終了する。

【0075】

ステップＳ５０６では、視点検出部３５２は、エリアＡ１内のウィンドウＷ２内に注視点があるか否かを判断する（ステップＳ５０６）。注視点がＷ２内にない場合（ステップＳ５０６：Ｎｏ）、ステップＳ５１０に進む。注視点がＷ２内にある場合（ステップＳ５０６：Ｙｅｓ）、ステップＳ５０７に進む。ステップＳ５０７では、視点検出部３５２は、ウィンドウカウンタＣＷ２をインクリメントし、現在ウィンドウをＷ２に設定する（ステップＳ５０７）。

【0076】

次に、視点検出部３５２は、ウィンドウＯＫフラグＦＷ２が０か否かを判断する（ステップＳ５０８）。ＦＷ２＝０の場合（ステップＳ５０８：Ｙｅｓ）、視点検出部３５２は、ＦＷ２＝１を設定してエリアＡ１処理を終了する（ステップＳ５０９）。既にＦＷ２＝１の場合（ステップＳ５０８：Ｎｏ）、エリアＡ１処理を終了する。

【0077】

ステップＳ５１０では、視点検出部３５２は、エリアＡ１内のウィンドウＷ３内に注視点があるか否かを判断する（ステップＳ５１０）。注視点がＷ３内にない場合（ステップＳ５１０：Ｎｏ）、ステップＳ５１４に進む。注視点がＷ３内にある場合（ステップＳ５１０：Ｙｅｓ）、ステップＳ５１１に進む。ステップＳ５１１では、視点検出部３５２は、ウィンドウカウンタＣＷ３をインクリメントし、現在ウィンドウをＷ３に設定する（ステップＳ５１１）。

【0078】

次に、視点検出部３５２は、ウィンドウＯＫフラグＦＷ３が０か否かを判断する（ステップＳ５１２）。ＦＷ３＝０の場合（ステップＳ５１２：Ｙｅｓ）、視点検出部３５２は、ＦＷ３＝１を設定してエリアＡ１処理を終了する（ステップＳ５１３）。既にＦＷ３＝１の場合（ステップＳ５１２：Ｎｏ）、エリアＡ１処理を終了する。

【0079】

ステップＳ５１４では、視点検出部３５２は、エリアＡ１内のウィンドウＷ４内に注視点があるか否かを判断する（ステップＳ５１４）。注視点がＷ４内にない場合（ステップＳ５１４：Ｎｏ）、エリアＡ１処理を終了する。注視点がＷ４内にある場合（ステップＳ５１４：Ｙｅｓ）、ステップＳ５１５に進む。ステップＳ５１５では、視点検出部３５２は、ウィンドウカウンタＣＷ４をインクリメントし、現在ウィンドウをＷ４に設定する（ステップＳ５１５）。

【0080】

次に、視点検出部３５２は、ウィンドウＯＫフラグＦＷ４が０か否かを判断する（ステップＳ５１６）。ＦＷ４＝０の場合（ステップＳ５１６：Ｙｅｓ）、ＦＷ４＝１を設定してエリアＡ１処理を終了する（ステップＳ５１７）。既にＦＷ４＝１の場合（ステップＳ５１６：Ｎｏ）、エリアＡ１処理を終了する。

【0081】

エリアＡ２処理（ステップＳ１１１）、エリアＡ３処理（ステップＳ１１３）、および、エリアＡ４処理（ステップＳ１１５）も、図１０のエリアＡ１処理と同様である。

【0082】

図１０のフローチャートは一例であり、エリア内に注視点が存在するか（エリアカウンタＣＡ１〜ＣＡ４など）、ウィンドウ内に注視点が存在するか（ウィンドウカウンタＣＷ１〜ＣＷ１６など）などを判定できる方法であればどのような方法を適用してもよい。また、エリアをウィンドウに分割せず、各エリアにそれぞれ１つの診断画像を表示する構成の場合は、ウィンドウに対する処理をエリアに対する処理に置き換えることにより、上記と同様の機能を実現できる。

【0083】

以上のように、第１の実施形態によれば、例えば以下のような効果が得られる。
（１）精度に問題があった従来装置に対して高精度である。
（２）専用メガネが不要であり、乳幼児でも使用できる。
（３）ＡＤＨＤだけでなく同時にＡＳＤの診断支援も可能である。

【0084】

（第２の実施形態）
第２の実施形態では、第１の実施形態よりも一層、装置構成を簡略化できる視線検出装置および視線検出方法を実現する。

【0085】

以下に、第２の実施形態の視線検出装置および視線検出方法を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

【0086】

本実施形態の視線検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

【0087】

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

【0088】

図１１および１２は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。なお、第１の実施形態と同様の構成については同一の符号を付し、説明を省略する場合がある。

【0089】

図１１に示すように、第２の実施形態の診断支援装置は、表示部２１０と、ステレオカメラ２１０２と、ＬＥＤ光源２１０３と、を含む。ステレオカメラ２１０２は、表示部２１０の下に配置される。ＬＥＤ光源２１０３は、ステレオカメラ２１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源２１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１１では、９個のＬＥＤによりＬＥＤ光源２１０３（照明部）を構成する例が示されている。なお、ステレオカメラ２１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。

【0090】

図１２に示すように、ステレオカメラ２１０２は、右カメラ２２０２と左カメラ２２０３とを備えている。ＬＥＤ光源２１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ２１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２２０２、左カメラ２２０３）それぞれで取得することができる。

【0091】

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示画面１０１の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

【0092】

図１３は、第２の実施形態の診断支援装置２１００の機能の概要を示す図である。図１３では、図１１および１２に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図１３に示すように、診断支援装置２１００は、右カメラ２２０２と、左カメラ２２０３と、ＬＥＤ光源２１０３と、スピーカ１０５と、駆動・ＩＦ（interface）部２０８と、制御部２３００と、記憶部１５０と、表示部２１０と、を含む。図１３において、表示画面１０１は、右カメラ２２０２および左カメラ２２０３との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

【0093】

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

【0094】

駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部と、制御部２３００とのインタフェースとなる。

【0095】

制御部２３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

【0096】

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。

【0097】

図１４は、図１３に示す各部の詳細な機能の一例を示すブロック図である。図１４に示すように、制御部２３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

【0098】

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２２０２、左カメラ２２０３が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

【0099】

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置２１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置２１００の内部に備えるように構成してもよい。

【0100】

制御部２３００は、診断支援装置２１００全体を制御する。制御部２３００は、第１算出部２３５１と、第２算出部２３５２と、第３算出部２３５３と、視線検出部２３５４と、視点検出部２３５５と、出力制御部２３５６と、評価部２３５７と、を備えている。なお、視線検出装置としては、少なくとも第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、および、視線検出部２３５４が備えられていればよい。

【0101】

制御部２３００に含まれる各要素（第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、視線検出部２３５４、視点検出部２３５５、出力制御部２３５６、および、評価部２３５７）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

【0102】

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0103】

第１算出部２３５１は、ステレオカメラ２１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部２３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。

【0104】

第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線と、から角膜曲率中心（第３位置）を算出する。例えば、第３算出部２３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

【0105】

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部２３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部２３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とＬＥＤ光源２１０３とを結ぶ直線と、の交点（第４位置）を算出する。そして第３算出部２３５３は、瞳孔中心と算出した交点との距離を（第１距離）を算出し、例えば記憶部１５０に記憶する。

【0106】

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面１０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部２３５６が、表示画面１０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

【0107】

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

【0108】

なお、目標位置は表示画面１０１の中央に限られるものではなく、任意の位置でよい。表示画面１０１の中央を目標位置とすれば、表示画面１０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

【0109】

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。

【0110】

視線検出部２３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部２３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

【0111】

視点検出部２３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部２３５５は、例えば、表示画面１０１で被験者が注視する点である視点（注視点）を検出する。視点検出部２３５５は、例えば図１２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

【0112】

出力制御部２３５６は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部２３５６は、表示部２１０上の目標位置に目標画像を出力させる。また、出力制御部２３５６は、診断画像、および、評価部２３５７による評価結果などの表示部２１０に対する出力を制御する。

【0113】

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。

【0114】

評価部２３５７は、診断画像と、視点検出部２３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部２３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

【0115】

出力制御部２３５６が第１の実施形態と同様の診断画像を表示し、評価部２３５７が第１の実施形態の評価部３５４と同様の評価処理を行ってもよい。言い換えると、第１の実施形態の視線検出処理（視線検出部３５１）を、第２の実施形態の視線検出処理（第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、視線検出部２３５４）で置き換えてもよい。これにより、第１の実施形態の効果に加えて、第２の実施形態の効果（装置構成の簡略化など）を達成可能となる。

【0116】

図１５は、本実施形態の診断支援装置２１００により実行される処理の概要を説明する図である。図１１〜図１４で説明した要素については同一の符号を付し説明を省略する。

【0117】

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源２１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。

【0118】

図１６は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１１〜図１４で説明した要素については同一の符号を付し説明を省略する。

【0119】

方法Ａは、ＬＥＤ光源２１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。

【0120】

これに対し、本実施形態では、ＬＥＤ光源２１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源２１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源２１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

【0121】

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

【0122】

図１７は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１１〜図１４で説明した要素については同一の符号を付し説明を省略する。なお、左右カメラ（右カメラ２２０２、左カメラ２２０３）と制御部２３００とが接続することについては図示せず省略する。

【0123】

目標位置６０５は、表示部２１０上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示画面１０１の中央位置としている。直線６１３は、ＬＥＤ光源２１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部２３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

【0124】

図１８は、本実施形態の算出処理の一例を示すフローチャートである。

【0125】

まず出力制御部２３５６は、表示画面１０１上の１点に目標画像を再生し（ステップＳ６０１）、被験者にその１点を注視させる。次に、制御部２３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源２１０３を被験者の目に向けて点灯させる（ステップＳ６０２）。制御部２３００は、左右カメラ（右カメラ２２０２、左カメラ２２０３）で被験者の目を撮像する（ステップＳ６０３）。

【0126】

ＬＥＤ光源２１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部２３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第２算出部２３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部２３５１および第２算出部２３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ６０４）。

【0127】

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

【0128】

第１算出部２３５１および第２算出部２３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ６０５）。第３算出部２３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源２１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ６０６）。次に、第３算出部２３５３は、表示画面１０１の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ６０７）。第３算出部２３５３は、ステップＳ６０６で算出した直線とステップＳ６０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ６０８）。第３算出部２３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ６０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

【0129】

算出処理で表示部２１０上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部２１０内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

【0130】

図１９は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

【0131】

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源２１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示画面１０１上の注視点は、注視点８０５から注視点８０６に補正される。なお、左右カメラ（右カメラ２２０２、左カメラ２２０３）と制御部２３００とが接続することについては図示せず省略する。

【0132】

図２０は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図２０の視線検出処理を実行することができる。診断処理では、図２０の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部２３５７による評価処理などが実行される。

【0133】

ステップＳ７０１〜ステップＳ７０５は、図１８のステップＳ６０２〜ステップＳ６０６と同様であるため説明を省略する。

【0134】

第３算出部２３５３は、ステップＳ７０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ７０６）。

【0135】

視線検出部２３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ７０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部２３５５は、この視線方向と表示画面１０１との交点の三次元世界座標値を算出する（ステップＳ７０８）。この値が、被験者が注視する表示部２１０上の１点を世界座標で表した座標値である。視点検出部２３５５は、求めた三次元世界座標値を、表示部２１０の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ７０９）。これにより、被験者が見つめる表示部２１０上の視点（注視点）を算出することができる。

【0136】

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（２）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。

【符号の説明】

【0137】

１００、２１００ 診断支援装置
１０１ 表示画面
１０２、２１０１ ステレオカメラ
１０５ スピーカ
１５０ 記憶部
２０２、２２０２ 右カメラ
２０３ 赤外ＬＥＤ光源
２０４、２２０３ 左カメラ
２０５ 赤外ＬＥＤ光源
２０８ 駆動・ＩＦ部
２１０ 表示部
３００、２３００ 制御部
３５１、２３５４ 視線検出部
３５２、２３５５ 視点検出部
３５３、２３５６ 出力制御部
３５４、２３５７ 評価部
２３５１ 第１算出部
２３５２ 第２算出部
２３５３ 第３算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】