(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】評価装置、評価方法、及び評価プログラム
(51)【国際特許分類】
A61B 10/00 20060101AFI20241001BHJP
A61B 3/113 20060101ALI20241001BHJP
【FI】
A61B10/00 H
A61B3/113
(21)【出願番号】P 2020154969
(22)【出願日】2020-09-15
【審査請求日】2023-04-28
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】武井 宙之
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2020-123032(JP,A)
【文献】特開2019-171022(JP,A)
【文献】特開2020-103746(JP,A)
【文献】特開2020-025849(JP,A)
【文献】特開2020-032077(JP,A)
【文献】国際公開第2018/222729(WO,A1)
【文献】米国特許出願公開第2018/0336796(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 10/00
A61B 3/113
(57)【特許請求の範囲】
【請求項1】
被験者の眼球の画像データを取得する画像データ取得部と、
前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合に、前記複数の対象物を表示部に表示させる表示制御部と、
前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する領域設定部と、
前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記被験者の評価データを求める評価部と
を備え
、
前記被験者に提示する指示は、前記適合対象物を直接示すもの、または前記適合対象物を直接示さずに、前記適合対象物が属す分類を示すもののいずれかであり、
前記評価部が算出する評価データは、前記被験者に提示する指示が前記適合対象物を直接示すものであった場合に対し、前記適合対象物を直接示さずに前記適合対象物が属す分類を示すものであった場合に大きくなるデータである
評価装置。
【請求項2】
前記領域設定部は、前記適合対象物が複数である場合には複数の前記適合対象物のそれぞれについて前記判定領域を設定し、
前記判定部は、前記注視点の位置データに基づいて、前記被験者の視点がそれぞれの前記判定領域に存在するか否かを判定する
請求項1に記載の評価装置。
【請求項3】
前記評価部は、前記適合対象物の数に応じて前記被験者の評価データを求める
請求項2に記載の評価装置。
【請求項4】
被験者を評価する評価装置が行う評価方法であって、
被験者の眼球の画像データを取得することと、
前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、
事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させることと、
前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定することと、
前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定することと、
判定結果に基づいて、前記被験者の評価データを求めることと
を含
み、
前記被験者に提示する指示は、前記適合対象物を直接示すもの、または前記適合対象物を直接示さずに、前記適合対象物が属す分類を示すもののいずれかであり、
前記評価データは、前記被験者に提示する指示が前記適合対象物を直接示すものであった場合に対し、前記適合対象物を直接示さずに前記適合対象物が属す分類を示すものであった場合に大きくなるデータである
評価方法。
【請求項5】
被験者の眼球の画像データを取得する処理と、
前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、
事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させる処理と、
前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する処理と、
前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する処理と、
判定結果に基づいて、前記被験者の評価データを求める処理と
をコンピュータに実行させる評価プログラム
であって、
前記被験者に提示する指示は、前記適合対象物を直接示すもの、または前記適合対象物を直接示さずに、前記適合対象物が属す分類を示すもののいずれかであり、
前記評価データは、前記被験者に提示する指示が前記適合対象物を直接示すものであった場合に対し、前記適合対象物を直接示さずに前記適合対象物が属す分類を示すものであった場合に大きくなるデータである
評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、評価装置、評価方法、及び評価プログラムに関する。
【背景技術】
【0002】
近年、認知機能障害および脳機能障害が増加傾向にあるといわれており、このような認知機能障害および脳機能障害を早期に発見し、症状の重さを定量的に評価することが求められている。認知機能障害および脳機能障害の症状は、認知能力に影響することが知られている。このため、被験者の認知能力に基づいて被験者を評価することが行われている。例えば、複数種類の数字を表示し、その数字を被験者に加算させて答えを求めさせ、被験者の出した答えを確認する装置が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1等の方法では、被験者がタッチパネルの操作等により答えを選択する形態であり、偶然の正解や被験者の操作ミスなどが原因で高い評価精度を得ることが難しかった。そのため、精度よく認知機能障害および脳機能障害を評価することが求められていた。
【0005】
本発明は、上記に鑑みてなされたものであり、精度よく認知機能障害および脳機能障害の評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る評価装置は、被験者の眼球の画像データを取得する画像データ取得部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合に、前記複数の対象物を表示部に表示させる表示制御部と、前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する領域設定部と、前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記被験者の評価データを求める評価部とを備える。
【0007】
本発明に係る評価方法は、被験者の眼球の画像データを取得することと、前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させることと、前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定することと、前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定することと、判定結果に基づいて、前記被験者の評価データを求めることとを含む。
【0008】
本発明に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させる処理と、前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する処理と、前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する処理と、判定結果に基づいて、前記被験者の評価データを求める処理とをコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、精度よく認知機能障害および脳機能障害の評価を行うことができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、第1実施形態に係る評価装置の一例を模式的に示す図である。
【
図2】
図2は、第1実施形態に係る評価装置の一例を示す機能ブロック図である。
【
図3】
図3は、第1実施形態において表示部に表示する評価用映像のタイムテーブルの一例を示す図である。
【
図4】
図4は、第1実施形態において表示部に表示する指示の一例を示す図である。
【
図5】
図5は、第1実施形態において表示部に表示する経路図の一例を示す図である。
【
図6】
図6は、第1実施形態において表示部に設定される判定領域の一例を示す図である。
【
図7】
図7は、第1実施形態において表示部に表示される正答情報の一例を示す図である。
【
図8】
図8は、第1実施形態に係る評価方法の一例を示すフローチャートである。
【
図9】
図9は、第1実施形態における設問処理の一例を示すフローチャートである。
【
図10】
図10は、第1実施形態における回答処理の一例を示すフローチャートである。
【
図11】
図11は、第1実施形態における正答処理の一例を示すフローチャートである。
【
図13】
図13は、第2実施形態において表示部に表示する評価用映像のタイムテーブルの一例を示す図である。
【
図14】
図14は、第2実施形態において表示部に表示する指示の一例を示す図である。
【
図15】
図15は、第2実施形態において表示部に表示する店内図の一例を示す図である。
【
図16】
図16は、第2実施形態において表示部に表示される正答情報の一例を示す図である。
【
図17】
図17は、第2実施形態に係る評価方法の一例を示すフローチャートである。
【
図18】
図18は、第2実施形態における設問処理、回答処理及び正答処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明に係る評価装置、評価方法、及び評価プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【0012】
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
【0013】
[第1実施形態]
[評価装置]
図1は、第1実施形態に係る評価装置100の一例を模式的に示す図である。本実施形態に係る評価装置100は、被験者の視線を検出し、検出結果を用いることで認知機能障害および脳機能障害の評価を行う。評価装置100は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方法、又は被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方法等、各種の方法により被験者の視線を検出することができる。
【0014】
図1に示すように、評価装置100は、表示装置10と、画像取得装置20と、コンピュータシステム30と、出力装置40と、入力装置50と、入出力インターフェース装置60とを備える。表示装置10、画像取得装置20、コンピュータシステム30、出力装置40及び入力装置50は、入出力インターフェース装置60を介してデータ通信を行う。表示装置10及び画像取得装置20は、それぞれ不図示の駆動回路を有する。
【0015】
表示装置10は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置10は、表示部11を有する。表示部11は、画像等の情報を表示する。表示部11は、XY平面と実質的に平行である。X軸方向は表示部11の左右方向であり、Y軸方向は表示部11の上下方向であり、Z軸方向は表示部11と直交する奥行方向である。表示装置10は、ヘッドマウント型ディスプレイ装置であってもよい。表示装置10がヘッドマウント型ディスプレイ装置である場合、ヘッドマウントモジュール内に画像取得装置20のような構成が配置されることになる。
【0016】
画像取得装置20は、被験者の左右の眼球EBの画像データを取得し、取得した画像データをコンピュータシステム30に送信する。画像取得装置20は、撮影装置21を有する。撮影装置21は、被験者の左右の眼球EBを撮影することで画像データを取得する。撮影装置21は、被験者の視線を検出する方法に応じた各種カメラを有する。例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮影装置21は、赤外線カメラを有し、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。また、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方式の場合、撮影装置21は、可視光カメラを有する。撮影装置21は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば20[msec]とすることができるが、これに限定されない。撮影装置21は、例えば第1カメラ21A及び第2カメラ21Bを有するステレオカメラの構成とすることができるが、これに限定されない。
【0017】
また、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、画像取得装置20は、被験者の眼球EBを照明する照明装置22を有する。照明装置22は、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線ベクトルを検出する方式の場合、照明装置22は設けられなくてもよい。照明装置22は、撮影装置21のフレーム同期信号に同期するように検出光を射出する。照明装置22は、例えば第1光源22A及び第2光源22Bを有する構成とすることができるが、これに限定されない。
【0018】
コンピュータシステム30は、評価装置100の動作を統括的に制御する。コンピュータシステム30は、演算処理装置30A及び記憶装置30Bを含む。演算処理装置30Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置30Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置30Aは、記憶装置30Bに記憶されているコンピュータプログラム30Cに従って演算処理を実施する。
【0019】
出力装置40は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置40は、音声出力装置、印刷装置を含んでもよい。入力装置50は、操作されることにより入力データを生成する。入力装置50は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置50が表示装置である出力装置40の表示部に設けられたタッチセンサを含んでもよい。
【0020】
本実施形態に係る評価装置100は、表示装置10とコンピュータシステム30とが別々の装置である。なお、表示装置10とコンピュータシステム30とが一体でもよい。例えば評価装置100がタブレット型パーソナルコンピュータを含んでもよい。この場合、タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。
【0021】
図2は、評価装置100の一例を示す機能ブロック図である。
図2に示すように、コンピュータシステム30は、表示制御部31と、注視点検出部32と、領域設定部33と、判定部34と、演算部35と、評価部36と、入出力制御部37と、記憶部38とを有する。コンピュータシステム30の機能は、演算処理装置30A及び記憶装置30B(
図1参照)によって発揮される。なお、コンピュータシステム30は、一部の機能が評価装置100の外部に設けられてもよい。
【0022】
表示制御部31は、始点と終点とを接続する複数の経路を含む経路図を表示部11に表示させる。表示制御部31は、例えば、表示部11に表示される経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように被験者に指示が行われる場合に、指示に応じて経路図を表示部11に表示させる。
【0023】
また、表示制御部31は、複数の経路に沿って複数の目標対象物が配置される経路図を表示部11に表示させてもよい。表示制御部31は、経路図において複数の経路に沿って配置される複数の目標対象物のうち特定の目標対象物である特定対象物を経由する適合経路に沿って注視点を移動させるように被験者に指示が行われる場合に、指示に応じて、複数の目標対象物を含む経路図を表示させる。
【0024】
表示制御部31は、上記の被験者に対する各指示を示す指示情報を表示部11に表示させることができる。この場合、表示制御部31は、例えば指示情報を表示部11に所定期間表示させた後、経路図を表示部11に表示させることができる。なお、上記の被験者に対する指示情報は、表示部11に表示される態様に限られず、例えば予め被験者に指示しておいてもよいし、音声により被験者に指示する態様でもよいし、表示部11とは別の場所に提示する態様でもよい。
【0025】
表示制御部31は、経路図を表示部11に表示させた後、指示に対して正答を示す正答情報を表示部11に表示することができる。表示制御部31は、正答情報として、例えば移動対象物が正しい経路に沿って始点から終点まで移動する様子を表示部11に表示させることができる。
【0026】
注視点検出部32は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部32は、画像取得装置20によって取得される被験者の左右の眼球EBの画像データに基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部32は、検出した被験者の視線ベクトルと表示装置10の表示部11との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置10の表示部11との交点の位置データである。本実施形態において、注視点は、被験者に注視されることで指定される表示部11上の指定点である。注視点検出部32は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
【0027】
領域設定部33は、表示部11において、適合経路に対応した経路領域を表示部11に設定する。また、領域設定部33は、表示部11において、特定対象物に対応した目標領域と、移動対象物に対応した移動領域とを表示部11に設定することができる。以下、経路領域、目標領域及び移動領域は、「判定領域」としてまとめて記載する場合がある。本実施形態において、領域設定部33で設定される判定領域は、原則として表示部11には表示されない。なお、例えば表示制御部31の制御により、判定領域が表示部11に表示されるようにしてもよい。
【0028】
判定部34は、領域設定部33によって判定領域が設定される期間に、注視点の位置データに基づいて、注視点が判定領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部34は、規定の判定周期毎に注視点が判定領域に存在するか否かを判定する。判定周期としては、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)と同一の周期とすることができる。この場合、判定部34の判定周期は、注視点検出部32のサンプリング周期と同一である。
【0029】
演算部35は、判定部34の判定データに基づいて、上記の判定領域が設定される期間における注視点の移動の経過を示す注視点データを算出する。演算部35は、注視点データとして、例えば存在時間データ、移動回数データ、目標到達データ、最終領域データ、移動順序データを算出する。
【0030】
存在時間データは、判定領域に注視点が存在する時間を示すデータである。移動回数データは、複数の経路領域が設定され、複数の経路領域を移動する回数に正答が存在する場合、正答となる移動回数と実際の移動回数との差分を示すデータである。目標到達データは、目標対象物が設定される場合、経路に沿って目標対象物に到達したか否かを示すデータである。終点到達データは、複数の経路領域を移動する順序に正答が存在する場合、正答となる被験者の注視点が最終的に終点となる経路領域に到達したか否かを示すデータである。移動順序データは、複数の経路領域が設定され、複数の経路領域を移動する順序に正答が存在する場合、正答となる移動順序と実際の移動順序との一致度を示すデータである。
【0031】
演算部35は、表示部11に評価用映像が表示されてからの経過時間を検出するタイマと、判定部34により経路領域、目標領域及び移動領域に注視点が存在すると判定された判定回数をカウントするカウンタとを有する。また、演算部35は、評価用映像の再生時間を管理する管理タイマを有してもよい。
【0032】
評価部36は、注視点データに基づいて、被験者の評価データを求める。評価データは、表示部11に表示される特定対象物及び比較対象物を被験者が注視できているかを評価するデータを含む。
【0033】
入出力制御部37は、画像取得装置20及び入力装置50の少なくとも一方からのデータ(眼球EBの画像データ、入力データ等)を取得する。また、入出力制御部37は、表示装置10及び出力装置40の少なくとも一方にデータを出力する。入出力制御部37は、被験者に対する課題を音声出力装置等の出力装置40から出力してもよい。
【0034】
記憶部38は、上記の判定データ、注視点データ(存在時間データ、移動回数データ、目標到達データ、最終領域データ、移動順序データ)、及び評価データを記憶する。また、記憶部38は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように被験者に指示が行われる場合に、複数の経路を含む経路図を表示部に表示させる処理と、適合経路に対応する経路領域を表示部に設定する処理と、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる評価プログラムを記憶する。
【0035】
[評価方法]
次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の評価装置100を用いることにより、被験者の認知機能障害および脳機能障害を評価する。本実施形態では、評価用映像を用いて表示部11に経路図を表示し、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように被験者に指示し、被験者が指示に対応できているか否かを判定する。
【0036】
認知機能障害および脳機能障害の症状は、被験者の認知能力、注視点移動能力及び追視能力に影響することが知られている。被験者が認知機能障害および脳機能障害ではない場合、経路図及び指示が提示されると、課題を正確に把握することができる。また、適合経路を正確に推測し、推測した適合経路に沿って注視点を移動可能である。また、正しい経路に沿って移動する目標物が提示されると、目標物を追視可能である。
【0037】
一方、被験者が認知機能障害および脳機能障害である場合、経路図及び指示が提示されても、課題を正確に把握できない場合がある。また、適合経路を正確に推測できず、推測できた場合でも適合経路に沿って注視点を移動できない場合がある。また、正しい経路に沿って移動する目標物が提示されても、目標物を追視できないことがある。このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。
【0038】
図3は、表示部11に表示する評価用映像のタイムテーブルの一例を示す図である。
図3に示すように、評価用映像は、設問期間TAと、回答期間TBと、正答期間TCとを有する。設問期間TAは、被験者に対する課題を表示部11に表示する期間T1(時刻t0から時刻t1)と、課題に関連するマップ(経路図)を表示部11に表示する期間T2(時刻t1から時刻t2)とを含む。なお、マップの表示は、期間T2以降、回答期間TBが終了するまで行われる。回答期間TBは、被験者に対する指示を音声出力する期間T3(時刻t2から時刻t3)と、被験者に回答させる期間T4(時刻t3から時刻t4)とを含む。回答期間TBは、マップを表示部11に表示させた状態である。正答期間TCは、被験者に正答表示を行う旨を音声出力する期間T5(時刻t4から時刻t5)と、正答を表示部11に表示する期間T6(時刻t5から時刻t6)とを含む。
【0039】
図4は、表示部11に表示する指示の一例を示す図である。
図4に示すように、表示制御部31は、設問期間TAにおいて、例えば被験者に対する指示情報I1を表示部11に所定期間表示する。本実施形態において、指示情報I1は、スーパーマーケット等の商店の店内図において、入り口から入って野菜を買う最短ルートを考えさせる指示である。なお、本実施形態では、指示情報I1を表示部11に表示する場合を例に挙げているが、これに限定されない。例えば入出力制御部37は、指示情報I1の表示に加えて、又は指示情報I1の表示に代えて、指示情報I1に対応する音声をスピーカから出力してもよい。
【0040】
図5は、表示部11に表示する経路図の一例を示す図である。
図5に示すように、表示制御部31は、商店の店内図を経路
図Mとして表示部11に表示する。経路
図Mには、複数の経路Rが含まれる。また、経路
図Mには、売り場を示す複数の目標対象物Sが含まれる。
【0041】
図6は、表示部11に設定される判定領域の一例を示す図である。
図6では、表示部11に経路
図Mが表示された場合を例に挙げて説明する。
図6に示すように、領域設定部33は、経路Rを分割するように、それぞれ経路Rに対応する経路領域A01~A19を設定可能である。また、領域設定部33は、目標対象物Sに対応する目標領域B01~B09を設定可能である。領域設定部33は、例えば、それぞれ経路Rが示される領域に重なるように矩形の範囲に経路領域A01~A19を設定することができる。領域設定部33は、それぞれ目標対象物Sが示される領域に重なる形状となる範囲に目標領域B01~B09を設定することができる。本実施形態において、領域設定部33は、各経路領域A01~A19同士が重ならないように表示部11に設定する。また、領域設定部33は、経路領域A01~A19と、目標領域B01~B09とが重ならないように表示部11に設定する。
【0042】
領域設定部33は、経路Rについての経路領域A01~A19を設定した場合、各判定領域について、隣り合う位置に配置される隣接領域を検出し、検出した隣接領域についての情報を記憶部38に記憶させる。
図6の例において、領域設定部33は、経路領域A01が経路領域A03と隣り合うことを検出する。また、領域設定部33は、経路領域A02が経路領域A03、A05、A06と隣り合うことを検出する。また、領域設定部33は、経路領域A03が経路領域A01、A02、A07と隣り合うことを検出する。以下同様に、領域設定部33は、経路領域A04~A19についても同様に隣り合う判定領域を検出し、各判定領域の隣り合う関係を記憶部38に記憶する。
【0043】
注視点検出部32は、経路
図Mが表示される期間、つまり設問期間TAの期間T2と、回答期間TBの期間T3及び期間T4の各期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が経路領域A01~A19及び目標領域B01~B09に存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
【0044】
図7は、表示部11に表示される正答情報の一例を示す図である。
図7に示すように、表示制御部31は、正答期間TCにおいて、移動対象物Qが入口(始点)から出口(終点)まで適合経路Raに沿って移動する様子を表示部11に表示する。領域設定部33は、移動対象物Qに対応する範囲に移動領域Cを設定する。領域設定部33は、移動対象物Qの移動に伴って移動領域Cが移動させるようにする。
【0045】
注視点検出部32は、正答情報が表示される期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が移動領域Cに存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
【0046】
演算部35は、判定データに基づいて、設問期間TA、回答期間TB及び正答期間TCの各期間における被験者の注視点の移動の経過を示す注視点データを算出する。設問期間TAにおける注視点データを算出する際、演算部35は、経路領域A01~A19及び目標領域B01~B09に注視点が存在する時間、つまり存在時間データを算出する。演算部35は、目標領域B01~B09において注視点が検出されるごとに目標カウンタのカウント値を+1とする。演算部35は、目標カウンタのカウント値CNT1を目標領域B01~B09についての存在時間データとして求める。演算部35は、経路領域A01~A19において注視点が検出されるごとに経路カウンタのカウント値を+1とする。演算部35は、経路カウンタのカウント値CNT2を経路領域A01~A19についての存在時間データとして求める。
【0047】
また、回答期間TBにおける注視点データを算出する際、演算部35は、判定部34の判定データに基づいて、注視点データとして、移動回数データ、目標到達データ、最終領域データ、移動順序データを算出する。
【0048】
各注視点データを算出する際、演算部35は、判定部34により注視点が経路領域A01~A19内に存在すると判定された場合、その注視点が存在する経路領域を当該領域として算出する。また、演算部35は、注視点が1つの経路領域に連続して存在する期間を連続カウンタでカウントし、カウント値GPCNTを求める。演算部35は、カウント値GPCNTが10に到達した場合、つまり、当該領域が10回連続で同一の経路領域であった場合、被験者が1つの経路領域を注視していたものして、その経路領域を注視領域として算出する。なお、演算部35は、注視領域を算出した場合、算出した注視領域を通過履歴として記憶部38に記憶する。記憶部38には、注視領域として算出された経路領域が、算出された順序で通過履歴として記憶される。
【0049】
また、演算部35は、一の注視領域が算出された後に、その注視領域に隣接する経路領域が当該領域として算出された場合、被験者の注視点が一の経路領域から隣接する経路領域に移動したと判定する。演算部35は、注視点が隣接する経路領域に移動した回数を移動カウンタでカウントし、カウント値MVCNTを求める。
【0050】
図4から
図7に示す例において、適合経路Raを経路領域A01~A19に対応して記載すると、経路領域A01→A03→A04→A08(目標領域B04)→A11→A14→A17→A18→A19となる。
【0051】
この場合、経路領域A01~A19の移動に関して正答となる移動回数は8回である。したがって、演算部35は、実際の移動回数であるカウント値MVCNTと、正答である8回との差分DIFを移動回数データとして算出される。
【0052】
また、演算部35は、記憶部38に記憶された通過履歴に基づいて、被験者の注視点が目標領域B04に対応する経路領域A08に到達しているか否かを判定する。演算部35は、被験者の注視点が経路領域A08に到達している場合には、例えば目標到達データの値GOALを1(又は定数)とし、被験者の注視点が経路領域A08に到達していない場合には、例えば目標到達データの値GOALを0とすることができる。
【0053】
また、適合経路Raの終点として正答となる経路領域は、経路領域A19となる。したがって、演算部35は、記憶部38に記憶された通過履歴に基づいて、被験者の注視点が最終的に到達した経路領域が経路領域A19であるか否かを判定し、判定結果に基づいて最終領域データを算出する。演算部35は、被験者の注視点が最終的に到達した経路領域が経路領域A19である場合には、例えば最終領域データの値REGIを1とし、被験者の注視点が最終的に到達した経路領域が経路領域A19ではない場合には、例えば最終領域データの値REGIを0とすることができる。
【0054】
また、演算部35は、記憶部38に記憶された通過履歴に基づいて、被験者の注視点が実際に経路領域A01~A19を移動した順序と、適合経路Raにおける上記順序とを比較し、一致しているか否かを判定する。演算部35は、実際の順序が適合経路Raの順序と一致している場合には移動順序データの値ODRを1とし、実際の順序が適合経路Raの順序と一致していない場合には移動順序データの値ODRを0とすることができる。また、適合経路Raを最短経路とした評価に限定されず、例えば最短経路とは異なる経路であっても指示情報I1に適合する経路であれば、移動順序データの値ODFを0より大きい値としてもよい。
【0055】
また、正答期間TCにおける注視点データを算出する際、演算部35は、判定部34の判定データに基づいて、移動領域Cに注視点が存在する時間、つまり存在時間データを算出する。演算部35は、移動領域Cにおいて注視点が検出されるごとに移動カウンタのカウント値を+1とする。演算部35は、移動カウンタのカウント値CNT3を移動領域Cについての存在時間データとして求める。
【0056】
評価部36は、存在時間データ、移動回数データ、目標到達データ、最終領域データ、移動順序データに基づいて評価値を求め、評価値に基づいて評価データを求める。本実施形態において、評価部36は、例えば、以下のように評価値ANS1を求めることができる。つまり、
ANS1=K1・CNT1+K2・CNT2+K3・CNT3
+K4・DIF+K5・GOAL+K6・REGI+K7・ODR
とすることができる。なお、定数K1~K7は、重み付けのための定数である。例えば定数K1~K3>0、K4<0、K5~K7>0とすることができる。
【0057】
ここで、設問期間TA及び正答期間TCにおける存在時間データの値が高く、回答期間TBにおいて移動回数データの値が低く、目標到達データ、最終領域データ、移動順序データの各値が高い場合、ANS1が高くなる。この場合、被験者は、設問期間TAにおいては経路R及び目標対象物Sを注視しており、正答期間TCにおいては移動対象物Qを追視していることになる。また、被験者は、回答期間TBにおいては適合経路Raに沿って注視点を移動させていることになる。したがって、評価値ANS1が高い場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。
【0058】
一方、設問期間TA及び正答期間TCにおける存在時間データの値が低く、回答期間TBにおいて移動回数データの値が高く、目標到達データ、最終領域データ、移動順序データの各値が低い場合、ANS1が低くなる。この場合、被験者は、設問期間TAにおいては経路R及び目標対象物Sを十分に注視しておらず、正答期間TCにおいては移動対象物Qを十分に追視していないことになる。また、被験者は、回答期間TBにおいては適合経路Raに沿って注視点を移動させていないことになる。したがって、評価値ANS1が低い場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
【0059】
また、評価部36は、評価値ANSの値を記憶部38に記憶させておくことができる。例えば、同一の被験者についての評価値ANSを累積的に記憶し、過去の評価値と比較した場合の評価を行ってもよい。例えば、評価値ANSが過去の評価値よりも高い値となった場合、脳機能が前回の評価に比べて改善されている旨の評価を行うことができる。また、評価値ANSの累積値が徐々に高くなっている場合等には、脳機能が徐々に改善されている旨の評価を行うことができる。
【0060】
本実施形態において、入出力制御部37は、評価部36が評価データを出力した場合、評価データに応じて、例えば「被験者は認知機能障害および脳機能障害である可能性が低いと思われます」の文字データや、「被験者は認知機能障害および脳機能障害である可能性が高いと思われます」の文字データ等を出力装置40に出力させることができる。また、入出力制御部37は、同一の被験者についての評価値ANSが過去の評価値ANSに比べて高くなっている場合、「脳機能が改善されています」等の文字データ等を出力装置40に出力させることができる。
【0061】
なお、上記設問において経由する目標対象物の数が多くなるほど、難易度が高くなる。このため、上記の評価部36の評価においては、経由する目標対象物の数が多くなるほど、評価値ANS1の値を高くすることが望ましい。これにより、適合対象物の数に応じた評価が可能となる。また、評価部36は、適合対象物の数に応じて、例えば、以下のように評価値ANS1aを求めることができる。つまり、
ANS1a=j(K1・CNT1+K2・CNT2+K3・CNT3
+K4・DIF+K5・GOAL+K6・REGI+K7・ODR)
とすることができる。なお、jは1より大きい定数であり、適合対象物の数が多いほど、大きい値とする。
【0062】
次に、本実施形態に係る評価方法の一例について、
図8から
図11を参照しながら説明する。
図8は、本実施形態に係る評価方法の一例を示すフローチャートである。以下の例では、評価用映像を再生する場合を例に挙げて説明する。
【0063】
表示制御部31は、評価用映像の再生を開始させる(ステップS101)。表示装置10の表示部11には、
図4、
図5、
図6、
図7に示す評価用映像が順に表示される。演算部35は、評価用映像の再生時間を管理するタイマをリセットする(ステップS102)。より詳しくは、演算部35は、評価用映像の再生時間を管理する管理タイマと、
図3に示すタイムチャートにおける時間範囲T1~時間範囲T6のうち現在再生されている評価用映像がどの期間に属するかを検出する検出タイマとをリセットして、それぞれ計測を開始させる。
【0064】
演算部35は、上記のカウント値CNT1、CNT2、CNT3、GPCTN、MVCTN、DIF、GOAL、REGI、及びODRのデータをそれぞれ0にリセットし、当該領域及び注視領域の設定をリセットする(ステップS103)。
【0065】
注視点検出部32は、表示装置10の表示部11に表示された評価用映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置10の表示部11における被験者の注視点の位置データを検出する(ステップS104)。
【0066】
演算部35は、瞬きなどにより注視点を検出できない場合を考量して、注視点の検出に失敗したか否かを判定する(ステップS105)。演算部35は、注視点の検出に失敗したと判定する場合(ステップS105でYes)、ステップS112に進む。演算部35は、注視点の検出に失敗していないと判定する場合(ステップS105でNo)、ステップS106に進む。
【0067】
注視点の検出に失敗していないと判定する場合(ステップS105でNo)、演算部35は、設問期間TAであるか否かを判定する(ステップS106)。より詳しくは、演算部35は、検出タイマの検出結果により、時間範囲T1~T2であるか否かの判定を行う。演算部35は、検出タイマの検出結果が時間範囲T1からT2までの範囲に該当すると判断する場合(ステップS106のYes)、後述する設問処理を行う(ステップS107)。設問処理が行われた後、ステップS112に進む。
【0068】
演算部35は、検出タイマの検出結果が時間範囲T1からT2までの範囲に該当しないと判断する場合(ステップS106のNo)、回答期間TBであるか否かを判定する(ステップS108)。より詳しくは、演算部35は、検出タイマの検出結果により、時間範囲T3~T4であるか否かの判定を行う。演算部35は、検出タイマの検出結果が時間範囲T3からT4までの範囲に該当すると判断する場合(ステップS108のYes)、後述する回答処理を行う(ステップS109)。回答処理が行われた後、ステップS112に進む。
【0069】
演算部35は、検出タイマの検出結果が時間範囲T3からT4までの範囲に該当しないと判断する場合(ステップS108のNo)、正答期間TCであるか否かを判定する(ステップS110)。より詳しくは、演算部35は、検出タイマの検出結果により、時間範囲T5~T6であるか否かの判定を行う。演算部35は、検出タイマの検出結果が時間範囲T5からT6までの範囲に該当すると判断する場合(ステップS110のYes)、後述する正答処理を行う(ステップS111)。正答処理が行われた後、ステップS112に進む。
【0070】
演算部35は、検出タイマの検出結果が時間範囲T5からT6までの範囲に該当しないと判断する場合(ステップS110のNo)、上記の設問処理、回答処理、正答処理が行われた場合、管理タイマの検出結果に基づいて、評価用映像の再生が完了する時刻に到達したか否かを判断する(ステップS112)。演算部35により評価用映像の再生が完了する時刻に到達していないと判断された場合(ステップS112のNo)、上記のステップS104以降の処理を繰り返し行う。
【0071】
演算部35により評価用映像の再生が完了する時刻に到達したと判断された場合(ステップS112のYes)、表示制御部31は、評価用映像の再生を停止させる(ステップS113)。評価部36は、上記の処理結果から得られる注視点データに基づいて、評価値ANS1を算出する(ステップS114)。入出力制御部37は、評価部36で求められた評価データを出力する(ステップS115)。以上で処理が終了する。
【0072】
図9は、設問処理の一例を示すフローチャートである。
図9に示すように、設問処理において、演算部35は、検出タイマの検出結果により、時間範囲T2であるか否かの判定を行う(ステップS201)。演算部35は、検出タイマの検出結果が、時間範囲T2ではないと判定する場合(ステップS201のNo)、処理を終了する。
【0073】
検出タイマの検出結果が、時間範囲T2であると判定された場合(ステップS201のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、経路領域A01~A19及び目標領域B01~B09とを設定する(ステップS202)。
【0074】
判定部34は、被験者の注視点が目標領域B01~B09に存在するか否かを判定する(ステップS203)。判定部34により被験者の注視点が目標領域B01~B09に存在すると判定された場合(ステップS203のYes)、演算部35は、カウント値CNT1を+1とする(ステップS204)。
【0075】
判定部34は、被験者の注視点が目標領域B01~B09に存在しないと判定する場合(ステップS203のNo)、被験者の注視点が経路領域A01~A19に存在するか否かを判定する(ステップS205)。判定部34により被験者の注視点が目標領域B01~B09に存在すると判定された場合(ステップS205のYes)、演算部35は、カウント値CNT2を+1とする(ステップS206)。
【0076】
判定部34により被験者の注視点が経路領域A01~A19に存在しないと判定された場合(ステップS205のNo)、又は、ステップS204、ステップS206の処理が行われた場合、設問処理を終了する。
【0077】
図10は、回答処理の一例を示すフローチャートである。
図10に示すように、回答処理において、演算部35は、検出タイマの検出結果により、時間範囲T4であるか否かの判定を行う(ステップS301)。演算部35は、検出タイマの検出結果が、時間範囲T4ではないと判定する場合(ステップS301のNo)、回答処理を終了する。
【0078】
検出タイマの検出結果が、時間範囲T4であると判定された場合(ステップS301のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、経路領域A01~A19を設定する(ステップS302)。
【0079】
判定部34は、被験者の注視点が経路領域A01~A19に存在するか否かを判定する(ステップS303)。判定部34により被験者の注視点が経路領域A01~A19に存在すると判定されない場合(ステップS303)、回答処理を終了する。
【0080】
判定部34により被験者の注視点が経路領域A01~A19に存在すると判定された場合(ステップS303のYes)、演算部35は、注視点が直前の測定における経路領域の外に存在するか否かを判定する(ステップS304)。演算部35は、注視点が直前の測定における経路領域の外に存在すると判定した場合(ステップS304のYes)、経路カウンタのカウント値GPCNTをリセットし(ステップS305)、注視点が検出された経路領域を当該領域として設定する(ステップS306)。
【0081】
判定部34により被験者の注視点が経路領域A01~A19に存在しないと判定された場合(ステップS303のNo)、又は、ステップS306が行われた場合、演算部35は、当該領域が直近の注視領域に隣接するか否かを判定する(ステップS307)。演算部35は、当該領域が直近の注視領域に隣接しないと判定した場合(ステップS307のNo)、回答処理を終了する。
【0082】
演算部35は、当該領域が直近の注視領域に隣接すると判定した場合(ステップS307のYes)、経路カウンタのカウント値GPCNTを+1とする(ステップS308)。演算部35は、カウント値GPCNTが10に到達したか否かを判定する(ステップS309)。演算部35は、カウント値GPCNTが10に到達しないと判定した場合(ステップS309のNo)、回答処理を終了する。
【0083】
演算部35は、カウント値GPCNTが10に到達したと判定した場合(ステップS309のYes)、当該領域を新たな注視領域として設定又は更新し、移動カウンタのカウント値MVCNTを+1とし、新たな注視領域(当該領域)を通過履歴として記憶部38に記憶する(ステップS310)。その後、演算部35は、経路カウンタのカウント値GPCNTをリセットして(ステップS311)、回答処理を終了する。
【0084】
図11は、正答処理の一例を示すフローチャートである。
図11に示すように、正答処理において、演算部35は、検出タイマの検出結果により、時間範囲T6であるか否かの判定を行う(ステップS401)。演算部35は、検出タイマの検出結果が、時間範囲T6ではないと判定する場合(ステップS401のNo)、処理を終了する。
【0085】
検出タイマの検出結果が、時間範囲T6であると判定された場合(ステップS401のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、移動領域Cを設定する(ステップS402)。
【0086】
判定部34は、被験者の注視点が移動領域Cに存在するか否かを判定する(ステップS403)。判定部34により被験者の注視点が移動領域Cに存在すると判定された場合(ステップS403のYes)、演算部35は、カウント値CNT3を+1とする(ステップS404)。
【0087】
判定部34により被験者の注視点が移動領域Cに存在しないと判定された場合(ステップS403のNo)、又は、ステップS404の処理が行われた場合、正答処理を終了する。
【0088】
以上のように、本実施形態に係る評価装置100は、被験者の眼球の画像データを取得する画像取得装置20と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部32と、経路
図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、複数の経路Rを含む経路
図Mを表示部11に表示させる表示制御部31と、適合経路Raに対応する経路領域を表示部11に設定する領域設定部33と、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定する判定部34と、判定部34の判定結果に基づいて、被験者の評価データを求める評価部36とを備える。
【0089】
本実施形態に係る評価方法は、被験者の眼球の画像データを取得することと、画像データに基づいて、被験者の注視点の位置データを検出することと、経路
図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合、複数の経路Rを含む経路
図Mを表示部11に表示させることと、適合経路Raに対応する経路領域を表示部11に設定することと、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定することと、判定結果に基づいて、被験者の評価データを求めることとを含む。
【0090】
本実施形態に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、経路
図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、複数の経路Rを含む経路
図Mを表示部11に表示させる処理と、適合経路Raに対応する経路領域を表示部11に設定する処理と、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
【0091】
本実施形態によれば、経路
図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、注視点データに基づいて被験者の評価データを求められる。このため、評価装置100は、被験者の視線の動きにより、被験者の認知能力及び注視点移動能力等の能力を評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
【0092】
本実施形態に係る評価装置100において、表示制御部31は、経路
図Mにおいて複数の経路Rに沿って配置される複数の目標対象物Sのうち特定の目標対象物である特定対象物Saを経由する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、複数の目標対象物Sを含む経路
図Mを表示し、領域設定部33は、目標対象物Sに対応する目標領域B01~B09を表示部11に設定し、判定部34は、注視点の位置データに基づいて、被験者の視点が目標領域B01~B09に存在するか否かを判定する。これにより、評価装置100は、被験者の評価をより高精度に行うことが可能となる。
【0093】
本実施形態に係る評価装置100において、適合経路Raは、複数の経路Rのうち最短の経路を含む。これにより、被験者が複数の経路Rのうち最短の経路に沿って注視点を移動させた場合に相応の評価を行うことができる。よって、評価装置100は、被験者の評価をより高精度に行うことが可能となる。
【0094】
[第2実施形態]
次に、第2実施形態を説明する。第2実施形態に係る評価装置は、第1実施形態に係る構成と同様の構成を有する。このため、第2実施形態に係る評価装置は、第1実施形態に係る評価装置100と同一の構成要素には同一の符号を付し、説明を省略又は簡略化する。第2実施形態に係る評価装置100は、コンピュータシステム30における処理の内容が第1実施形態とは異なっている。以下、第1実施形態と相違する点を中心に説明する。
【0095】
第1実施形態と同様に、コンピュータシステム30は、表示制御部31と、注視点検出部32と、領域設定部33と、判定部34と、演算部35と、評価部36と、入出力制御部37と、記憶部38とを有する。
【0096】
表示制御部31は、事物についての異なる分類を示す複数の対象物を表示部に表示させる。表示制御部31は、例えば、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように被験者に指示が行われる場合、その指示に応じて複数の対象物を表示部11に表示させる。
【0097】
表示制御部31は、上記の被験者に対する各指示を示す指示情報を表示部11に表示させることができる。この場合、表示制御部31は、例えば指示情報を表示部11に所定期間表示させた後、経路図を表示部11に表示させることができる。なお、上記の被験者に対する指示情報は、表示部11に表示される態様に限られず、例えば予め被験者に指示しておいてもよいし、音声により被験者に指示する態様でもよいし、表示部11とは別の場所に提示する態様でもよい。
【0098】
表示制御部31は、経路図を表示部11に表示させた後、指示に対して正答を示す正答情報を表示部11に表示することができる。表示制御部31は、正答情報として、例えば所定の条件に適合する適合対象物を他の対象物とは異なる態様で表示部11に表示させることができる。
【0099】
注視点検出部32は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部32は、画像取得装置20によって取得される被験者の左右の眼球EBの画像データに基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部32は、検出した被験者の視線ベクトルと表示装置10の表示部11との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置10の表示部11との交点の位置データである。本実施形態において、注視点は、被験者に注視されることで指定される表示部11上の指定点である。注視点検出部32は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
【0100】
領域設定部33は、表示部11において、適合対象物に対応した判定領域を表示部11に設定する。適合対象物が複数設定される場合、領域設定部33は、複数の適合対象物のそれぞれに判定領域を設定する。本実施形態において、領域設定部33で設定される判定領域は、原則として表示部11には表示されない。なお、例えば表示制御部31の制御により、判定領域が表示部11に表示されるようにしてもよい。
【0101】
判定部34は、領域設定部33によって判定領域が設定される期間に、注視点の位置データに基づいて、注視点が判定領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部34は、規定の判定周期毎に注視点が判定領域に存在するか否かを判定する。判定周期としては、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)と同一の周期とすることができる。この場合、判定部34の判定周期は、注視点検出部32のサンプリング周期と同一である。
【0102】
演算部35は、判定部34の判定データに基づいて、上記の判定領域が設定される期間における注視点の移動の経過を示す注視点データを算出する。演算部35は、注視点データとして、例えば存在時間データを算出する。
【0103】
存在時間データは、判定領域に注視点が存在する時間を示すデータである。演算部35は、表示部11に評価用映像が表示されてからの経過時間を検出するタイマと、判定部34により判定領域に注視点が存在すると判定された判定回数をカウントするカウンタとを有する。また、演算部35は、評価用映像の再生時間を管理する管理タイマを有してもよい。
【0104】
評価部36は、注視点データに基づいて、被験者の評価データを求める。評価データは、表示部11に表示される特定対象物及び比較対象物を被験者が注視できているかを評価するデータを含む。
【0105】
入出力制御部37は、画像取得装置20及び入力装置50の少なくとも一方からのデータ(眼球EBの画像データ、入力データ等)を取得する。また、入出力制御部37は、表示装置10及び出力装置40の少なくとも一方にデータを出力する。入出力制御部37は、被験者に対する課題を音声出力装置等の出力装置40から出力してもよい。
【0106】
記憶部38は、上記の判定データ、注視点データ(存在時間データ)、及び評価データを記憶する。また、記憶部38は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合、複数の対象物Uを表示部11に表示させる処理と、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定する処理と、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる評価プログラムを記憶する。
【0107】
[評価方法]
次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の評価装置100を用いることにより、被験者の認知機能障害および脳機能障害を評価する。本実施形態では、評価用映像を用いて表示部11に事物についての異なる分類を示す複数の対象物を表示し、複数の対象物から所定の条件に適合する適合対象物を注視するように被験者に指示し、被験者が指示に対応できているか否かを判定する。
【0108】
認知機能障害および脳機能障害の症状は、被験者の認知能力、記憶力、及び分析力に影響することが知られている。被験者が認知機能障害および脳機能障害ではない場合、複数の対象物及び指示が提示されると、課題を正確に把握することができる。また、指示に適合する対象物について記憶の中の情報に基づいて正確に分析し、適合対象物を注視することが可能である。
【0109】
一方、被験者が認知機能障害および脳機能障害ではある場合、複数の対象物及び指示が提示されても、課題を正確に把握することができないことがある。また、指示に適合する対象物について記憶の中の情報に基づいて正確に分析することができない場合がある。このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。
【0110】
図12は、事物についての分類の例として、スーパーマーケット等の商店で販売される商品の分類を示す図である。なお、事物についての分類は、商品の分類に限定されず、他の分類であってもよい。
図12に示すように、商品の分類が大分類及び中分類に区別されている。大分類は、例えば果物、精肉、総菜、野菜、冷凍食品、調味料、魚、乳製品、パン、菓子、といった商品の種類に基づいた分類となっている。また、中分類は、大分類の各種類についての具体的な例に基づいた分類となっている。例えば、果物の中分類としては、リンゴ、ミカン、イチゴ等が挙げられる。精肉の中分類としては、豚肉、牛肉等が挙げられる。惣菜の中分類としては、揚げ物、煮物等が挙げられる。野菜の中分類としては、大根、ニンジン、キャベツ等が挙げられる。冷凍食品の中分類としては、冷凍餃子等が挙げられる。調味料の中分類としては、塩、コショウ、砂糖等が挙げられる。魚の中分類としては、刺身、干物等が挙げられる。乳製品の中分類としては、ヨーグルト、牛乳等が挙げられる。パンの中分類としては、サンドイッチ、食パン等が挙げられる。歌詞の中分類としては、チョコレート、飴、ガム等が挙げられる。大分類、中分類の例としては、上記に限定されない。なお、中分類をさらに具体化した小分類、というように、分類が3段階以上の複数段階に設定されてもよい。
【0111】
図13は、表示部11に表示する評価用映像のタイムテーブルの一例を示す図である。
図13に示すように、評価用映像は、設問期間TDと、回答期間TEと、正答期間TFとを有する。設問期間TDは、被験者に対する課題を表示部11に表示する期間T11(時刻t10から時刻t11)と、課題に関連する複数の対象物を表示部11に表示する期間T12(時刻t11から時刻t12)とを含む。なお、複数の対象物の表示は、期間T12以降、回答期間TEが終了するまで行われる。回答期間TEは、被験者に対する指示を音声出力する期間T13(時刻t12から時刻t13)と、被験者に回答させる期間T14(時刻t13から時刻t14)とを含む。回答期間TEは、複数の対象物を表示部11に表示させた状態である。正答期間TFは、被験者に正答表示を行う旨を音声出力する期間T15(時刻t14から時刻t15)と、正答を表示部11に表示する期間T16(時刻t15から時刻t16)とを含む。
【0112】
図14は、表示部11に表示する課題の一例を示す図である。
図14に示すように、表示制御部31は、設問期間TDにおいて、例えば被験者に対する指示情報I2を表示部11に所定期間表示する。本実施形態において、指示情報I2は、スーパーマーケット等の商店の店内図において、果物と冷凍食品の売り場を注視するように指示する。なお、本実施形態では、指示情報I2を表示部11に表示する場合を例に挙げているが、これに限定されない。例えば入出力制御部37は、指示情報I2の表示に加えて、又は指示情報I2の表示に代えて、指示情報I2に対応する音声をスピーカから出力してもよい。領域設定部33は、指示情報I2を表示する場合、指示情報I2に対応する判定領域Eを設定可能である。領域設定部33は、例えば、指示情報I2が表示される領域に重なる形状となる範囲に判定領域Eを設定することができる。
【0113】
図15は、表示部11に表示する店内図の一例を示す図である。
図15に示すように、表示制御部31は、商店の店内
図Nを表示部11に表示する。店内
図Nには、複数の対象物Uが含まれる。対象物Uは、商品の分類のうち、大分類を示す内容が記載される。
図15に示す例において、指示情報I2に適合する適合対象物は、果物を示す適合対象物U1及び冷凍食材を示す適合対象物U2である。
【0114】
領域設定部33は、適合対象物U1、U2に対応する判定領域D1、D2を設定可能である。領域設定部33は、例えば、適合対象物U1、U2が示される領域に重なる形状となる範囲に判定領域D1、D2を設定することができる。本実施形態において、領域設定部33は、判定領域D1、D2が重ならないように表示部11に設定する。
【0115】
注視点検出部32は、店内
図Nが表示される期間、つまり設問期間TDの期間T12と、回答期間TEの期間T13及び期間T14の各期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が判定領域D1、D2に存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
【0116】
図16は、表示部11に表示される正答情報の一例を示す図である。
図16に示すように、表示制御部31は、正答期間TFにおいて、適合対象物U1、U2を他の対象物Uとは異なる態様で表示部11に表示する。
図16に示す例では、適合対象物U1、U2を区画する線が他の対象物Uを区画する線に比べて太い状態で表示されている。なお、適合対象物U1、U2と他の対象物Uとを異なる態様で表示する例としては、これに限定されない。この場合、領域設定部33は、回答期間TEと同様、適合対象物U1、U2に対応する判定領域D1、D2を設定する。
【0117】
注視点検出部32は、正答情報が表示される期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が判定領域D1、D2に存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
【0118】
演算部35は、判定データに基づいて、設問期間TD、回答期間TE及び正答期間TFの各期間における被験者の注視点の移動の経過を示す注視点データを算出する。注視点データを算出する際、演算部35は、判定領域Eに注視点が存在する時間、及び判定領域D1、D2に注視点が存在する時間を存在時間データとして算出する。演算部35は、設問期間TDでは、判定領域Eにおいて注視点が検出されるごとに設問カウンタのカウント値CNT4を+1とする。演算部35は、回答期間TEでは、判定領域D1、D2において注視点が検出されるごとに回答カウンタのカウント値CNT5を+1とする。演算部35は、正答期間TFでは、判定領域D1、D2において注視点が検出されるごとに正答カウンタのカウント値CNT6を+1とする。演算部35は、設問カウンタのカウント値CNT4、回答カウンタのカウント値CNT5、正答カウンタのカウント値CNT6を存在時間データとして求める。
【0119】
評価部36は、各期間における存在時間データに基づいて評価値を求め、評価値に基づいて評価データを求める。本実施形態において、評価部36は、例えば、以下のように評価値ANS2を求めることができる。つまり、
ANS2=K8・CNT4+K9・CNT5+K10・CNT6
とすることができる。なお、定数K8~K10は、重み付けのための定数である。例えば定数K8~K10>0とすることができる。
【0120】
ここで、設問期間TD、回答期間TE及び正答期間TFにおいて、存在時間データ(カウント値CNT4、CNT5、CNT6)の値が高い場合、ANS2が高くなる。この場合、被験者は、設問期間TDにおいて指示情報I2を注視しており、回答期間TE及び正答期間TFにおいて適合対象物U1、U2を注視していることになる。したがって、評価値ANS2が高い場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。
【0121】
一方、設問期間TD、回答期間TE及び正答期間TFにおいて、存在時間データ(カウント値CNT4、CNT5、CNT6)の値が低い場合、ANS2が低くなる。この場合、被験者は、設問期間TDにおいて指示情報I2を十分に注視しておらず、回答期間TE及び正答期間TFにおいて適合対象物Uを十分に注視していないことになる。したがって、評価値ANS2が低い場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
【0122】
なお、上記設問において適合対象物の数が多くなるほど、難易度が高くなる。このため、上記の評価部36の評価においては、適合対象物の数が多くなるほど、評価値ANS2の値を高くすることが望ましい。これにより、適合対象物の数に応じた評価が可能となる。また、評価部36は、適合対象物の数に応じて、例えば、以下のように評価値ANS2aを求めることができる。つまり、
ANS2a=h・(K8・CNT4+K9・CNT5+K10・CNT6)
とすることができる。なお、hは1より大きい定数であり、適合対象物の数が多いほど、大きい値とする。
【0123】
次に、本実施形態に係る評価方法の一例について、
図17及び
図18を参照しながら説明する。
図17は、本実施形態に係る評価方法の一例を示すフローチャートである。以下の例では、評価用映像を再生する場合を例に挙げて説明する。
【0124】
表示制御部31は、評価用映像の再生を開始させる(ステップS501)。表示装置10の表示部11には、
図14、
図15、
図16に示す評価用映像が順に表示される。演算部35は、評価用映像の再生時間を管理するタイマをリセットする(ステップS502)。演算部35は、上記のカウント値CNT4、CNT5、CNT6をそれぞれ0にリセットする(ステップS503)。
【0125】
注視点検出部32は、表示装置10の表示部11における被験者の注視点の位置データを検出する(ステップS504)。演算部35は、注視点の検出に失敗したか否かを判定する(ステップS505)。演算部35は、注視点の検出に失敗したと判定する場合(ステップS505でYes)、ステップS512に進む。演算部35は、注視点の検出に失敗していないと判定する場合(ステップS505でNo)、ステップS506に進む。
【0126】
注視点の検出に失敗していないと判定する場合(ステップS505でNo)、演算部35は、設問期間TDであるか否かを判定する(ステップS506)。演算部35は、設問期間TDであると判断する場合(ステップS506のYes)、後述する設問処理を行う(ステップS507)。設問処理が行われた後、ステップS512に進む。
【0127】
演算部35は、設問期間TDではないと判断する場合(ステップS506のNo)、回答期間TEであるか否かを判定する(ステップS508)。演算部35は、回答期間TEであると判断する場合(ステップS508のYes)、後述する回答処理を行う(ステップS509)。回答処理が行われた後、ステップS512に進む。
【0128】
演算部35は、回答期間TEではないと判断する場合(ステップS508のNo)、正答期間TFであるか否かを判定する(ステップS510)。演算部35は、正答期間TFであると判断する場合(ステップS510のYes)、後述する回答処理を行う(ステップS511)。正答処理が行われた後、ステップS512に進む。
【0129】
演算部35は、正答期間TFではないと判断する場合(ステップS510のNo)、上記の設問処理、回答処理、正答処理が行われた場合、管理タイマの検出結果に基づいて、評価用映像の再生が完了する時刻に到達したか否かを判断する(ステップS512)。演算部35により評価用映像の再生が完了する時刻に到達していないと判断された場合(ステップS512のNo)、上記のステップS504以降の処理を繰り返し行う。
【0130】
演算部35により評価用映像の再生が完了する時刻に到達したと判断された場合(ステップS512のYes)、表示制御部31は、評価用映像の再生を停止させる(ステップS513)。評価部36は、上記の処理結果から得られる注視点データに基づいて、評価値ANS2(又はANS2a)を算出する(ステップS514)。入出力制御部37は、評価部36で求められた評価データを出力する(ステップS515)。以上で処理が終了する。
【0131】
図18は、設問処理、回答処理及び正答処理の一例を示すフローチャートである。
図18に示すように、設問処理、回答処理及び正答処理においては、同様のフローで処理を行う。演算部35は、検出タイマの検出結果により、設問処理、回答処理及び正答処理の各時間範囲であるか否かの判定を行う(ステップS601)。演算部35は、検出タイマの検出結果が、対応する時間範囲ではないと判定する場合(ステップS601のNo)、処理を終了する。
【0132】
検出タイマの検出結果が、対応する時間範囲であると判定された場合(ステップS601のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、判定領域D1、D2、Eを設定する(ステップS602)。
【0133】
判定部34は、被験者の注視点が判定領域D1、D2、Eに存在するか否かを判定する(ステップS603)。判定部34により被験者の注視点が判定領域D1、D2に存在すると判定された場合(ステップS603のYes)、演算部35は、対応するカウント値CNT4、CNT5、CNT6を+1とする(ステップS604)。
【0134】
判定部34は、被験者の注視点が判定領域D1、D2、Eに存在しないと判定する場合(ステップS603のNo)、又は、ステップS604の処理が行われた場合、設問処理、回答処理及び正答処理の各処理を終了する。
【0135】
以上のように、本実施形態に係る評価装置100は、被験者の眼球の画像データを取得する画像取得装置20と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部32と、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、複数の対象物Uを表示部11に表示させる表示制御部31と、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定する領域設定部33と、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定する判定部34と、判定部34の判定結果に基づいて、被験者の評価データを求める評価部36とを備える。
【0136】
本実施形態に係る評価方法は、被験者の眼球の画像データを取得することと、画像データに基づいて、被験者の注視点の位置データを検出することと、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、複数の対象物Uを表示部11に表示させることと、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定することと、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定することと、判定結果に基づいて、被験者の評価データを求めることとを含む。
【0137】
本実施形態に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、複数の対象物Uを表示部11に表示させる処理と、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定する処理と、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
【0138】
本実施形態によれば、店内
図Nに示される複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、注視点データに基づいて被験者の評価データを求められる。このため、評価装置100は、被験者の視線の動きにより、被験者の認知能力、記憶力及び判断力を評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
【0139】
本実施形態に係る評価装置100において、領域設定部33は、適合対象物U1、U2が複数である場合には複数の適合対象物U1、U2のそれぞれについて判定領域D1、D2を設定し、判定部34は、注視点の位置データに基づいて、被験者の視点がそれぞれの判定領域D1、D2に存在するか否かを判定する。これにより、評価装置100は、被験者の評価をより高精度に行うことが可能となる。
【0140】
本実施形態に係る評価装置100において、評価部36は、適合対象物U1、U2の数に応じて被験者の評価データを求める。適合対象物U1、U2の数が増加するほど、判断が複雑になり、指示の難易度が向上する。このため、適合対象物U1、U2の数に応じて被験者の評価データを求めることにより、難易度に応じた高精度な評価が可能となる。
【0141】
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上記第1実施形態及び第2実施形態においては、指示情報I1、I2の指示において、「野菜」「果物」「冷凍食品」という大分類に該当する目標対象物を挙げており、経路
図M及び店内
図Nにおいてはいずれも大分類を示す目標対象物S及び対象物Uが示された例について説明したが、これに限定されない。
【0142】
例えば、指示内容I1、I2に、「キャベツ」「リンゴ」「冷凍餃子」等の中分類に属する目標対象物及び対象物を含めるようにしてもよい。具体的には、指示内容I1は、入り口から入って「キャベツ」を買う最短ルートを考えさせる指示であってもよい。また、指示内容I2は、スーパーマーケット等の商店の店内図において、「リンゴ」と冷凍食品の売り場を注視するように指示する内容であってもよい。
【0143】
この場合、指示内容に含まれる中分類の「キャベツ」「リンゴ」が、経路
図M及び店内
図Nに示される大分類のどれに属するかを記憶に基づいて判断する必要がある。このため、経路
図M及び店内
図Nに大分類の目標対象物及び対象物が示される態様においては、指示情報I1、I2の指示内容に中分類の目標対象物及び対象物を含めることにより、回答の難易度が高くなる。
【0144】
この場合、第1実施形態における評価部36は、以下のように評価値ANS1bを求めることができる。つまり、
ANS1b=K1・CNT1・P+K2・CNT2+K3・CNT3
+K4・DIF+K5・GOAL・P+K6・REGI+K7・ODR
とすることができる。
【0145】
また、第2実施形態における評価部36は、以下のように評価値ANS2aを求めることができる。つまり、
ANS2b=K8・CNT4+K9・CNT5・P+K10・CNT6・P
とすることができる。
【0146】
ANS1b、ANS2bにおいて、指示内容に中分類の文言が含まれる場合には、中分類の文言が含まれない指示の場合に比べて、Pの値を大きく設定することができる。また、例えば大分類の文言を用いた対象物が2つであり、中分類の文言を用いた対象物が3つである場合、Pは、以下のように設定できる。
P=(a・2+b・3)/5
ただし、a<bである。
【0147】
また、第1実施形態における評価部36は、適合対象物の数と、中分類を含めた指示とを組み合わせた以下の評価値ANS1cを求めることができる。つまり、
ANS1c=j(K1・CNT1・P+K2・CNT2+K3・CNT3
+K4・DIF+K5・GOAL・P+K6・REGI+K7・ODR)
とすることができる。
【0148】
同様に、第2実施形態における評価部36は、適合対象物の数と、中分類を含めた指示とを組み合わせた以下の評価値ANS2cを求めることができる。つまり、
ANS2c=h・(K8・CNT4+K9・CNT5・P+K10・CNT6・P)
とすることができる。
【0149】
なお、上記式の「CNT1・P」「GOAL・P」「CNT5・P」及び「CNT6・P」の部分については、適合対象物について設定される判定領域ごとに個別の係数を用いて計算してもよい。例えば、中分類「豚肉」「牛肉」が大分類「精肉」に属すると判断する方が、中分類「ヨーグルト」「チーズ」が大分類「乳製品」に属すると判断するよりも容易である。この場合、中分類及び大分類を示す文言に共通の文字(「肉」等)が含まれる場合には、大分類及び中分類の判断が容易となる。このように、例えば適合対象物ごとに大分類と中分類とを判断する難易度が異なる場合、難易度に応じた高精度の評価が可能となる。
【符号の説明】
【0150】
A01~A19…経路領域、B01~B09…目標領域、C…移動領域、D1,D2…判定領域、I1,I2…指示情報、Q…移動対象物、R…経路、Ra…適合経路、S…目標対象物、Sa…特定対象物、TA,TD…設問期間、TB,TE…回答期間、TC,TF…正答期間、T1~T16…期間、U…対象物、U1,U2…適合対象物、10…表示装置、11…表示部、20…画像取得装置、21…撮影装置、21A…第1カメラ、21B…第2カメラ、22…照明装置、22A…第1光源、22B…第2光源、30…コンピュータシステム、30A…演算処理装置、30B…記憶装置、30C…コンピュータプログラム、31…表示制御部、32…注視点検出部、33…領域設定部、34…判定部、35…演算部、36…評価部、37…入出力制御部、38…記憶部、40…出力装置、50…入力装置、60…入出力インターフェース装置、100…評価装置