(58)【調査した分野】(Int.Cl.,DB名)
前記判定部は、前記第2表示領域で前記視点が検出される時間を表す第1停留時間と、前記第3表示領域で前記視点が検出される時間を表す第2停留時間を計測し、前記第1停留時間および前記第2停留時間の停留時間に基づく評価値が閾値に対して大きいか否かに基づいて前記被験者の発達障害の程度を判定すること、
を特徴とする請求項1に記載の診断支援装置。
前記判定部は、前記視点が前記第1表示領域から前記第2表示領域に移動する時間を表す第1移動時間と、前記視点が前記第1表示領域から前記第3表示領域に移動する時間を表す第2移動時間と、を計測し、前記第1移動時間および前記第2移動時間の移動時間に基づく評価値が閾値に対して大きいか否かに基づいて前記被験者の発達障害の程度を判定すること、
を特徴とする請求項1に記載の診断支援装置。
前記表示制御部は、さらに、前記スリットを通過するように前記第1表示領域に前記第1画像を表示させ、前記第1画像が前記スリットを通過後に、前記第2表示領域または前記第3表示領域における前記他方に前記第1画像を表示するとともに、前記一方に前記第2画像を表示させること、
を特徴とする請求項1に記載の診断支援装置。
【発明を実施するための形態】
【0012】
以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【0013】
従来のスリット視は、例えば、移動する観察対象の画像をスリットの背後の表示部に表示し、観察対象が何であるかを被験者に回答させていた。本実施形態の診断支援装置は、スリットの背後を観察対象が移動するように表示した後、移動の方向を複数に分岐させて、1つの方向に存在する表示領域に観察対象の画像をさらに移動させて表示する。また、他の方向に存在する表示領域には観察対象と異なる画像を表示する。そして、被験者が、観察対象の画像を表示した表示領域と、観察対象と異なる画像を表示した表示領域とのいずれを注視したかを判定することにより、発達障害の程度を判定する。健常の被験者であれば、観察対象の画像を表示した表示領域を早期に見つけてこの表示領域を注視すると考えられる。従って、例えば観察対象の画像を表示した表示領域を注視する傾向があれば、健常であると判定できる。このような構成により、言葉が話せない1歳半程度の被験者に対しても発達障害の診断支援を実行可能となる。
【0014】
図1は、本実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。
図1に示すように、本実施形態では、表示画面101の下側に、1組のステレオカメラ102を配置する。ステレオカメラ102は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ202と左カメラ204とを備えている。
【0015】
右カメラ202および左カメラ204の各レンズの直前には、円周方向に赤外LED(Light Emitting Diode)光源203および205がそれぞれ配置される。赤外LED光源203および205は、発光する波長が相互に異なる内周のLEDと外周のLEDとを含む。赤外LED光源203および205により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献2に記載された方法などを適用できる。
【0016】
視線(視点)を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
【0017】
図2は、診断支援装置100の機能の概要を示す図である。
図2では、
図1に示した構成の一部と、この構成の駆動などに用いられる構成を示している。
図2に示すように、診断支援装置100は、右カメラ202と、左カメラ204と、赤外LED光源203および205と、スピーカ105と、駆動・IF部208と、制御部300と、表示部210と、を含む。
図2において、表示画面101は、右カメラ202および左カメラ204との位置関係を分かりやすく示しているが、表示画面101は表示部210において表示される画面である。
【0018】
スピーカ105は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する。
【0019】
駆動・IF部208は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部208は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
【0020】
表示部210は、診断のための対象画像等、各種情報を表示する。
【0021】
図3は、
図2に示す各部の詳細な機能の一例を示すブロック図である。
図3に示すように、制御部300には、表示部210と、駆動・IF部208が接続される。駆動・IF部208は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
【0022】
駆動・IF部208には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ204が接続される。駆動・IF部208がこれらのカメラを駆動することにより、被験者を撮像する。
【0023】
右カメラ202からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ204とLED駆動制御部316とに入力される。これにより、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED303、波長1−LED305)を発光させ、それに対応して左右カメラ(右カメラ202、左カメラ204)による画像を取り込み、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED304、波長2−LED306)を発光させ、それに対応して左右カメラによる画像を取り込んでいる。
【0024】
赤外LED光源203は、波長1−LED303と、波長2−LED304と、を備えている。赤外LED光源205は、波長1−LED305と、波長2−LED306と、を備えている。
【0025】
波長1−LED303、305は、波長1の赤外線を照射する。波長2−LED304、306は、波長2の赤外線を照射する。
【0026】
波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長とする。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
【0027】
スピーカ駆動部322は、スピーカ105を駆動する。
【0028】
制御部300は、診断支援装置100全体を制御して、結果を表示部210およびスピーカ105などに出力する。制御部300は、表示制御部351と、視点検出部352と、判定部353と、を備えている。
【0029】
表示制御部351は、表示部210に対する画像の表示を制御する。本実施形態では、表示制御部351は、スリット視が可能なように表示部210に画像を表示する。例えば、表示制御部351は、複数の遮蔽部の間のスリットを通過するように第1表示領域に観察対象の画像(第1画像)を表示し、観察対象の画像がスリットを通過後に、第2表示領域および第3表示領域の一方に観察対象の画像を表示するとともに、他方に、観察対象と異なる画像(第2画像)を表示する。
【0030】
第1表示領域は、複数の遮蔽部により一部が遮蔽され、スリットの背後に定められる表示領域である。第2表示領域および第3表示領域は、複数の遮蔽部により遮蔽されない表示領域である。また第2表示領域および第3表示領域は、スリットの背後を移動する観察対象の移動方向を分岐させた2つの方向に定められる表示領域である。
【0031】
なお、遮蔽部は、表示部210に表示された画像として実現してもよいし、表示部210の前方に設けられる物理的な物体として実現してもよい。前者の場合、例えば表示制御部351が、遮蔽部とする領域には常に遮蔽部に対応する画像を表示するように構成すればよい。
【0032】
視点検出部352は、表示画面101の表示領域(第1表示領域、第2表示領域、第3表示領域など)における被験者の視点を検出する。視点検出部352は、例えば、表示画面101に表示された対象画像のうち、被験者が注視する点である視点を検出する。視点検出部352による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献3と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。
【0033】
この場合、まず視点検出部352は、ステレオカメラ102で撮影された画像から、被験者の視線方向を検出する。視点検出部352は、例えば、特許文献1および2に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視点検出部352は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視点検出部352は、左右のカメラ(右カメラ202、左カメラ204)で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置(目の位置)を算出する。また、視点検出部352は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視点検出部352は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。
【0034】
視点検出部352は、例えば
図1のような座標系で表される視線ベクトルとXY平面との交点を、被験者の視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって視点を計測してもよい。
【0035】
なお、被験者の視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視点を検出してもよい。
【0036】
図4は、2台のカメラ(右カメラ202、左カメラ204)を使用した場合の目の検出の一例を示す図である。2台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ202で撮影された画像から検出した目の位置と、左カメラ204で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の3次元座標が得られる。これにより、瞳孔座標を推定することができる。瞳孔座標とは、XY平面上での被験者の目(瞳孔)の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をXY平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。
【0037】
図3に戻り、判定部353は、視点の検出結果に基づいて被験者の発達障害の程度を判定する。例えば、判定部353は、視点検出部352によって検出された視点が、第2表示領域および第3表示領域で検出される時間(停留時間)を計測し、計測した停留時間を用いて発達障害の程度を判定する。また、判定部353が、第1表示領域から、第2表示領域または第3表示領域に移動するまでの時間(移動時間)を用いて発達障害の程度を判定してもよい。判定部353が、停留時間および移動時間の両方を用いて発達障害の程度を判定してもよい。以下では、停留時間および移動時間の両方を用いて発達障害の程度を判定する例を説明する。
【0038】
図5〜
図11を用いて、表示制御部351が表示部210に表示する映像(画像)の経過について説明する。
図5は、測定開始状態の表示例を表す図である。これ以前に個別のキャリブレーションは完了しているものとする。なお、キャリブレーションには、上述のカメラキャリブレーションだけでなく、被験者の目の特性個人差を吸収するための視線検出用のキャリブレーション(視線検出用較正)も含まれる。視線検出用較正では、例えば、所定の座標系上で既知である所定の位置(例えば図示しない較正用LED)を被験者に注視させて、その時の瞳孔の中心(瞳孔の位置)と角膜反射位置とを測定する。そして、測定された瞳孔の位置と角膜反射位置とから求められる視線方向が、所定の位置に向くように、視線検出のための計算パラメータが修正される。
【0039】
複数の遮蔽部501および502の間にはスリット503が設けられている。また、遮蔽部502の一方(
図5では左側)は画像の出口側となっており、入口側(スリット503側)より広くなっている。
【0040】
スリット503付近を第1表示領域(以下、エリアA1とする)とし、上側の画像出口付近の領域を第2表示領域(以下、エリアA2とする)とし、下側の画像出口付近の領域を第3表示領域(以下、エリアA3とする)としている。
【0041】
図6は、画像が移動を開始した状態の表示例を表す図である。
図6は、犬の形の画像を表示する例を示している。表示制御部351がスリット503の背後を画像が移動するように表示すると、被験者は、スリット503から犬の画像を観察できる。
【0042】
図7は、画像がさらに移動した状態の表示例を表す図である。画像が移動することにより、被験者は画像の全体像を推測することが可能になる。部分的に特徴が少ない画像の場合、発達障害の可能性のある被験者は、全体像を予想することが苦手である。
【0043】
図8は、さらに画像が移動した状態の表示例を表す図である。表示制御部351は、途中で分岐した経路をたどるように画像を表示する。また、表示制御部351は、スリット503を通過した正解となる犬の画像(以下、正解画像という(
図8では上の画像))と、これとは別の不正解の熊の顔の画像(以下、不正解画像という(
図8では下の画像))が、出口から徐々に現れるように、各画像の表示を制御する。健常の被験者は、正解画像を早く見つけて、正解画像を見る。判定部353は、この状況を数値化し、判定に利用する。例えば、判定部353は、エリアA1からエリアA2への注視点の移動時間と、エリアA1からエリアA3への注視点の移動時間を測定する。
【0044】
図9は、さらに画像が移動をした状態の表示例を表す図である。上出口に犬の画像、下出口に熊の顔の画像が完全に現れる。表示制御部351は、この状態で所定時間画像を停止させる。判定部353は、エリアA2およびエリアA3での注視点の停留時間を測定する。
【0045】
また、本実施形態では、同様な測定を2回行う。表示制御部351は、2回目の測定時には、正解画像を下側の出口に表示し、不正解画像を上側の出口に表示する。
【0046】
図10は、2回目の測定時に出口付近に画像が表示され始めた状態の表示例を表す図である。
図11は、2回目の測定時に出口から画像が完全に出て表示された状態の表示例を表す図である。移動時間や停留時間の測定は、
図8および
図9での説明と同様に行う。
【0047】
図12は、測定および診断処理の一例を表すフローチャートである。まず、表示制御部351は、画面中の各エリアの位置(座標範囲)を設定する(ステップS601)。例えば、表示制御部351は、予め定められたエリアA1、A2、A3の座標範囲を設定する。
【0048】
次に、表示制御部351は、変数nに1をセットする(ステップS602)。次に、表示制御部351は、表示する画像1、画像2を決定する(ステップS603)。通常のテストでは、画像を複数用意して、ランダムで表示する画像を決定する。なお、
図12の例では画像1が正解画像、画像2が不正解画像となる。
【0049】
次に、表示制御部351は、スリット503の直前の位置で遮蔽部501に完全に隠れるように画像1を表示する(ステップS604)。この状態では、画像1は遮蔽部501に隠されているので、スリット503からも見ることはできない。
【0050】
次に、判定部353は、エリアA1における視点停留時間t0の計測を開始する(ステップS605)。表示制御部351は、その直後に、画像1の移動表示を開始する(ステップS606)。これによりスリット503から画像1の一部が見られるようになる。
【0051】
次に、表示制御部351は、画像1がスリット503を通過完了したか判断する(ステップS607)。完了していなければ(ステップS607:No)、ステップS606に戻る。完了した場合には(ステップS607:Yes)、判定部353は、エリアA1における視点停留時間t0の計測を完了する(ステップS608)。
【0052】
次に、判定部353は、エリアA1における視点停留時間t0と、所定の閾値T0とを比較する(ステップS609)。エリアA1における視点停留時間t0が、所定の閾値T0未満の場合(ステップS609:Yes)、ステップS604に戻り処理を繰り返す。この場合は、被験者がスリット503をあまり注視していなかったことになり、正確な判断ができないためである。
【0053】
エリアA1における視点停留時間t0が、所定の閾値T0以上の場合(ステップS609:No)、判定部353は、変数n=1であるか否かを判断する(ステップS610)。n=1の場合は1回目の測定であり、n=2の場合は2回目の測定となる。最初は、n=1なので(ステップS610:Yes)、ステップS611に進む。表示制御部351は、画像1が上出口へ移動して表示され、画像2が下出口へ移動して表示されるように準備する。すなわち、表示制御部351は、画像1を上出口直前に表示し、画像2を下出口直前に表示する(ステップS611)。この状態では、遮蔽部502に隠されるため、被験者は画像を見ることができない。
【0054】
次に、判定部353は、エリアA2、エリアA3において、視点停留時間t11、t21の計測を開始する(ステップS612)。また、判定部353は、ほぼ同時に、エリアA2、エリアA3において、視点突入時間t12、t22の計測を開始する(ステップS613)。突入時間は、エリアA1から、エリアA2またはエリアA3へ注視点が移ってくるまでの時間(移動時間)を指しており、正解画像をいかに早く見つけるかを判断するために用いられる。
【0055】
次に、表示制御部351は、画像1、画像2の各出口からの移動表示を開始する(ステップS614)。被験者は、画像がスリット503を通過後に出口に向かい、その後出口から出てきたという状況を推測させる映像を見ることが可能になる。表示制御部351は、画像1および画像2が各出口を通過完了したか判断する(ステップS615)。完了していなければ(ステップS615:No)、ステップS614に戻り処理を繰り返す。完了したら(ステップS615:Yes)、ステップS616に進む。
【0056】
次に、判定部353は、エリアA2、エリアA3における視点停留時間t11、t21の計測を完了する(ステップS616)。また、判定部353は、エリアA2、エリアA3視点突入時間t12、t22の計測を完了する(ステップS617)。
【0057】
次に、判定部353は、変数n=1であるか否かを判断する(ステップS625)。n=1の場合は(ステップS625:Yes)、判定部353は、n=2に更新して(ステップS627)、ステップS604に戻り処理を繰り返す。n=1でない場合(ステップS625:No)、判定部353は、診断支援のための計算を行う(ステップS626)。ステップS626の診断支援計算処理の詳細は後述する。
【0058】
ステップS610で、n=1でない場合には(ステップS610:No)、ステップS618に進む。まず、表示制御部351は、画像1を下出口直前に表示し、画像2を上出口直前に表示する(ステップS618)。
【0059】
次に、判定部353は、エリアA2、エリアA3において、視点停留時間t13、t23の計測を開始する(ステップS619)。また、判定部353は、ほぼ同時に、エリアA2、エリアA3において、視点突入時間t14、t24の計測を開始する(ステップS620)。
【0060】
次に、表示制御部351は、画像1、画像2の各出口からの移動表示を開始する(ステップS621)。表示制御部351は、画像1および画像2が各出口を通過完了したか判断する(ステップS622)。完了していなければ(ステップS622:No)、ステップS621に戻り処理を繰り返す。完了したら(ステップS622:Yes)、ステップS623に進む。
【0061】
次に、判定部353は、エリアA2、エリアA3における視点停留時間t13、t23の計測を完了する(ステップS623)。また、判定部353は、エリアA2、エリアA3視点突入時間t14、t24の計測を完了する(ステップS624)。ステップS624の後、ステップS625に進む。
【0062】
図13は、
図12のステップS626に示す診断支援計算処理の一例を示すフローチャートである。まず、判定部353は、正解画像エリアの停留時間Bを計算する(ステップS701)。停留時間Bは、B=t11+t23により算出される。次に、判定部353は、不正解画像エリアの停留時間Cを計算する(ステップS702)。停留時間Cは、C=t21+t13により算出される。
【0063】
なお、正解画像エリアとは、正解画像が移動して表示される領域を表す。上記例では、1回目の測定時はエリアA2が正解画像エリアであり、2回目の測定時はエリアA3が正解画像エリアである。また、不正解画像エリアとは、不正解画像が移動して表示される領域を表す。上記例では、1回目の測定時はエリアA3が正解画像エリアであり、2回目の測定時はエリアA2が不正解画像エリアである。
【0064】
次に、判定部353は、正解画像エリアの突入時間Dを計算する(ステップS703)。突入時間Dは、D=t12+t24により算出される。次に、判定部353は、不正解画像エリアの突入時間Eを計算する(ステップS704)。突入時間Eは、E=t22+t14により算出される。
【0065】
次に、判定部353は、以下の評価式により、判定に用いる評価値Aを算出する(ステップS705)。kは、停留時間と突入時間の重み付けを行う所定の係数である。係数kは任意に指定可能としてもよい。
A=B−C+k(E−D)
【0066】
次に、判定部353は、評価値Aが閾値Kより小さいか否かを判断する(ステップS706)。AがKより小さい場合(ステップS706:Yes)、判定部353は、発達障害の可能性が高いと判定する(ステップS707)。AがK以上の場合(ステップS706:No)、判定部353は、発達障害の可能性が低いと判定する(ステップS708)。
【0067】
なお、評価式を上記例に限られるものではなく、各停留時間および各突入時間のうち、少なくとも発達障害の程度を判定可能な時間を用いる式であれば、他の評価式を用いてもよい。例えば、A=B−Cなどのように停留時間のみを判定に用いてもよい。また、例えば、A=E−Dなどのように突入時間のみを判定に用いてもよい。
【0068】
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)1歳半の言葉が話せない乳児でも、診断支援が可能である。
(2)注視点の停留時間だけでなく、移動する映像に追従する時間と併せて診断するので、高精度の診断支援が可能である。
(3)移動方向を変えて測定するので、偶然的な偏りを回避できる。
【0069】
本発明の実施の形態は、その要旨を逸脱しない限り、様々に変更可能である。例えば、スリット503の幅または形状は、スリット503の背後を通過する画像の大きさや形状または被験者の発達障害の可能性の度合いにより変更してもよい。さらには、スリット503の背後を通過する画像の移動速度についても、同様に変更可能としてもよい。