【文献】
松村佳亮,近赤外瞳孔検出法に基づくカラーカメラ顔画像中の高精度実時間瞳孔位置推定−乳幼児自閉症診断支援装置開発に向けて−,映像情報メディア学会年次大会講演予稿集(CD−ROM),日本,2011年 8月 1日,2011号
(58)【調査した分野】(Int.Cl.,DB名)
前記瞳孔位置検出部は、前記対象者の明瞳孔画像及び暗瞳孔画像に基づいて前記対象者の前記瞳孔座標を計算し、前記瞳孔座標と前記対象者の角膜反射位置とを用いて前記対象者の前記視線方向を検出する
ことを特徴とする請求項3記載の自閉症診断支援用装置。
【発明を実施するための形態】
【0011】
以下、図面を参照しつつ本発明の自閉症診断支援用装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
(実施例1)
【0012】
まず、1歳半程度の乳幼児検診で自閉症診断のための注視点検出を行う装置の実施例を述べる。
【0013】
この場合、検査時間はできるだけ短時間で1回の検診で終了することが望ましい。そのような場合、母親(観察対象者)の顔を撮影して顔画像をディスプレイ(被験者が相対して見る対象)に表示しながら乳幼児(被験者)の注視点検出を行うか、注視点検出を行う直前に撮影した母親の顔を、乳幼児に提示しながら、注視点を検出する。
【0014】
そのためには、本発明の装置を構成するディスプレイに、母親もしくはそれに代わる乳幼児を最も身近で育てている人(以下、単に母親と呼ぶ)の顔または少なくとも身体一部を映す。実際に乳幼児に動画像を見せて注視点を検出する際には、ある程度、乳幼児の動きを制して、ディスプレイに顔を向かせる必要があるし、乳幼児を安心させる必要もあるため、自閉症診断のための注視点検出は、母親が子供を膝の上に載せて実施することが望ましい(
図1)。
【0015】
先述のように、自閉症乳幼児診断装置においては、母親の目を見ているかどうかを判断する注視点検出装置が必要である。そのために、
図1に示す自閉症乳幼児診断装置1は、以下の構成要素を備える。すなわち、乳幼児の注視点を実時間で計測できる注視点検出部2(本願発明者による特許公報US 7,533,989に記載の三次元視点計測装置を採用できる)と、母親の顔(あるいは少なくとも体の一部)の画像を撮影するカラーカメラ3と、母親の瞳孔の空間座標を実時間計測するための瞳孔位置検出部4(本願発明者による国際公開公報WO 2007/023798に記載の瞳孔検出装置及び瞳孔検出方法を採用できる)と、母親を映す表示用ディスプレイ5と、光源発光回路6と、データ解析部7とを備える。
【0016】
このシステムの構成によって、母親の目の位置からの乳幼児の注視点のずれが即座に容易に定量化できる。撮影・表示対象が、必ずしも、検診に同伴している母親ではなく予め撮影した人の画像を用いる場合においても、顔画像を撮影しながら、自動的に正確に目の位置が検出できることは大きな利点がある。
【0017】
母親の顔の撮影用カラーカメラ3と、瞳孔位置検出部4を構成する瞳孔座標計測用の瞳孔位置検出用光学系8とは、
図2のように配置されている。この瞳孔位置検出用光学系8は、赤外線光に感度を持つカメラ(瞳孔検出用カメラ)9と近赤外光源10とを組み合わせた構成を有する。また、瞳孔位置検出部4として瞳孔位置計算部11も含まれており、瞳孔位置計算部11は、ステレオ較正した瞳孔位置検出用光学系8からの出力画像を基に、母親の2つの瞳孔のそれぞれの3次元座標を検出する。また、母親の顔を撮影するためのカラーカメラ3を配置し、瞳孔位置検出用光学系8をその近くに配置する。
【0018】
なお、実際には、母親の顔が、瞳孔検出用カメラ9の2台とカラーカメラ3とを合わせた3台において、すべてほぼ同じ範囲が映るように、それら3台のカメラの位置関係を最初に決めて固定する。
【0019】
そのうえで、カメラ較正を行う。カメラ較正では、カメラの位置を表す3自由度、カメラの方向を表す3自由度、および、カメラの画素数、開口比値(レンズf値)、ひずみなどを同時に計測する。カメラ較正においては、世界座標系における座標(X
W,Y
W,Z
W)と各カメラのカメラ座標系における座標(X
C,Y
C,Z
C)との間には次式1の関係があると仮定し、
【数1】
次式2で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。
【数2】
【0020】
瞳孔位置計算部11は、それを利用して、2台の瞳孔検出用カメラ9を含む瞳孔検出系で瞳孔の世界座標系における3次元座標を算出した後に、再び、カラーカメラ3に関する(式1)に相当する式に代入することで、カラーカメラ3のカメラ座標系における瞳孔の座標を算出する。瞳孔位置計算部11は、それをさらに画像中の座標に変換する(実単位系から画像のピクセル単位系に変換する)ことで母親の瞳孔位置を定める。もしくは、カラーカメラ3のカメラ座標系を上述の世界座標系に置き換えて、そのカメラ座標系における他のカメラのカメラ較正値を求めるカメラ較正法を用いてもよい。その場合、2台の瞳孔検出用カメラ9によって求まる瞳孔の3次元座標は、カラーカメラのカメラ座標系における座標として求まる。それをカラーカメラ画像中の座標に変換することで母親の瞳孔位置を定める。
【0021】
また、データ解析部7は、注視点検出部2から乳幼児の注視点座標の入力を受け、その注視点座標をカラーカメラによって撮影された画像中の座標に変換する。さらに、データ解析部7は、瞳孔位置検出部4から母親の瞳孔の座標を得て、注視点座標と瞳孔位置とを利用して各種演算を行って、外部のデータ表示ディスプレイに表示させる。ここでの演算は、例えば、注視点座標と瞳孔位置とから両者の距離を演算したり、母親の画像上に注視点軌跡を表示させたり、2次元瞳孔座標系上に注視点の2次元分布を表示させることが考えられる。
【0022】
以上説明した実施例1の自閉症乳幼児診断装置1によれば、被験者の表示用ディスプレイ5上で表示される画像上での注視点座標の検出を、明瞳孔画像及び暗瞳孔画像の差分処理を用いた画像処理で行っているために、注視点座標が迅速かつ確実に得られる。また、従来の頭部装着型の注視点検出装置に比較して被験者に対する負担も少ない。さらに、観察対象者の瞳孔の3次元位置の検出も、同様に明瞳孔画像及び暗瞳孔画像の差分処理を用いた画像処理で行っており、処理の迅速化が図れる。そして、観察対象者の瞳孔の3次元位置からカメラ較正の結果を用いて、表示用ディスプレイ5上でのその瞳孔の座標が算出され、被験者の注視点座標と観察対象者の瞳孔座標との関係が明らかにされる。さらに、その関係を示す画像が医師用データ表示ディスプレイ12に表示されることにより、医師や検査技師等によってデータが正しく取得できたことの確認が容易になると共に、被験者の自閉症の診断を迅速かつ正確に得ることができる。すなわち、観察対象者の目の位置からの被験者の注視点のずれが即座に容易に可視化することができ、自閉症に関する信頼度の高い診断データを得ることができる。
【0023】
なお、表示用ディスプレイ5上、もしくは、医師用データ表示ディスプレイ12に、観察対象者の顔動画像上に被験者の注視点位置を示すドット(マウスカーソルのようなものでもよい)を重ねて表示した動画像や定量化したデータを、検査直後、もしくは、自閉症の疑いがあると診断されたときに、乳幼児の母親を再度呼び出すなどして、その母親に見せることができる。一般に、自閉症と診断した乳幼児に対しては、それに適合した療育がなされる。そのためには、母親の理解(母親が自分の子が自閉症であることを認めること)が重要であり、上記の画像や定量化したデータは、理解を促す材料としても用いられる。
【0024】
これに対して、従来の注視点検出装置(例えば、Tobii Technology社のアイトラッカー等)では、画面上での注視点を検出することで表示された映像に対する反応は測定できるが、本発明のように、被験者に同伴している観察対象者をカメラで撮影しながらその映像をディスプレイに表示させると同時に、被験者の注視点と観察対象者の瞳孔位置を検出することはできない。本実施例では、観察対象者の瞳孔の3次元位置を検出してから座標変換することによって、迅速な被験者の注視点と観察対象者の瞳孔位置との同時検出を可能にしている。また、注視点検出装置は、一般に被験者ごとに眼球の形状が異なるため、注視点較正をする必要がある。従来の注視点検出装置は、ディスプレイ上の多数の較正点(例えば5点)を被験者に注視させる必要があったが、被験者が乳幼児の場合には、多数の較正点を正確に見させるのが困難である。本願発明者は、特願JP2010-274074と特願JP2010-178782の両出願において、特定の較正点を注視しなくても済む較正法、1点のみを注視するだけで済む較正法、2点を注視する較正法などを提案しており、これを本願で使用することができる。
(実施例2)
【0025】
図3には、本発明の第2実施例の構成を示す。この本発明の第2実施例にかかる自閉症乳幼児診断装置1Aは、被験者Aに対して、人物や対象物(合わせて以下、観察対象者B)に対する視線方向および注視位置を測定するとともに、観察対象者Bの三次元瞳孔位置と視線方向もあわせて検出するシステムに関する。
【0026】
ここでは、実施例1の母親が観察対象者B、乳幼児が被験者Aである場合を想定している。
【0027】
自閉症乳幼児診断装置1Aは、被験者Aの視線ベクトルを計測する視線ベクトル検出部(視線検出部)101(例えば、本願発明者によるUS 7,533,989に開示された「三次元視点計測装置」を用いる)と、被験者Aが見る観察対象者Bの画像を撮影するカメラ102と、観察対象者Bの瞳孔の三次元位置である瞳孔座標点及び角膜反射点を計測し、その結果から観察対象者Bの視線方向を計算する瞳孔座標検出部(瞳孔位置検出部)103(例えば、本願発明者によるWO 2007/023798に開示された「瞳孔検出装置及び瞳孔検出方法」を用いる)と、座標と画像とを合成して表示する画像表示部(注視点検出部、注視点計算部)104と、データ解析を行ってその解析結果を表示するデータ表示部(データ解析部)105,105’とを備える。
【0028】
瞳孔座標検出部103およびカメラ102の構成としては、
図2と同様な構成を採用する。詳細には、瞳孔座標検出部103は、
図2に示すように、瞳孔検出系を2系統有する。すなわち、2つの瞳孔検出用カメラ9のそれぞれにおいて、一方の光学系のカメラ9近くの近赤外光源10と他方の光学系のカメラ9近くの近赤外光源10とを交互に点灯させることによって、観察対象者Bの明瞳孔画像および暗瞳孔画像を得て、瞳孔座標検出部103で両者の差分を得ることによって2つのカメラ9のカメラ座標系における瞳孔座標を検出する。同時に、瞳孔座標検出部103は、2つのカメラ9からの画像を用いてそれぞれのカメラ座標系における角膜反射点の座標を検出する。そして、瞳孔座標検出部103は、2つのカメラ9の座標系に関する瞳孔座標から世界座標系における観察対象者Bの2つの瞳孔の世界座標系における三次元座標を計算する。さらに、瞳孔座標検出部103は、2つのカメラ9の座標系における瞳孔座標および角膜反射点座標と、世界座標系における瞳孔の三次元座標とから、観察対象者Bの両目の視線ベクトルをその始点を含めて計算する。このような瞳孔座標検出部103の構成により、観察対象者Bの2つの瞳孔三次元位置と、始点を含めた視線方向を迅速および確実に検出できる。
【0029】
視線ベクトル検出部101としては、
図2からカラーカメラ3を除いたような構成を採用することができる。そして、視線ベクトル検出部101は、瞳孔座標検出部103と同様にして、被験者Aの両目の視線ベクトルをその始点を含めて迅速かつ確実に計算することができる。
【0030】
画像表示部104は、視線ベクトル検出部101によって計測された被験者Aの視線ベクトルと観察対象者Bの瞳孔座標点を含む座標平面との交点から注視点座標を計算し、その座標と、カメラ102によって撮影された観察対象者Bの画像と、被験者Aの注視点座標の移動軌跡とを合成してディスプレイに表示させる。なお、この「座標平面」とは、観察対象者Bの顔面付近に設定された仮想平面であり、カメラ102の光軸に垂直な平面である。
【0031】
データ表示部105,105’は、画像表示部104の表示と同時に、瞳孔座標検出部103によって計測された観察対象者Bの瞳孔座標点と被験者Aの注視点座標との距離及び被験者Aの注視点座標の単位時間当たりの頻度を計算し、それらをヒストグラムあるいは円の大きさでディスプレイ(及びプリンタ等のデータ記録装置)に出力する。また、Gを座標平面上の被験者Aの注視点座標とし、P
1とP
2をそれぞれ座標平面上の観察対象者Bの左右の瞳孔座標点とすると、データ表示部105’は、下記式;
d
1=|G−P
1|,
d
2=|G−P
2|
を用いて、注視点と右瞳孔までの相対距離d
1と、注視点と左瞳孔までの相対距離d
2とを計算する。そして、データ表示部105’は、距離d
1と距離d
2とのうち小さいほうの値をdとし、dの度数分布を求めるとともに、dの平均と標準偏差を計算し、それらを自閉症診断のための評価値として表示してもよい。
【0032】
また、データ表示部105’は、
図4に示すように、距離d
1と距離d
2とのうちで小さいほうの注視点座標Gを、P
1又はP
2を原点として、座標G−P
1又はG−P
2をプロットして(または、それらの座標点の密度を濃淡画像に変換して)、表示してもよい。このとき、データ表示部105’は、
図4の点線で示すような、確実に観察対象者Bの目が含まれる目領域と確実に観察対象者Bの口が含まれる口領域を特定し、目領域に注視点座標Gが検出された動画像のフレーム数Count
1、口領域に注視点座標Gが検出された動画像のフレーム数Count
2、目領域の外に注視点座標Gが検出された動画像のフレーム数Count
3、計算対象の全フレーム数Count
totを算出する。そして、データ表示部105’は、下記式;
自閉症指数1=Count
1/Count
tot,
又は、下記式;
自閉症指数2=Count
2/(Count
3+Count
2)
を用いて自閉症指数を算出して表示することもできる。自閉症指数1は、目の領域に注視点が存在する確率を示しており、自閉症指数2は、口を見る傾向がどの程度あるかを示している。自閉症乳幼児は、対面した人の目以外の部位、特に、目以外の話すことによって動く口などをみる傾向があるために、このような指数を出力することは自閉症診断にとって極めて有効である。
【0033】
また、データ表示部105’は、被験者Aの注視点位置と観察対象者Bの瞳孔位置との間の関係を表示する代わりに、同時に検出された両者の視線ベクトルの関係を表示させてもよい。例えば、データ表示部105’は、両者の視線ベクトルの動きの方向のずれの平均や標準偏差を計算し、それらを自閉症診断のための評価値として表示させる。健常者は目の前に対面者が存在する場合には、その相手が視線を急に移すと、ほぼ反射的にその人の視線が向く方向に、自分も目を向ける習性がある。これに対して、自閉症患者には、このような習性が欠如するため、対面者の視線移動が起こっても、それに対する反応が薄い傾向にある。このように視線ベクトルの動きの相関を評価値として出力することで、自閉症診断に有効な判断材料となる。
【0034】
以上説明した実施例2の自閉症乳幼児診断装置101によれば、観察対象者Bの2つの瞳孔三次元位置と、始点を含めた視線方向を迅速および容易に検出できる。また、被験者Aの両目の視線ベクトルがその始点を含めて計算されることにより、被験者Aの観察対象者Bの瞳孔を含む座標平面上の被験者Aの注視点も迅速かつ確実に計算される。特に、観察対象者Bの瞳孔の三次元位置と、被験者Aの始点を含めた視線ベクトルを検出することで、両者を対面させて診断する際にも、拘束条件を少なくして簡便に被験者Aの仮想平面上の注視点を算出することができる。被験者Aは特に乳幼児を対象にしているので、姿勢や頭の位置を固定させる必要がないのは検査がスムーズに進みメリットが大きい。また、自閉症診断のための評価値として、被験者Aの注視点位置と観察対象者Bの瞳孔位置との間の関係から得られる値と、両者の視線ベクトルの動きの相関から得られる値とを、同時に迅速に出力させることができる。
(変形例1)
【0035】
図5には、本発明の変形例の構成を示す。この本発明の第1変形例にかかる自閉症乳幼児診断装置は、実施例2のカメラ及び光源を含む光学系の構成に関する変形例であり、被験者Aの固定が難しいという問題に対処することを容易にし、カメラ等の機器が被験者Aに見えないようにして被験者Aの注意がカメラ等に向くことを防ぐことが可能なものである。
【0036】
同図に示すように、本変形例の光学系202は、平板状のマジックミラー203と、マジックミラー203の端部を取り囲むような形状を有する遮蔽箱204と、遮蔽箱204の内部に配置され、第1実施例と同一の構成のカラーカメラ3、瞳孔位置検出部4、及び注視点検出部2とを備える。
【0037】
カラーカメラ3及び瞳孔位置検出部4は、
図2に示したような構成であり、観察対象者Bの瞳孔の三次元位置を検出しながら、観察対象者Bの顔のカラー動画像を撮影する。カラーカメラ3及び瞳孔位置検出部4は、マジックミラー203を介して観察対象者Bに向くように配置されている。注視点検出部2は、マジックミラー203を介して被験者Aに向くように配置されており、被験者Aの視線ベクトルを検出する。
【0038】
マジックミラー203は、明るい側からは鏡に見えるが暗い側からは反対側が透過して見えるという用途に使われるビームスプリッタである。このマジックミラー203としては、例えば、光の透過率と反射率とが等しいハーフミラーが用いられる。
【0039】
このような光学系202によれば、被験者A側からは、カメラや光源等の装置が見えずに、観察対象者Bの像が反射することで、観察対象者Bが対面しているように見える。また、カラーカメラ3、瞳孔位置検出部4、及び注視点検出部2に含まれる全てのカメラのステレオ較正(世界座標系でのカメラの位置、方向、カメラの内部パラメータを用いた較正)を行うことで、互いのカメラ座標系の変換ができるため、あたかも被験者Aと観察対象者Bとが互いに対面しているように展開して捉えることができる。
【0040】
従って、本変形例の自閉症乳幼児診断装置では、被験者Aの瞳孔から観察対象者Bの顔に向かう視線ベクトルV
1を、観察対象者Bの撮影用のカラーカメラ3の座標系のベクトルに変換することができる。そこで、その視線ベクトルV
1とカラー画像の撮影面とが交わる点を被験者Aの注視点として、観察対象者Bの顔のカラー画像に重ねて表示させることができる。なお、ここで、カラー画像の撮影面とは、例えば、瞳孔位置検出部4で求まる2つの瞳孔位置間の中点を通り、カラーカメラ3の光軸に垂直な平面とする。これにより、本変形例の自閉症乳幼児診断装置は、撮影面における被験者Aの両目の視線ベクトルが横切る点の中点を注視点位置として求め、観察対象者Bの顔の動画像上に注視点に関するデータを重畳して表示させることができる。表示させるデータとしては、実施例2と同様なデータを選択することができる。