特許 5765740 注意位置推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5765740

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】注意位置推定装置

(51)【国際特許分類】

   A61B 3/113 20060101AFI20150730BHJP

   A61B 3/11 20060101ALI20150730BHJP

   A61B 5/18 20060101ALN20150730BHJP

【ＦＩ】

   A61B3/10 B

   A61B3/10 A

   !A61B5/18

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2012-115401(P2012-115401)

(22)【出願日】2012年5月21日

(65)【公開番号】特開2013-240469(P2013-240469A)

(43)【公開日】2013年12月5日

【審査請求日】2014年12月26日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２３年１１月２８日 公益社団法人応用物理学会 分科会日本光学会発行の「日本光学会年次学術講演会Ｏｐｔｉｃｓ＆Ｐｈｏｔｏｎｉｃｓ Ｊａｐａｎ ２０１１予稿集ＣＤ」に発表

【早期審査対象出願】

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100124257

【弁理士】

【氏名又は名称】生井 和平

(72)【発明者】

【氏名】金子 寛彦

(72)【発明者】

【氏名】田中 翼

【審査官】 増渕 俊仁

(56)【参考文献】

【文献】 特開平０７−１７４５４１（ＪＰ，Ａ）

【文献】 特開平０６−０００１６２（ＪＰ，Ａ）

【文献】 特開平１１−２７６４６１（ＪＰ，Ａ）

【文献】 国際公開第２００９／００１５５８（ＷＯ，Ａ１）

【文献】 特開２０１０−０９４４９３（ＪＰ，Ａ）

【文献】 倉島渡、菊池光一、上田和利，瞳孔径反応と顔表情反応の融合による情感評価の新しい方法，映像情報Industrial，日本，分部康平，２０１１年 ６月 １日，第43巻・第6号・通巻807号，PP.24-28

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１８

(57)【特許請求の範囲】

【請求項1】

利用者の眼球運動計測に基づく注意位置推定装置であって、該注意位置推定装置は、
利用者の視野内の映像の輝度分布を生成する輝度分布生成部を有する外界情報部と、
利用者の瞳孔の大きさを計測する瞳孔運動計測部を有する眼球運動情報部と、
前記外界情報部の輝度分布生成部により生成される輝度分布と、眼球運動情報部の瞳孔運動計測部により計測される瞳孔の大きさの変化との関係を用いて、瞳孔の大きさが大きい側に変化する場合には輝度分布中の輝度の低い位置を、瞳孔の大きさが小さい側に変化する場合には輝度分布中の輝度の高い位置を、利用者が注意している位置と推定する注意位置推定部と、
を具備することを特徴とする注意位置推定装置。

【請求項2】

請求項１に記載の注意位置推定装置であって、さらに、利用者の視野内に輝度刺激を与える輝度刺激部と、
前記輝度刺激部による輝度刺激に同期する瞳孔の大きさを計測し、輝度刺激と瞳孔との大きさの関係を表す瞳孔校正曲線を予め作成する校正部とを具備し、
前記注意位置推定部は、瞳孔の大きさから、瞳孔校正曲線を用いて輝度分布中の所定の輝度位置を利用者が注意している位置と推定する、
ことを特徴とする注意位置推定装置。

【請求項3】

請求項１又は請求項２に記載の注意位置推定装置において、前記外界情報部は、さらに、撮像される映像の運動分布を生成する運動分布生成部を有し、
前記眼球運動情報部は、さらに、利用者の眼球の固視微動を計測する固視微動計測部を有し、
前記注意位置推定部は、さらに、運動分布と固視微動との関係も用いて、運動分布中の固視微動に同期して変化する位置を利用者が注意している位置と推定する、
ことを特徴とする注意位置推定装置。

【請求項4】

請求項３に記載の注意位置推定装置であって、さらに、利用者の視野内に運動刺激を与える運動刺激部と、
前記運動刺激部による運動刺激に同期する眼球の固視微動を計測し、運動刺激と固視微動との関係を表す固視微動校正曲線を予め作成する校正部とを具備し、
前記注意位置推定部は、固視微動から、固視微動校正曲線を用いて運動分布中の所定の運動位置を利用者が注意している位置と推定する、
ことを特徴とする注意位置推定装置。

【請求項5】

請求項１乃至請求項４の何れかに記載の注意位置推定装置において、前記外界情報部は、さらに、撮像される映像の奥行き分布を生成する奥行き分布生成部を有し、
前記眼球運動情報部は、さらに、利用者の眼球の輻輳運動による輻輳角を計測する輻輳運動計測部を有し、
前記注意位置推定部は、さらに、奥行き分布と輻輳角の変化との関係も用いて、輻輳角が大きい側に変化する場合には奥行き分布中の利用者に近い側の奥行き位置を、輻輳角が小さい側に変化する場合には奥行き分布中の利用者に遠い側の奥行き位置を利用者が注意している位置と推定する、
ことを特徴とする注意位置推定装置。

【請求項6】

請求項５に記載の注意位置推定装置であって、さらに、利用者の視野内の奥行き方向に刺激を与える奥行き刺激部と、
前記奥行き刺激部による奥行き刺激に同期する眼球の輻輳運動による輻輳角を計測し、奥行き刺激と輻輳角との関係を表す輻輳角校正曲線を予め作成する校正部とを具備し、
前記注意位置推定部は、輻輳角から、輻輳角校正曲線を用いて奥行き分布中の所定の奥行き位置を利用者が注意している位置と推定する、
ことを特徴とする注意位置推定装置。

【請求項7】

請求項１に記載の注意位置推定装置であって、さらに、利用者の視野内であって、視線方向と異なる位置に輝度刺激を与える輝度刺激部を具備し、
前記注意位置推定部は、輝度刺激部による輝度刺激に同期して瞳孔の大きさが変化するか否かで、利用者が注意能力を有しているか否かを判断する、
ことを特徴とする注意位置推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、利用者の注意位置を推定する注意位置推定装置に関し、特に、利用者の眼球運動計測に基づき注意位置を推定する注意位置推定装置に関する。

【背景技術】

【0002】

従来から、単純に利用者の視線方向を計測するシステムは多数存在する。このようなシステムを応用し、心理状態等を推定するシステムも存在する。例えば、特許文献１に開示の視線情報解析装置は、観察者に提示される画像内容と観察者の眼球運動の付随的な挙動との相関関係を利用して、観察者の心理的な観察状態を評価するものである。これは、眼球運動の時間的変化を適当な長さのセグメントに分割し、これを周波数領域に変換して表示された画像の内容を推定するものである。

【0003】

また、例えば特許文献２に開示の注意力測定装置は、操作者の飛越眼球運動を検出して、この飛越眼球運動に基づき、操作者の注意力レベルを判定するものである。飛越眼球運動とは、視線が停留点から急速に移動して次の停留点に止まる現象である。また、注意力レベルとは、例えば乗り物の運転者が通常以上に外界に注意を向けている状態等は注意力レベルが高い状態であり、同乗者と会話してる場合等、外界の視覚情報に対する注意力が削がれた状態等は注意力レベルが低い状態というものである。

【0004】

さらに、例えば特許文献３に開示の技術は、眼球の固視微動（マイクロサッカード）の動きを検出し、これを基に精神状態等のヒト状態を推定する装置である。これは、眼球の運動状態を基に、ヒトの心理状態や感情、思考状態を推定するものである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平６−１６２号

【特許文献2】特開平１１−２７６４６１号

【特許文献3】国際公開第２００９／００１５５８号

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述のような従来技術は、何れも視線方向や眼球の動きを基に、利用者の心理状態等を推定するものであった。例えば、人間は視線が向いた位置に必ずしも注意が向いているわけではなく、視線方向ではない位置に注意を向けている場合が多い。この注意をしている位置というのは、従来技術では推定できるものではなかった。例えば、乗り物の運転中に、視線は前方の信号を向いているが、視野内に歩行者が現れた場合、運転者は視線を歩行者に移動させる前に、運転者の意識は歩行者に向くことになる。この際、運転者の意識が歩行者に向いていれば、歩行者に注意して運転することが可能となるが、歩行者に注意が行っていない場合には、警告等を行うのが事故防止に有効である。このような用途の場合、従来技術では、運転者がどこに注意を向けているのかが推定できないため、利用することができなかった。また、広告の有効性の検討やヒューマンインタフェースの評価等についても、従来技術では視線の動きがあって初めて検証が開始されるものであるため、利用者がまずどこに注意を向けるのかといったことを高度に検証することは難しかった。

【0007】

本発明は、斯かる実情に鑑み、利用者の視野内で利用者が注意をしている位置を推定可能な注意位置推定装置を提供しようとするものである。

【課題を解決するための手段】

【0008】

上述した本発明の目的を達成するために、本発明による注意位置推定装置は、利用者の視野内の映像の輝度分布を生成する輝度分布生成部を有する外界情報部と、利用者の瞳孔の大きさを計測する瞳孔運動計測部を有する眼球運動情報部と、外界情報部の輝度分布生成部により生成される輝度分布と、眼球運動情報部の瞳孔運動計測部により計測される瞳孔の大きさの変化との関係を用いて、利用者が注意している位置を推定する注意位置推定部と、を具備するものである。

【0009】

ここで、注意位置推定部は、瞳孔の大きさが大きい側に変化する場合には輝度分布中の輝度の低い位置を、瞳孔の大きさが小さい側に変化する場合には輝度分布中の輝度の高い位置を、利用者が注意している位置と推定しても良い。

【0010】

さらに、利用者の視野内に輝度刺激を与える輝度刺激部と、輝度刺激部による輝度刺激に同期する瞳孔の大きさを計測し、輝度刺激と瞳孔との大きさの関係を表す瞳孔校正曲線を予め作成する校正部とを具備し、注意位置推定部は、瞳孔の大きさから、瞳孔校正曲線を用いて輝度分布中の所定の輝度位置を利用者が注意している位置と推定するものであっても良い。

【0011】

また、外界情報部は、さらに、撮像される映像の運動分布を生成する運動分布生成部を有し、眼球運動情報部は、さらに、利用者の眼球の固視微動を計測する固視微動計測部を有し、注意位置推定部は、さらに、運動分布と固視微動との関係も用いて、運動分布中の固視微動に同期して変化する位置を利用者が注意している位置と推定するものであっても良い。

【0012】

さらに、利用者の視野内に運動刺激を与える運動刺激部と、運動刺激部による運動刺激に同期する眼球の固視微動を計測し、運動刺激と固視微動との関係を表す固視微動校正曲線を予め作成する校正部とを具備し、注意位置推定部は、固視微動から、固視微動校正曲線を用いて運動分布中の所定の運動位置を利用者が注意している位置と推定するものであっても良い。

【0013】

また、外界情報部は、さらに、撮像される映像の奥行き分布を生成する奥行き分布生成部を有し、眼球運動情報部は、さらに、利用者の眼球の輻輳運動による輻輳角を計測する輻輳運動計測部を有し、注意位置推定部は、さらに、奥行き分布と輻輳角の変化との関係も用いて、輻輳角が大きい側に変化する場合には奥行き分布中の利用者に近い側の奥行き位置を、輻輳角が小さい側に変化する場合には奥行き分布中の利用者に遠い側の奥行き位置を利用者が注意している位置と推定するものであっても良い。

【0014】

さらに、利用者の視野内の奥行き方向に刺激を与える奥行き刺激部と、奥行き刺激部による奥行き刺激に同期する眼球の輻輳運動による輻輳角を計測し、奥行き刺激と輻輳角との関係を表す輻輳角校正曲線を予め作成する校正部とを具備し、注意位置推定部は、輻輳角から、輻輳角校正曲線を用いて奥行き分布中の所定の奥行き位置を利用者が注意している位置と推定するものであっても良い。

【0015】

さらに、利用者の視野内であって、視線方向と異なる位置に輝度刺激を与える輝度刺激部を具備し、注意位置推定部は、輝度刺激部による輝度刺激に同期して瞳孔の大きさが変化するか否かで、利用者が注意能力を有しているか否かを判断するものであっても良い。

【発明の効果】

【0016】

本発明の注意位置推定装置には、利用者の視野内で利用者が注意をしている位置を推定可能であるという利点がある。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の第１実施例の注意位置推定装置を説明するためのブロック図である。

【図2】図２は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を説明するための概略説明図である。

【図3】図３は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を検証するための実験方法を説明するための概略説明図である。

【図4】図４は、刺激変化タスクの輝度刺激が与えられた場合の瞳孔の大きさの変化を表わすグラフである。

【図5】図５は、刺激不変タスクの輝度刺激が与えられた場合の瞳孔の大きさの変化を表わすグラフである。

【図6】図６は、本発明の第２実施例の注意位置推定装置を説明するためのブロック図である。

【図7】図７は、本発明の第３実施例の注意位置推定装置を説明するためのブロック図である。

【図8】図８は、本発明の第４実施例の注意位置推定装置を説明するためのブロック図である。

【発明を実施するための形態】

【0018】

利用者の視野内に入ってくる外界の情報、例えば、輝度刺激や運動刺激、奥行き刺激等に対して、その刺激を注視したときに起こる眼球の運動は数多く知られている。本願発明者は、その刺激を注視しなくとも、即ち、その刺激に視線を向けなくとも、刺激に注意を向けただけで、その刺激に視線を向けたときと同じように眼球が運動することを見出した。本発明では、この現象を利用して、眼球運動情報と外界情報から利用者の注意位置を推定することを可能とした。

【0019】

以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明の第１実施例の注意位置推定装置を説明するためのブロック図である。図示の通り、本発明の第１実施例の注意位置推定装置は、外界情報部１０と、眼球運動情報部２０と、注意位置推定部３０とから主に構成されている。

【0020】

外界情報部１０は、利用者の視野内の映像の輝度分布を生成するものである。利用者の視野内の映像は、具体的には、例えば図示例のように、実空間を撮像部１１により撮像したものである。これは、利用者の視野に対応して撮像部１１がリアルタイムに駆動されるものであっても良い。また、実空間ではなく表示画面を利用者に見せる場合には、表示画面に表示した映像を利用者の視野内の映像として扱えば良い。利用者の視野内の映像は、輝度分布生成部１２に送られる。輝度分布生成部１２では、利用者の視野内の映像の輝度分布が生成される。輝度分布については、例えば電子画像のピクセル毎や、所定の範囲毎の輝度をそれぞれ求め、映像の輝度の分布が把握できれば良い。輝度分布の生成は、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により生成されれば良い。

【0021】

眼球運動情報部２０は、眼球の運動を計測するものであり、図示例の第１実施例では、利用者の瞳孔の大きさを計測するものである。眼球運動情報部２０は、利用者の眼球を撮像する撮像部２１と、撮像された眼球映像から、瞳孔の大きさを計測する瞳孔運動計測部２２とからなる。瞳孔の大きさの計測については、例えばアイトラッカやアイマークレコーダ等、大きさの変化が計測できる手法であれば良く、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。

【0022】

注意位置推定部３０は、外界情報部１０の輝度分布生成部１２により生成される輝度分布と、眼球運動情報部２０の瞳孔運動計測部２２により計測される瞳孔の大きさの変化との関係を用いて、利用者が注意している位置を推定するものである。ここで、図２を用いて、輝度分布と瞳孔の大きさの変化との関係について説明する。図２は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を説明するための概略説明図である。図２（ａ）は、視線を輝度の異なる方向に向けた場合の瞳孔の大きさの変化を説明するための図であり、図２（ｂ）は、視線は変えずに注意を輝度の異なる方向に向けた場合の瞳孔の大きさの変化を説明するための図である。図２（ａ）に示されるように、視線を輝度の明るい方に向けた場合には、瞳孔は収縮し小さくなる。また、視線を輝度の暗い方に向けた場合には、瞳孔は拡大し、大きくなる。この現象は一般的に知られている。本発明では、このような一般的な視線の先の輝度に応じて変化する瞳孔の大きさの変化を用いるものではない。本発明では、図２（ｂ）に示されるように、視線を向けなくても注意を向けた先の輝度に応じて変化する瞳孔の大きさを用いる。即ち、視線を動かさなくても、注意を輝度の明るい方に向けた場合には、瞳孔は収縮し小さくなる。また、視線を輝度の暗い方に向けた場合には、瞳孔は拡大し、大きくなる。この現象が本願発明者により見出され、本発明ではこの現象を利用している。

【0023】

ここで、注意を向けた先の輝度に応じて瞳孔の大きさがどのように変化するのかを実験により明らかにしたので説明する。図３は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を検証するための実験方法を説明するための概略説明図である。図３（ａ）は刺激が変化する刺激変化タスクを説明するための図であり、図３（ｂ）は刺激が変化しない刺激不変タスクを説明するための図である。なお、視線は常に画面の中心を向き、注意位置には視線を向けないようにしている。刺激変化タスクでは、図３（ａ）に示されるように、まず一様な灰色画面とターゲット提示箇所を示す目印が表示される（Ｔ１）。次に、注意方向を示す矢印が示される（Ｔ２）。そして、左右の輝度刺激が変化し（Ｔ３）、視線は変えずに輝度刺激が与えられた部分のターゲットであるランドルト環の向きを被験者に答えてもらった（Ｔ４）。このときの瞳孔の大きさの変化を図４に示す。図示の通り、輝度刺激が明刺激でも暗刺激でも、瞳孔は共に小さくなったが、明刺激を与えたほうが、より収縮量は大きくなり、より瞳孔の大きさが小さくなった。また、刺激不変タスクでは、図３（ｂ）に示されるように、輝度刺激が終始一定であること以外は上述の刺激変化タスクと同様である。このときの瞳孔の大きさの変化を図５に示す。図示の通り、明刺激へ注意がシフトした場合には、瞳孔の大きさが小さくなった。また、暗刺激へ注意がシフトした場合には、瞳孔の大きさが大きくなった。このことは、注意位置における刺激特性が瞳孔の大きさの変化に影響することを示唆している。本発明の注意位置推定装置では、これらの現象を用いて、瞳孔の大きさの変化から、輝度分布における注意位置を推定するものである。

【0024】

例えば、注意位置推定部３０では、外界情報部において生成された輝度分布の変化も考慮し、外界の状況が上述の刺激変化タスクなのか、刺激不変タスクなのかを判断する。そして、刺激不変タスクであれば、瞳孔の大きさが大きい側に変化する場合には、輝度分布中の輝度の低い位置を利用者が注意している位置と推定する。即ち、視線の先に対応する輝度よりも、より輝度の低い位置を利用者が注意している位置と推定する。また、逆に瞳孔の大きさが小さい側に変化する場合には、輝度分布中の輝度の高い位置を利用者が注意している位置と推定する。即ち、視線の先に対応する輝度よりも、より輝度の高い位置を利用者が注意している位置と推定する。また、刺激変化タスクであれば、瞳孔の大きさの変化がより大きい場合には、輝度分布中の輝度の高い位置を利用者が注意している位置と推定する。

【0025】

図２や図３に示されるような単純画像であれば、視線の先の輝度よりも輝度の低い位置や高い位置はある程度簡単に推定可能である。しかしながら、輝度の低い位置や高い位置、さらには輝度が同じ位置が複数存在し、どの位置が注意位置かを正確に判断できない場合もある。このような場合には、確率的により正確な位置を推定可能なように、後述するような他の眼球運動の情報も用いて、総合的に注意位置を推定すれば良い。

【0026】

次に、予め輝度の変化を与えたときの瞳孔の大きさの関係を求めておき、この関係を用いて注意位置を推定する例について説明する。図６は、本発明の第２実施例の注意位置推定装置を説明するためのブロック図である。図中、図１と同一の符号を付した部分は同一物を表しているため、詳説は省略する。本発明の第２実施例の注意位置推定装置は、輝度刺激に同期する瞳孔の大きさを予め計測しておき、これを基に、注意位置推定時には瞳孔の大きさから注意位置を推定できるものである。

【0027】

図６に示されるように、第２実施例の注意位置推定装置には、輝度刺激部４０と校正部５０とが第１実施例にさらに追加されている。輝度刺激部４０は、利用者の視野内に輝度刺激を与えるものである。例えば、外界情報が表示画面から与えられるときには、表示画面に表示する映像に対して、既知の種々の輝度刺激を与える。この際、輝度刺激は利用者の視線から外れたところで且つ利用者が注意する位置に与えても良いし、利用者の視線の先に与えても良い。輝度刺激に対する瞳孔の大きさは、輝度と視線方向からの変位との関数になる。

【0028】

そして、校正部５０は、輝度刺激部４０による輝度刺激に同期する瞳孔の大きさを計測し、輝度刺激と瞳孔との大きさの関係を表す瞳孔校正曲線を予め作成するものである。瞳孔校正曲線は、瞳孔の大きさが輝度刺激と視線方向からの変位との関数となるため、これを用いれば良い。これにより、輝度刺激に対する瞳孔の大きさの関係が瞬時に分かるようになる。したがって、注意位置推定部３０では、計測される瞳孔の大きさから、瞳孔校正曲線を用いて輝度分布中の所定の輝度位置を利用者が注意している位置と推定することが可能となる。

【0029】

次に、本発明の第３実施例の注意位置推定装置を説明する。これまでの実施例では、外界情報部により得られる輝度分布のみを用いて、視線の先の輝度から注意位置の輝度への変化による瞳孔の大きさの変化を計測して、瞳孔の大きさの変化から利用者が注意している位置を推定していた。しかしながら、輝度の低い位置や高い位置、さらには輝度が同じ位置が複数存在する場合もある。そこで、第３実施例では、瞳孔以外に、さらに固視微動も計測している。以下、図７を用いて説明する。

【0030】

図７は、本発明の第３実施例の注意位置推定装置を説明するためのブロック図である。図中、図１と同一の符号を付した部分は同一物を表しているため、詳説は省略する。図示の通り、本発明の第３実施例の注意位置推定装置は、外界情報部１０に、さらに運動分布生成部１３を有している。また、眼球運動情報部２０に、さらに固視微動計測部２３を有している。

【0031】

運動分布生成部１３は、撮像部１１により撮像される映像の運動分布を生成するものである。ここで、運動分布とは、例えば所定時間毎における速度場、即ち、各位置において方向と長さを持つベクトル分布を意味する。例えば、運動速度や方向、その運動位置の範囲（同じ運動速度や方向の範囲）であれば良い。運動分布については、例えば連続的に撮像された電子画像を差分解析し、運動部分の運動速度や方向を検出すれば良い。運動分布の生成は、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により生成されれば良い。

【0032】

固視微動計測部２３は、撮像部２１により撮像される利用者の眼球の固視微動を計測するものである。具体的には、瞳孔運動計測部と同様、例えばアイトラッカやアイマークレコーダ等、固視微動が計測できる手法であれば良く、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。

【0033】

固視微動についても、瞳孔と同様に、外界刺激に対して視線を向けなくても、注意を向けた先の運動刺激に応じて変化することが分かった。即ち、例えば運動分布中に特定の運動速度や方向で動いている場所があった場合、そこに視線を向けなくても、固視微動がこの運動刺激に影響を受け、同じように対応する運動速度や方向で動くことになる。したがって、このような固視微動を計測することで、以下のように利用者が注意している場所を推定することが可能となる。

【0034】

計測された運動分布や固視微動を、注意位置推定部３０に入力する。注意位置推定部３０は、輝度分布生成部１２からの輝度分布と瞳孔運動計測部２２からの瞳孔の大きさにプラスして、さらに、運動分布と固視微動との関係も用いて、運動分布中の固視微動に同期して変化する位置を利用者が注意している位置と推定する。例えば、まず輝度分布と瞳孔の大きさの関係から、利用者が注意している位置を絞り込む。この第１段階の絞り込みで特定の注意位置が明らかになれば良いが、注意位置が絞り込めなかった場合には、運動分布と固視微動の関係から、利用者が注意している位置の絞り込みを行えば良い。このように、複数の条件を組み合わせることで、より正確に注意位置の推定が可能となる。

【0035】

また、第２実施例と同様に、運動刺激と固視微動との関係を予め求めて校正曲線を作成しておき、これを用いて注意位置を推定しても良い。第２実施例と同様に、運動刺激部により利用者の視野内に運動刺激を与える。例えば、外界情報が表示画面から与えられるときには、表示画面に表示する映像に対して、既知の種々の運動刺激を与える。運動刺激は、例えば所定の時間間隔において特定の運動速度や方向で運動刺激を種々与えるものである。

【0036】

そして、校正部では、運動刺激部による運動刺激に同期する眼球の固視微動を計測し、運動刺激と固視微動との関係を表す固視微動校正曲線を予め作成する。これにより、運動刺激に対する固視微動の関係が瞬時に分かるようになる。したがって、注意位置推定部では、計測される固視微動から、固視微動校正曲線を用いて運動分布中の所定の運動位置を利用者が注意している位置と推定することが可能となる。

【0037】

次に、本発明の第４実施例の注意位置推定装置を説明する。第４実施例では、第３実施例に対してさらに、輻輳運動も計測している。以下、図８を用いて説明する。

【0038】

図８は、本発明の第４実施例の注意位置推定装置を説明するためのブロック図である。図中、図１と同一の符号を付した部分は同一物を表しているため、詳説は省略する。図示の通り、本発明の第４実施例の注意位置推定装置は、外界情報部１０に、さらに奥行き分布生成部１４を有している。また、眼球運動情報部２０に、さらに輻輳運動計測部２４を有している。

【0039】

奥行き分布生成部１４は、撮像部１１により撮像される映像の奥行き分布を生成するものである。ここで、奥行き分布とは、利用者の視野内に入る物体までの距離に対応する情報を意味する。奥行き分布については、例えば３Ｄカメラにより撮像して、物体までの遠近情報が検出したり、光学式や音波式等の距離センサにより距離を検出できれば良い。また、２次元画像に対しても奥行き分布はある程度推定可能であるため、外界情報が表示画面で与えられた場合であっても、奥行き分布の生成は可能である。奥行き分布の生成は、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により生成されれば良い。

【0040】

輻輳運動計測部２４は、撮像部２１により撮像される利用者の眼球の輻輳運動による輻輳角を計測するものである。具体的には、瞳孔運動計測部等と同様、例えばアイトラッカやアイマークレコーダ等、輻輳運動による輻輳角が計測できる手法であれば良く、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。

【0041】

輻輳運動についても、瞳孔や固視微動と同様に、外界刺激に対して視線を向けなくても、注意を向けた方向に引きずられることが分かった。即ち、例えば注意を向けた方向の物体が視線の先の物体よりも近い場合には、輻輳角が大きい側に変化する。また、逆に注意を向けた方向の物体が視線の先の物体よりも遠い場合には、輻輳角が小さい側に変化する。したがって、このような輻輳角の変化を計測することで、以下のように利用者が注意している場所を推定することが可能となる。

【0042】

計測された運動分布、固視微動、それに輻輳角の変化を、注意位置推定部３０に入力する。注意位置推定部３０は、輝度分布と瞳孔の大きさ、並びに運動分布と固視微動にプラスして、さらに、奥行き分布と輻輳角の変化との関係も用いて、輻輳角が大きい側に変化する場合には奥行き分布中の利用者に近い側の奥行き位置を、輻輳角が小さい側に変化する場合には奥行き分布中の利用者に遠い側の奥行き位置を利用者が注意している位置と推定する。これにより、輝度分布や運動分布、奥行き分布を複数組み合わせることで、より正確に注意位置の絞り込みが可能となる。

【0043】

また、第２実施例と同様に、奥行き刺激と輻輳角との関係を予め求めて校正曲線を作成しておき、これを用いて注意位置を推定しても良い。第２実施例と同様に、奥行き刺激部により利用者の視野内の奥行き方向に刺激を与える。例えば、実空間において、所定の奥行きの位置から近い位置や遠い位置にターゲットを置き、奥行き方向の種々の奥行き刺激を与える。

【0044】

そして、校正部では、奥行き刺激部による奥行き刺激に同期する眼球の輻輳運動による輻輳角を計測し、奥行き刺激と輻輳角との関係を表す輻輳角校正曲線を予め作成する。これにより、奥行き刺激に対する輻輳角の関係が瞬時に分かるようになる。したがって、注意位置推定部では、計測される輻輳角から、輻輳角校正曲線を用いて奥行き分布中の所定の奥行き位置を利用者が注意している位置と推定することが可能となる。

【0045】

このように、本発明の注意位置推定装置は、利用者の視野内で利用者が注意をしている位置を推定可能である。

【0046】

また、本発明の注意位置推定装置は、利用者が注意能力を有しているか否か判断するために用いることも可能である。例えば、図１に示される構成に対して、さらに、利用者の視野内であって、視線方向と異なる位置に輝度刺激を与える輝度刺激部を設ける。例えば、外界情報が表示画面から与えられるときには、表示画面に表示する映像に対して、既知の種々の輝度刺激を与える。そして、注意位置推定部では、輝度刺激部による輝度刺激に同期して瞳孔の大きさが変化するか否かを判断する。このとき、瞳孔の大きさが変化しない場合には、利用者はこの輝度刺激に注意を向けていないことになるため、利用者が視線方向以外の方向に対して注意能力を有していないことになる。例えば、乗り物の運転者に対してこの試験を行えば、運転者が視線を変えることなく瞬時に歩行者等に注意を向けられるか否かといったことも判断することが可能となり、視線方向以外に注意を分配する能力の有無が判断可能となる。

【0047】

なお、本発明の注意位置推定装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

【符号の説明】

【0048】

１０ 外界情報部
１１，２１ 撮像部
１２ 輝度分布生成部
１３ 運動分布生成部
１４ 奥行き分布生成部
２０ 眼球運動情報部
２２ 瞳孔運動計測部
２３ 固視微動計測部
２４ 輻輳運動計測部
３０ 注意位置推定部
４０ 輝度刺激部
５０ 校正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】