特許 6199038 視線分析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6199038

(24)【登録日】2017年9月1日

(45)【発行日】2017年9月20日

(54)【発明の名称】視線分析装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170911BHJP

   A61B 3/113 20060101ALI20170911BHJP

   G06F 3/0346 20130101ALI20170911BHJP

【ＦＩ】

   G06F3/01 510

   A61B3/10 B

   G06F3/0346 423

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2013-19731(P2013-19731)

(22)【出願日】2013年2月4日

(65)【公開番号】特開2014-149794(P2014-149794A)

(43)【公開日】2014年8月21日

【審査請求日】2016年1月29日

(73)【特許権者】

【識別番号】000125369

【氏名又は名称】学校法人東海大学

(74)【代理人】

【識別番号】110000408

【氏名又は名称】特許業務法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】山田 光穗

(72)【発明者】

【氏名】新川 達矢

(72)【発明者】

【氏名】赤堀 優志

(72)【発明者】

【氏名】菊池 慧

(72)【発明者】

【氏名】若松 英輝

(72)【発明者】

【氏名】高比良 英朗

(72)【発明者】

【氏名】石川 諒一

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特開平０４−２８８１２３（ＪＰ，Ａ）

【文献】 特開２０１１−０１５９１３（ＪＰ，Ａ）

【文献】 国際公開第２００９／１５０７４７（ＷＯ，Ａ１）

【文献】 特開平０４−０４９９４３（ＪＰ，Ａ）

【文献】 特開２００８−１２９７７５（ＪＰ，Ａ）

【文献】 特表２０１２−５０９５４４（ＪＰ，Ａ）

【文献】 特表２０１４−５２０３１４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１２５８１６（ＵＳ，Ａ１）

【文献】 米国特許第０６３８１３３９（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１２／０２９４４７８（ＵＳ，Ａ１）

【文献】 自然な状態で小型電子媒体を用いて黙読している時の視線と手の動きの解析，電子情報通信学会２０１１年基礎・境界ソサイエティ大会講演論文集，日本，社団法人電子情報通信学会，２０１１年 ８月３０日，242頁

【文献】 山田 光穂，２次元平面上の視標を注視した時の視線の動きの特徴，ＮＨＫ技研Ｒ＆Ｄ，日本，日本放送出版協会，１９９４年 ５月１５日，第30号，58-73頁

【文献】 長谷川 勉 他，視線変化の観測に基づく監視者の意図推定，第１７回日本ロボット学会学術講演会予稿集，社団法人日本ロボット学会，１９９９年 ９月 ９日，第１分冊，409-410頁，学術文献ＤＢ

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ａ６１Ｂ ３／１１３

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

被験者が把持する対象物に視線を向ける前記被験者の視線を分析する視線分析装置であり、
頭部運動検出部により検出された頭部の移動量及び前記頭部から前記対象物までの距離から、前記頭部の回転運動による前記頭部の回転移動角を算出する頭部運動算出部と、
眼球運動検出部により検出された眼球の運動量から、眼球の運動による前記眼球の回転角を算出する眼球運動算出部と、
前記頭部運動算出部により算出された回転移動角と前記眼球運動算出部により算出された回転角とにより前記被験者の視線の方向の移動角を算出する視線方向算出部と、
対象物運動検出部により検出された前記対象物の運動による移動量及び前記頭部から前記対象物までの距離から、前記被験者より前記対象物を観察した場合の移動角を算出する対象物運動算出部と、
前記視線方向算出部により算出された移動角と前記対象物運動算出部により算出された移動角とにより前記被験者が前記対象物に向けている視線による視点の移動を算出する視点算出部と、を有し、
前記視点算出部により算出された視点の移動が、前記頭部の運動によるものか、前記眼球の運動によるものか、あるいは前記対象物の運動による移動によるものかを判別する視線分析装置。

【請求項2】

前記頭部運動算出部は、前記頭部の平行運動による移動量を算出し、
前記視線方向算出部は、前記頭部運動算出部が算出した前記頭部の平行運動による移動量を前記被験者より観察した場合の移動角に換算する請求項１に記載の視線分析装置。

【請求項3】

前記視点算出部により算出された視点の移動を、前記対象物の画像上に重ねて表示を行う請求項１または２に記載の視線分析装置。

【請求項4】

前記視点算出部により算出された視点の移動の速度に応じて、前記対象物の画像上に重ねて行う表示の態様を変更する請求項３に記載の視線分析装置。

【請求項5】

前記視点算出部により算出された視点の移動の速度が閾値未満であれば、視点を注視点として前記対象物の画像上に重ねて表示を行う請求項３または４に記載の視線分析装置。

【請求項6】

前記視点算出部により算出された視点の移動が、前記頭部の運動によるものか、前記眼球の運動によるものか、あるいは前記対象物の運動による移動によるものかを判別して、前記対象物の画像上に重ねて行う表示の態様を変更する請求項３から５のいずれかに記載の視線分析装置。

【請求項7】

被験者が把持する対象物に視線を向ける前記被験者の視線を分析する視線分析装置による視線分析方法であり、
前記視線分析装置は、
頭部運動検出部により検出された頭部の移動量及び前記頭部から前記対象物までの距離から、前記頭部の回転運動による前記頭部の回転移動角を算出する頭部運動算出部と、
眼球運動検出部により検出された眼球の運動量から、眼球の運動による前記眼球の回転角を算出する眼球運動算出部と、
前記頭部運動算出部により算出された回転移動角と前記眼球運動算出部により算出された回転角とにより前記被験者の視線の方向の移動角を算出する視線方向算出部と、
対象物運動検出部により検出された前記対象物の運動による移動量及び前記頭部から前記対象物までの距離から、前記被験者より前記対象物を観察した場合の移動角を算出する対象物運動算出部と、
前記視線方向算出部により算出された移動角と前記対象物運動算出部により算出された移動角とにより前記被験者が前記対象物に向けている視線による視点の移動を算出する視点算出部と、を有し、
前記視点算出部により算出された視点の移動が、前記頭部の運動によるものか、前記眼球の運動によるものか、あるいは前記対象物の運動による移動によるものかを判別する視線分析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線の分析装置などに関する。特に本発明は、被験者の頭部の運動、眼球の運動及び視認対象物の移動を考慮して視線を分析する装置などに関する。

【背景技術】

【0002】

従来、視線の動きを評価する場合、眼球運動測定装置と頭部運動測定装置を用いて、眼球運動と頭部運動とを合成した視線の動きが分析されていた（例えば、特許文献１参照）。

【0003】

一方、携帯端末の普及に伴い、携帯端末の表示画面に表示される文字などを読む読書行動を行う割合が増えてきている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特公平４−４６５７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

通常、携帯端末の表示画面の視認の際には、携帯端末が手で保持される。このため、携帯端末の表示画面に表示される文字などの読書行動においては、手の動きも関与すると考えられる。しかし、そのような手の動きを考慮した研究は行われていない。そのため、携帯端末などを把持している手が大きく動いたとしても、頭部運動と眼球運動とを合成した視線の動きがほぼ静止しているときは、手が動く前に注視していた部分を注視し続けていると誤認識する可能性がある。

【課題を解決するための手段】

【0006】

本発明の一実施形態として、対象物に視線を向ける被験者の視線を分析する視線分析装置について開示する。視線分析装置は、頭部運動算出部と、眼球運動算出部と、視線方向算出部と、対象運動算出部と、視点算出部とを有する。頭部運動算出部は、頭部の回転運動による頭部の回転移動角を算出する。また、頭部運動算出部は、頭部の移動運動による頭部の回転移動角を算出してもよい。眼球運動算出部は、眼球の運動による眼球の回転角を算出する。視線方向算出部は、頭部運動算出部により算出された回転移動角と眼球運動算出部により算出された回転角とにより被験者の視線の方向の移動角を算出する。対象運動算出部は、対象物の運動による移動から被験者より観察した場合の視線移動相当の移動角を算出する。視点算出部は、視線方向算出部により算出された移動角と対象運動算出部により算出された移動角とにより被験者が対象物に向けている視線による視点の移動を算出する。

【0007】

本発明の一実施形態として、対象物に視線を向ける被験者の視線を分析する視線分析装置による視線分析方法を開示する。視線分析装置は、頭部運動算出部と、眼球運動算出部と、視線方向算出部と、対象運動算出部とを有する。頭部運動算出部は、頭部の回転運動による頭部の回転移動角を算出する。また、頭部運動算出部は、頭部の移動運動による頭部の回転移動角を算出してもよい。眼球運動算出部は、眼球の運動による眼球の回転角を算出する。視線方向算出部は、頭部運動算出部により算出された回転移動角と眼球運動算出部により算出された回転角とにより被験者の視線の方向の移動角を算出する。対象運動算出部は、対象物の運動による移動から被験者より観察した場合の視線移動相当の移動角を算出する。視線分析方法は、視線方向算出部により算出された移動角と対象運動算出部により算出された移動角とにより被験者が対象物に向けている視線による視点の移動を算出することを含む。

【発明の効果】

【0008】

本発明によれば、対象物の運動を検出するので、例えば対象物が携帯端末である場合の表示内容を読んでいるときなどに生じる対象物の運動を算出し、視線の動きに換算し、視線の動きに換算された対象物の運動を頭部運動・眼球運動の算出の結果と合成することができる。これにより携帯端末などの表示内容を読む際の視線の動きに寄与する頭部運動、眼球運動、対象物の動きを表示などして視線の動きを評価することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る視線分析装置の機能ブロック図

【図2】本発明の一実施形態に用いることができる磁気センサの一原理を説明するための図

【図3】本発明の一実施形態において、頭部運動を表わすパラメータを説明するための図

【図4】本発明の一実施形態において、眼球運動を検出する一原理を説明するための図

【図5】本発明の一実施形態において、携帯端末の運動を検出している様子の一例図

【図6】本発明の一実施形態において、携帯端末の運動を表わすパラメータの算出を説明するための図

【図7】本発明の一実施形態に係る視線分析装置の処理のフローチャート

【図8】本発明の一実施形態に係る視線分析装置により注視点を検出する一原理を説明するための図

【図9】本発明の一実施形態に係る視線分析装置により視点の移動を示した一例図

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態を、実施形態として説明する。なお、本発明は以下に説明する実施形態に限定されることはなく、種々の変形を行って実施することが可能である。

【0011】

（実施形態１）
図１は、本発明の一実施形態に係る視線分析装置の機能ブロック図を示す。視線分析装置１００は、頭部運動検出部１０１と、頭部運動算出部１０２と、眼球運動検出部１０３と、眼球運動算出部１０４と、対象物運動検出部１０５と、対象物運動算出部１０６と、視線方向算出部１０７と、視点算出部１０８とを有する。

【0012】

頭部運動検出部１０１は、頭部の運動を検出する。頭部は、被験者の頭部である。被験者とは、視線分析装置１００により視点の位置が測定される対象者である。被験者の頭部は、頭部運動検出部１０１により頭部の動きが検出される。被験者は、次に説明する眼球運動検出部１０３により眼球の動きが検出される。また、対象物が、被験者の把持し視認の対象となる携帯端末や書籍などである場合、後に説明する対象物運動検出部１０５により被験者が把持する対象物の動きも検出される。これにより、間接的に被験者の手の動きが検出される。

【0013】

頭部運動検出部１０１は、磁気センサや加速度センサを用いて被験者の頭部の運動を検出する。図２は、磁気センサによる頭部などの運動を検出する一原理を説明するための図である。磁気センサの動作は、磁界内を導体が横切ると起電力が発生する電磁誘導の原理に基づいている。図２に示すように、ドライブ回路２０１により交流電圧を、直交する３方向に巻いたコイルにより構成されるソースコイル２０２に、印加することにより、交流磁界２０３を発生させる。この磁界２０３内を、同様に直交する３方向に巻いたセンサコイル２０５が移動すると、その動きに応じて、センサコイル２０５の３方向に巻かれたコイルそれぞれの起電力が変化する。この起電力を検出回路２０６が検出し、コンピュータ２０４により分析を行うことにより、水平、上下及び前後方向の直線加速度と、ロール角、ピッチ角及びヨー角の角加速度を検出し出力することができる。

【0014】

なお、回転方向と直線方向の加速度を測ることができるセンサであれば、加速度センサは他の原理を用いるセンサを用いても構わない。また、頭部運動検出部１０１は、被験者の頭部の位置を連続的に測定することが可能であればよい。例えば、光学的な手段により被験者の頭部を複数個所から撮影し、頭部の位置を測定してもよい。また、超音波の反射などを用いて被験者の頭部の位置を測定してもよい。

【0015】

頭部運動算出部１０２は、頭部運動検出部１０１による被験者の頭部運動の検出の結果により、被験者の頭部の運動による移動量を算出する。具体的には、磁気センサが用いられる場合には、磁気センサの出力する加速度をαとし偏位量をｘ、時間をｔとすると、α＝ｄ^２ｘ／ｄｔ^２として加速度αは偏位量の時間方向の２次微分で表されるので、加速度αを時間で２回積分することにより移動量が得られる。また、頭部運動の基準となる位置（例えばｔ＝０におけるセンサなどの位置）にこの移動量を加えると現在の位置を算出することができる。

【0016】

また、頭部運動検出部１０１が光学的な手段などにより被験者の頭部の位置を連続的に測定することができる場合には、現在の測定結果と直前の測定結果とを比較することにより、被験者の頭部の運動による移動量を算出する。

【0017】

頭部運動算出部１０２が算出する移動量の一例としては、被験者の頭部の水平回転量Ｈψ、垂直回転量Ｈφ、傾き量Ｈθがある。なお、ここに「左右」、「上下」及び「前後」それぞれは、互いに直交する方向である。これらの方向は適宜定義可能であるが、上下の方向は鉛直方向と一致させ、左右の方向は被験者にとっての左右の方向と一致させ、前後の方向は被験者にとっての前後の方向と一致させるのがよい。この場合、対象物は被験者からみて前方の方向に位置することにできる。

【0018】

また、被験者の上体が自由に動かせることができる場合には、後に説明する実施形態２におけるように、頭部の左右方向移動量Ｈｘ、上下方向移動量Ｈｙ及び前後方向移動量Ｈｚを算出することもできる。実施形態１においては、被験者がソファーに深く腰掛けている場合や電車座席などで左右に人がいるために上体が自由に動かせない場合を主に説明する。

【0019】

図３は、Ｈψ、Ｈφ及びＨθの定義の一例を示す。図３（ａ）に示すように被験者の頭頂部３０１に磁気センサなどのセンサが設置されている場合、センサが検出するロール角、ピッチ角、ヨー角から、図３（ａ）に示すように、被験者が頭頂部３０１を中心に水平方向に回転させた角度をＨψとし、図３（ｂ）に示すように、被験者が頭部を前後に傾けた角度をＨφとし、被験者が頭部を左右に傾けた角度をＨθと定義することができる。なお、Ｈψの測定の中心は頭頂部３０１であり、Ｈφ及びＨθの測定の中心は、被験者の首の部分の位置３０２とすることができる。

【0020】

眼球運動検出部１０３は、被験者の眼球運動を検出する。この検出には、通常の眼球運動測定装置を使用することができる。例えば、角膜反射方式を用いた眼球運動測定装置を使用することができる。

【0021】

図４は、角膜反射方式を用いた眼球運動の検出原理について説明する図である。なお、眼球運動測定装置については、様々な検出原理に基づいた製品が市販されており、そのいずれも用いることができる。

【0022】

角膜反射方式は、眼球部をカメラで撮影するなどして反射光を測定して眼球の回転角を検出する方式である。まず、図４（ｂ）に示すように、スポットランプ４０５により被験者の目の部分に赤外光を照射し、観察者の目の部分を撮影する。図４（ａ）は撮影された画像４０１の一例を示す。図４（ｂ）を参照すると、被験者の虹彩、角膜４０４を通り眼球４０３の中に入った赤外光は、眼球４０３の角膜４０４の反対側の網膜で反射し、再び虹彩によって絞られた瞳孔部分から出射し、明るく白い瞳孔像４１０として撮影される。一方、観察者の目に照射された赤外光は、角膜の表面で反射し、明るい白い虚像４０２としても撮影される。眼球の回転中心Ｏと角膜４０４及び４０７の回転中心Ｏ’とが異なるため、眼球４０３が回転すると、虚像４０８に対応する白い円４０２、すなわち角膜からの反射光点の位置がずれ、それが眼球運動量４０９として検出される。それに対して、眼球運動ではなく身体や体の動きに対しては、先の瞳孔像４１０の中心、すなわち瞳孔の中心と、角膜からの反射光点は同時に同じ方向、量だけ動くので、頭部などの運動の影響を受けずに眼球運動量４０９を測定することができる。

【0023】

眼球運動算出部１０４は、眼球運動検出部１０３により検出された眼球運動から、水平方向の視線の移動角と垂直方向の視線の移動角とを算出する。その算出の結果をそれぞれＸｅ、Ｙｅとする。

【0024】

視線方向算出部１０７は、被験者の視線の方向を算出する。Ｘｅ、Ｙｅは、被験者の頭部を基準とした方向を示している。そこで、Ｘｅ、Ｙｅに加えてＨψ、Ｈφ、Ｈθを考慮することにより、例えば被験者の頭部の運動の中心である首の部分３０２を基準とする座標軸における視線の移動角を算出することができる。

【0025】

具体的には、視線方向算出部１０７は、次の式により、視線の移動角（Ｆｘ，Ｆｙ）を算出する。
Ｆｘ ＝ Ｘｅ'＋Ｈψ
Ｆｙ ＝ Ｙｅ'＋Ｈφ
ただし、（Ｘｅ'，Ｙｅ'）は（Ｘｅ'，Ｙｅ'）＝（Ｘｅ，Ｙｅ）ｒｏｔ（Ｈθ）と定義され、ベクトル（Ｘｅ，Ｙｅ）をＨθだけ回転させたベクトルである。これは、頭部をＨθ傾けたときの視線の水平方向と垂直方向の視線の移動角を表わす。

【0026】

すなわち、頭部運動の回転角は、Ｈψが水平方向の眼球回転角、Ｈφが垂直方向の眼球回転角に相当するので、直接換算できる。一方、Ｈθは首の傾きに相当する。眼球回転角としては、いわゆるTorsion（回旋運動）に相当するが、一般に人の目の動きとしてTorsionはほとんど生じない。しかし、首が傾いていると、対象物に向かっての水平方向、垂直方向の眼球回転角の意味が異なってくるため、本発明の一実施形態では、検出された眼球回転角に対してＨθだけ、座標軸を回転させ、対象物に対する水平方向成分、垂直方向成分に換算して加算を行う。

【0027】

対象物運動検出部１０５は、被験者の視認する対象物の運動を検出する。対象物が携帯電話であれば、例えば図５に示すように被験者が左手５０１で所持している携帯端末６００の背面などにセンサ６０３を設置し、センサ６０３に接続された配線５０２を介して信号を受信することにより、携帯電話６００の運動を検出することができる。センサ６０３としては、上述の原理に基づく磁気センサを用いることができる。

【0028】

対象物運動算出部１０６は、対象物運動検出部１０５による対象物の運動の検出の結果から、対象物の移動量を算出する。通常は、図５に示されるように、被験者は視線とほぼ直交する平面に携帯端末を把持する。そこで、対象物が携帯端末のように平面形状のディスプレイ面を有している場合には、ディプレイ面をＸＹ−平面と定義し、ＸＹ−平面における対象物の移動量であるΔｘ及びΔｙを算出し、後に説明するように、被験者から観察される移動角に換算する。また、対象物運動算出部１０６は、ＸＹ−平面と垂直な方向のＺ軸方向における対象物の移動量であるΔｚ及びＸＹＺ座標における位置を算出することができる。以下、手の移動量を、被験者から観察される移動角に換算する方法について、説明する。

【0029】

なお、磁気センサの検出する３軸方向は、ソースの位置、センサの取り付け位置に依存し、必ずしも、携帯端末を把持した際の面のＸＹ−平面と平行にならない。そこでまず携帯端末の表示面のＸＹ−平面を決定する。そのために、被験者が携帯端末を把持した状態で、任意の量だけ、Ｘ方向、Ｙ方向に順に移動させ、そのときに取得した座標位置から、磁気センサで検出された座標をＸＹ−平面に換算する式ｆを算出する。一般に、平面は３点の座標から決定できる。そこで、
（X,Y,Z)＝ｆ（Mx,My,Mz)
という関係式により、磁気センサの検出する３軸方向における座標をＸＹ−平面及びそれに垂直なＺ軸から構成される３軸方向における座標に変換する。なお、Mx,My,Mzは磁気センサが出力する移動量であり、この移動量は磁気ソースに対する磁気センサの水平、垂直、奥行き移動量となる。これらの移動量を上記の手段によって得た換算式ｆにより、ＸＹＺ座標軸での移動量に変換できる。

【0030】

ＸＹ−平面の決定後、携帯端末のＸ、Ｙ方向の移動量Δｘ、Δｙを被験者から観察される移動角に換算する過程を、Δｙを例にとり説明する。図６は、被験者が、ディスプレイ面６０１とセンサ６０３が取り付けられた裏面６０２とを有する携帯端末６００を把持するときの移動量から視線の動き（被験者より観察した場合の移動角）に換算する原理について説明する図である。一般に携帯端末を見ている時、目すなわち視線から下ろした垂線に直角になるように携帯端末を把持する。この様にしてみると画面の隅々まで最も目で見た画面の歪みを小さくすることができる。そこで、Δｙは縦書きの場合、改行と文章を読み進む場合に生じ、横書きでは改行の際に生じる動きであると考えられる。Ｄは目とディスプレイ面との距離である。Ｄの値は、頭部運動算出部１０２による頭部の位置の算出結果と対象物運動算出部１０６による対象物の位置の算出結果とから算出することができる。また、Ｈｎφは水平方向の被験者から観察される移動角のうちＹ方向の角度である。次式によってΔｙは、手の移動量を被験者から観察される移動角（単位はラジアン）に換算した量を示すＨｎφに、換算される。
Ｈｎφ＝ｔａｎ^−１（Δｙ／Ｄ)
Δｘに関しても
Ｈｎψ＝ｔａｎ^−１（Δｘ／Ｄ）
により、水平方向の被験者から観察される移動角Ｈｎψ（単位はラジアン）に換算できる。なお、対象物の奥行き方向の動きΔｚは、携帯端末などの対象物を把持するような状況では、腕の可動範囲の関係で、ほとんど変化しないため無視することができる。ただし、より正確に視線の分析を行う場合には、前述のＤにΔｚとＨｚ（頭部の奥行き移動量、後述）を加え、目と携帯端末までの距離を補正してもよい。

【0031】

また、対象物算出部１０６は、対象物の移動を被験者から観察した場合の移動角を算出するので、例えば被験者のメガネなどに装着されたカメラから対象物を撮影し、最新の撮影結果と直前の撮影結果とから対象物の移動角を算出することもできる。この場合、対象物運動検出部１０５は、被験者のメガネなどに装着されたカメラの撮影した画像信号を取得することになる。

【0032】

視点算出部１０８は、視線方向算出部１０７により算出された視線の移動量（Ｆｘ，Ｆｙ）と対象物運動算出部１０６により算出された対象物の運動の量とから、被験者の視点に関する情報を算出する。

【0033】

本発明の一実施形態においては、携帯端末などの対象物を被験者から観察した場合の移動角を算出している。このため視点算出部１０８は、上述のようにΔｘ及びΔｙをＨｎψ及びＨｎφに換算し、
Ｇｘ＝Ｆｘ＋Ｈｎψ
Ｇｙ＝Ｆｙ＋Ｈｎφ
により、被験者が対象物に向けている視点の方向である視線の方向を算出する。視点算出部１０８は、眼球の位置からベクトル（Ｇｘ，Ｇｙ）に平行に延長される直線と対象物との交点として視点を算出することができる。また、視点算出部１０８は、ベクトル（Ｇｘ，Ｇｙ）の時間変化に応じて視点の移動（移動量、移動方向）を算出することができる。

【0034】

図７は、視線分析装置１００における処理の流れを説明するフローチャートである。ステップＳ７０１において、頭部運動検出部１０１により被験者の頭部運動を検出し、ステップＳ７０２において、眼球運動検出部１０３により被験者の眼球運動を検出し、ステップＳ７０３において、対象物運動検出部１０５により対象物の運動を検出する。

【0035】

頭部運動検出部１０１により被験者の頭部運動を検出した後にはステップＳ７０４に処理を移し、頭部運動算出部１０２により、Ｈψ、Ｈφ、Ｈθを算出する。また、実施形態２のように、水平方向及び垂直方向の移動角Ｅｘ及びＥｙを算出してもよい。

【0036】

眼球運動検出部１０３により被験者の眼球運動を検出した後にはステップＳ７０５に処理を移し、眼球運動算出部１０４により、Ｘｅ、Ｙｅを算出する。

【0037】

対象物運動検出部１０５により対象物の運動を検出した後にはステップＳ７０６に処理を移し、対象物運動算出部１０６により、Ｈｎψ、Ｈｎφを算出する。

【0038】

ステップＳ７０４、Ｓ７０５及びＳ７０６の処理の後は、ステップＳ７０４、Ｓ７０５及びＳ７０６の処理を統合してステップＳ７０７へ処理を移し、視線方向算出部１０７により、Ｆｘ、Ｆｙを算出し、視点算出部１０８によりＧｘ、Ｇｙを被験者の視点に関する情報として算出する。

【0039】

その後、ステップＳ７０８へ処理を移し、処理全体を終了させなければ最初に戻り、ステップＳ７０１〜Ｓ７０７の処理を再度実行する。

【0040】

なお、図７のフローチャートに示す処理を行う前には、次のようにキャリブレーションを行うのが好ましい。頭部運動検出装置の出力は頭部に装着した磁気センサ等のセンサの装着状況により、３次元直交座標、回転座標の座標軸が必ずしも眼球運動の水平方向、垂直方向と一致しないため、被験者に頭部を水平、垂直方向に振らせ、座標系のキャリブレーションを行う。対象物の運動の検出のためには、ＸＹ−平面の決定として説明したように、被験者が対象物などの携帯端末を把持した状態で、任意の量だけ、Ｘ方向、Ｙ方向に順に移動させ、そのときに取得された座標位置から、磁気センサで検出された座標を携帯端末上のＸＹ−平面に換算する式ｆを算出する。次に頭部運動、眼球運動及びＸＹ−平面のそれぞれのキャリブレーション出力から上述のＧｘ及びＧｙを求める式に従い視線の方向を算出する。そして、被験者に携帯端末画面の指定した点を注視させ、そこに視線が表示されるように、Ｇｘ及びＧｙとして得られた方向を平行移動する。

【0041】

以上のように、本実施形態においては、被験者の頭部及び眼球の運動に加え、対象物の運動を考慮して被験者の視線を分析することができる。

【0042】

（実施形態２）
本発明の実施形態１においては、主に被験者が頭部を含む上体を自由に動かせない場合を想定して説明を行った。本発明の実施形態２においては、被験者が上体を自由に動かせる場合における被験者の視線の分析について説明する。

【0043】

本実施形態においては、頭部運動算出部は、頭部の水平方向移動量Ｈｘ、垂直方向移動量Ｈｙ、前後方向移動量Ｈｚも算出する。頭部の水平方向、垂直方向及び前後方向それぞれの移動により、頭部を基準とすると、対象物がそれぞれの方向に逆に移動することとなる。したがって、被験者の頭部から対象物（例えば携帯電話のディスプレイ面）までの距離Ｄを用いて、水平方向及び垂直方向の移動角Ｅｘ及びＥｙを表わすと
Ｅｘ＝ｔａｎ^−１（Ｈｘ／Ｄ）
Ｅｙ＝ｔａｎ^−１（Ｈｙ／Ｄ）
となる。奥行き方向の移動量Ｈｚに関しては、例えば携帯端末を把持して見る等の場合には、腕の可動範囲の制限からほとんど無視できる。ただし、立体映像を観察しているときや、実際に自動車を運転等している作業時においては、奥行き方向の視線移動量として利用することができる。また、より正確に測定する場合には、前述のＤに、対象物の前後方向の移動量ΔｚとＨｚと、を加え、目と対象物までの距離を補正するのが好ましい。

【0044】

したがって、視点算出部１０８における視線の算出は、
Ｇｘ＝Ｆｘ＋Ｈｎψ＋Ｅｘ
Ｇｙ＝Ｆｙ＋Ｈｎφ＋Ｅｙ
として算出される。

【0045】

（実施形態３）
本発明の実施形態３として、視線の速度を基準とする注視点の定義について説明する。

【0046】

眼球運動は固視微動により常に小さく高速に微動していることが知られている。頭部運動も手の動きも空間内で完全に静止しているわけではなく、姿勢の保持や位置の保持のため常に微動している。そのため、これらを加算した視線は常に何らかの運動をしており完全に静止した状態はない。しかし、見たい対象を視力の最も高い網膜の中心窩で捉える場合、視線をある時間、視野内の一点にほぼ静止する必要がある。この状態を注視といい、注視される対象のある限られた範囲を注視点と言っている。しかし、一般的に視線は先に述べた理由により常時細かく変動しており、人が意識して視野のその部分から視覚情報を捉えようとしている点を注視点と考え、絶えず動いている視線の動きから注視点を取り出すには注視点の範囲を定義する必要がある。

【0047】

眼球運動において、一点を凝視しているときにも生じる固視微動は外界から情報を入手するための大切な動きであり、眼球運動が固視微動のみを行っているときは注視成分と考えるべきである。そのほか、眼球運動の成分として跳躍運動と追従運動が知られている。跳躍運動中は視覚特性が低下するが、追従運動中にはあまり低下しないことが知られている。追従運動は運動視標を追従するときに生じ、運動視標の情報をよりよく捉えようとするための眼球運動と考えることができる。しかし運動視標の速度が増加していくと、視標に対する眼球の相対位置が次第に遅れていく。運動視標に対して遅れが少なく忠実に追従できる追従運動の眼球運動速度は毎秒５°程度であることが知られている。そこで、眼球運動から注視点を分離する手法として毎秒５°をしきい速度Ｖｔｈとして、図８に示す様に、「実質的な注視点」を定義する。すなわち、ある注視点８０１からＶｔｈの速さで次のサンプル点に到達する距離Ｄｔｈを次の様に定める。
Ｄｔｈ ＝ Ｖｔｈ×サンプル時間間隔
図８に示す様に、Ｄｔｈ８０３を半径とする円８０４内に次のサンプル点８０２が存在するとき、その点は現在の注視点に含まれるとし実質的な注視点は変化せず、円８０４の外に存在したとき、実質的に新しい注視点とする。

【0048】

以上は眼球運動に注目して注視点の抽出について説明したものであるが、網膜上の視対象の移動という観点から考えると、眼球運動によっても、頭部運動によっても、あるいは手の動きによっても、網膜上を視対象が移動する現象は変わらない。そこで、本発明の実施形態では、眼球回転角、頭部運動、手で把持されている携帯端末の動きを総合した視線の方向Ｇｘ及びＧｙの変化の速度に対して、前述した注視点の定義を適用して、視線の方向Ｇｘ及びＧｙから注視点を分離する。これまでの眼球運動と頭部運動から視線を計算して注視点を抽出する手法では、手の動きで端末を動かして見ている時や、電車の中等で、携帯端末を把持している手が大きく動いた場合でも、眼球運動と頭部運動から算出した視線が動いていない場合には、注視点が抽出されるという不都合が生じていた。本発明の実施形態を適用することにより、眼球運動と頭部運動に加え手の動きも考慮した視線が視対象を注視したときのみを注視点として抽出できるという大きな特徴がある。

【0049】

（実施形態４）
本発明の実施形態４に係る視線分析装置を用いて、上述のように注視点を抽出するとともに、視線の移動が、被験者の頭部運動、被験者の眼球運動、対象物の運動のいずれによるものであるかを判別することが可能である。例えば、視点算出部１０８により算出された視点が移動した場合、頭部運動算出部１０２、眼球運動算出部１０４及び対象物運動算出部１０６の算出の結果のうち注視点の移動量に最も寄与した結果を判別する。したがって、視線の移動が頭部運動により発生したのか、眼球運動により発生したのか、あるいは対象物の移動により発生したのかを判別することができる。

【0050】

言い換えると、対象物の表面と視点の方向に延びる直線との交点を求めることにより被験者の視点が対象物の表面のどの位置にあるかを表示することができる。したがって、頭部移動量・対象物の移動量を眼球運動量に換算し、眼球運動量と合成し、統合的な視線の動きを計算する。その計算結果から注視点を抽出し、注視時間を計算する。また、注視点間の移動軌跡から移動速度を計算するとともに、眼球運動による移動量、頭部運動を眼球運動量に換算した移動量、手の動きを眼球運動量に換算した移動量を計算し、眼球運動、頭部運動、手の動きの時系列的な変化の分かるデータとともに、視線分析出力として出力する。

【0051】

図９は、対象物が携帯端末のディスプレイである場合に、そのディスプレイに表示された提示画像に視点の位置を重ねて表示した一例を示す。提示画像は電子ブックの画像、携帯端末の画像など画質や解像度が様々であり、いったん画像変換を行い、眼球運動・頭部運動・手対象物の運動を合成して表示できる画質と解像度に変換したものである。

【0052】

図９においては、注視点の抽出と視点の移動の判別にしたがって、注視点及び視線の移動を携帯端末などの表示画像に投影して視線分析装置の表示部に表示した一例である。図９において、「○」９０１、９０５、９０７、９０９、９１１、９１４及び９１７は注視点を表わし、被験者が「○」で示される位置を注視していたことを示す。また、実線９０２、９０４、９１０、９１３は頭部運動により発生した視線の移動を示し、一点鎖線９０６、９１２は眼球運動により発生した視線の移動を示し、破線９０３は対象物の移動により発生した視線の移動を示す。

【0053】

したがって、注視点間の移動軌跡は注視点間の移動が画像のどこで行われたかについて示す。注視点は、注視時間によって色分けして表示するとともに、注視点間の移動軌跡を移動速度によって色分けして表示することができる。また、上述のように実線により頭部運動を眼球運動の量に変換したもの、一点鎖線により眼球運動量、点線により対象物の運動を眼球運動量に換算したものとして表示することができる。さらに、例えば眼球運動を緑の線、頭部運動を眼球運動に換算したものを赤の線、対象物の運動を眼球運動量に換算したもの青の線として前述の注視点間の移動軌跡に平行して表示することにより、眼球運動、頭部運動、対象物の運動が、注視点間の移動においてどこで行われたかについて、眼球・頭部・対象物の運動の合成をした出力画像から知ることができる。

【0054】

また、注視点の持続時間により「○」の表示態様を変化させて表示させることもできる。例えば、持続時間の長さに応じて、
青＜100ms
100ms≦黄＜200ms
200ms≦シアン＜300ms
300ms≦マゼンタ＜400ms
500ms≦青緑＜600ms
600ms≦緑＜700ms
700ms≦赤＜800ms
800ms≦白
として「○」の表示色を変化させることができる。なお、「青＜100ms」という不等式は、注視点の持続時間が100ms未満であれば青色で表示を行うことを意味する。他の不等式も同様である。

【0055】

また、注視点間の移動軌跡を下記の様に色分けすることもできる。
青 ＜100deg/sec
100deg/sec≦黄＜200deg/sec
200deg/sec≦シアン＜300deg/sec
300deg/sec≦マゼンタ＜400deg/sec
500deg/sec≦青緑＜600deg/sec
600deg/sec≦緑＜700deg/sec
700deg/sec≦赤＜800deg/sec
800deg/sec≦白

【0056】

以上のように、視線分析出力として、眼球運動による移動量、頭部運動を眼球運動量に換算した移動量、手の動きを眼球運動量に移動量とそれらの開始時間、動作終了時間、眼球運動による移動量、頭部運動を眼球運動量に換算した移動量、対象物の運動量を眼球運動量に変換した移動量を合成した視線から計算される注視点の位置、注視時間を計算するとともに、注視点間の視線に占める眼球運動による移動量、頭部運動を眼球運動量に換算した移動量、手の動きを眼球運動量に移動量の比率を出力して、ヒューマンインタフェースの研究に役立てることができる。

【産業上の利用可能性】

【0057】

本発明の各実施形態においては、携帯端末から視覚情報を取得するときの視線の動きについて、これまで行われていた眼球運動、頭部運動だけでなく、対象物の運動の役割を表示することができ、当該分野の研究・開発に貢献することができる。また、視線分析出力は、前述した眼球運動による移動量、頭部運動を眼球運動量に換算した移動量、対象物の運動量を眼球運動量に変換した移動量と、これらを合成した視線から計算される注視点の位置、注視時間に加え、注視点間の視線に占める眼球運動による移動量、頭部運動を眼球運動量に換算した移動量、対象物の運動量を眼球運動量に変換した移動量の比率を出力し、新たなヒューマンインタフェースの開発などに役立てることができる。

【符号の説明】

【0058】

１００ 視線分析装置
１０１ 頭部運動検出部
１０２ 頭部運動算出部
１０３ 眼球運動検出部
１０４ 眼球運動算出部
１０５ 対象物運動検出部
１０６ 対象物運動算出部
１０７ 視線方向算出部
１０８ 視点算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】