特許 7571837 視線推定システム、視線推定方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】視線推定システム、視線推定方法、及びコンピュータプログラム

(51)【国際特許分類】

   G09G 5/08 20060101AFI20241016BHJP

   H04N 23/611 20230101ALI20241016BHJP

   G09G 5/00 20060101ALI20241016BHJP

   G09G 5/37 20060101ALI20241016BHJP

   G09G 5/36 20060101ALI20241016BHJP

   G09G 5/373 20060101ALI20241016BHJP

   A61B 3/113 20060101ALI20241016BHJP

   A61B 5/1171 20160101ALI20241016BHJP

【ＦＩ】

G09G5/08 D

H04N23/611

G09G5/00 510A

G09G5/00 530H

G09G5/37 300

G09G5/36 400

G09G5/373

A61B3/113

A61B5/1171 300

G09G5/00 550C

【請求項の数】 8

(21)【出願番号】P 2023136501

(22)【出願日】2023-08-24

(62)【分割の表示】P 2021577730の分割

【原出願日】2020-02-10

(65)【公開番号】P2023169168

(43)【公開日】2023-11-29

【審査請求日】2023-08-24

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】高本 亮

【審査官】薄井 義明

(56)【参考文献】

【文献】国際公開第２０１９／１５１３６８（ＷＯ，Ａ１）

【文献】特開２０１２－２１６１２３（ＪＰ，Ａ）

【文献】特開２０１８－１０８１６７（ＪＰ，Ａ）

【文献】特開２０２０－０１８４７０（ＪＰ，Ａ）

【文献】特開２０１７－１５１５５６（ＪＰ，Ａ）

【文献】特開２００６－１３６４５０（ＪＰ，Ａ）

【文献】特開２０１６－１５１８４９（ＪＰ，Ａ）

【文献】特開２０１３－２５５７８１（ＪＰ，Ａ）

【文献】特開２０１４－０６８９３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／０８

Ｈ０４Ｎ ２３／６１１

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７３

Ａ６１Ｂ ３／１１３

Ａ６１Ｂ ５／１１７１

(57)【特許請求の範囲】

【請求項1】

対象者が注視する注視点を、所定の速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が繰り返して移動するように表示させる表示制御手段と、
前記対象者の画像から前記対象者の目の動きを検出する検出手段と、
前記目の動きに基づいて、前記対象者の目が前記注視点を追従しているか否か判定する追従判定手段と、
前記追従判定手段の判定結果に基づいて、前記対象者のなりすましを検出するなりすまし検出手段と、
検出された前記対象者の目の動きから、前記注視点の位置と前記対象者の視点位置との差である視差を算出し、
前記注視点が動いている状態で算出された前記視差から、前記視差の時間遅延分を算出し、
前記視差及び前記視差の時間遅延分に基づいて、推定された前記視点位置の真の値に対する乖離量を算出し、
前記乖離量に基づいて、前記対象者の視点位置を補正する補正値を決定し、
前記補正値に基づいて前記視点位置を補正する補正手段と
を備えることを特徴とする視線推定システム。

【請求項2】

前記表示制御手段は、前記注視点が所定の速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が繰り返して移動するように表示させる第１態様に加え、前記注視点を一定間隔で強調表示する第２態様、前記注視点を一定間隔で表示・非表示を交互に繰り返すように表示する第３態様、並びに移動中に前記注視点の大きさを変更する第４態様のうち少なくとも一つの表示態様で注視点を表示させることを特徴とする請求項１に記載の視線推定システム。

【請求項3】

前記表示制御手段は、前記注視点の移動する移動軌跡のうち、前記注視点が通過した軌跡と通過していない軌跡とを異なる表示態様で表示させる、又は前記注視点の移動する移動軌跡のうち、前記注視点が通過した軌跡と通過していない軌跡とのうち少なくとも一方を表示させることを特徴とする請求項１又は２に記載の視線推定システム。

【請求項4】

前記補正手段は、
前記注視点が移動する領域の複数箇所で前記乖離量を算出し、
前記複数箇所で算出された前記乖離量に基づいて決定される複数の前記補正値を統合して、前記視点位置を補正する
ことを特徴とする請求項３に記載の視線推定システム。

【請求項5】

前記なりすまし検出手段は、前記対象者の目が前記注視点を追従していない場合に、前記対象者のなりすましを検出することを特徴とする請求項１から４のいずれか一項に記載の視線推定システム。

【請求項6】

前記なりすまし検出手段は、
検出された前記対象者の目の動きから、前記注視点の位置と前記対象者の視点位置との差である視差を算出し、
前記注視点が動いている状態で算出された前記視差から、前記視差の時間遅延分を算出し、
前記視差及び前記視差の時間遅延分に基づいて、推定された前記視点位置の真の値に対する乖離量を算出し、
前記乖離量に基づいて、前記対象者のなりすましを検出する
ことを特徴とする請求項５に記載の視線推定システム。

【請求項7】

対象者が注視する注視点を、所定の速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が繰り返して移動するように表示させ、
前記対象者の画像から前記対象者の目の動きを検出し、
前記目の動きに基づいて、前記対象者の目が前記注視点を追従しているか否か判定し、
前記対象者の目が前記注視点を追従しているか否かの判定結果に基づいて、前記対象者のなりすましを検出し、
検出された前記対象者の目の動きから、前記注視点の位置と前記対象者の視点位置との差である視差を算出し、
前記注視点が動いている状態で算出された前記視差から、前記視差の時間遅延分を算出し、
前記視差及び前記視差の時間遅延分に基づいて、推定された前記視点位置の真の値に対する乖離量を算出し、
前記乖離量に基づいて、前記対象者の視点位置を補正する補正値を決定し、
前記補正値に基づいて前記視点位置を補正する
ことを特徴とする視線推定方法。

【請求項8】

対象者が注視する注視点を、所定の速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が繰り返して移動するように表示させ、
前記対象者の画像から前記対象者の目の動きを検出し、
前記目の動きに基づいて、前記対象者の目が前記注視点を追従しているか否か判定し、
前記対象者の目が前記注視点を追従しているか否かの判定結果に基づいて、前記対象者のなりすましを検出し、
検出された前記対象者の目の動きから、前記注視点の位置と前記対象者の視点位置との差である視差を算出し、
前記注視点が動いている状態で算出された前記視差から、前記視差の時間遅延分を算出し、
前記視差及び前記視差の時間遅延分に基づいて、推定された前記視点位置の真の値に対する乖離量を算出し、
前記乖離量に基づいて、前記対象者の視点位置を補正する補正値を決定し、
前記補正値に基づいて前記視点位置を補正する
ようにコンピュータを動作させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、対象者の視線を推定する視線推定システム、視線推定方法、及びコンピュータプログラムの技術分野に関する。

【背景技術】

【0002】

この種のシステムとして、対象者の視線を検出するものが知られている。例えば特許文献１では、ディスプレイにあらかじめ定められた視覚刺激情報を表示させ、視覚刺激情報と被験者の目の動きとから視線位置を推定する技術が開示されている。特許文献２では、所定のフレームレートで撮影された画像の各々を用いて、角膜反射法等の視線を検出する検出処理を実行する技術が開示されている。特許文献３では、撮像装置から受信したユーザの画像を用いて視線検出処理を実行する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０２４６０８号公報

【文献】特開２０１７－１０７５４６号公報

【文献】特開２０１８－０１５２１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

対象者に停止した注視点を注視してもらう手法は、対象者のかかる負担が大きいだけでなく、無意識の視線のふらつきを誘発することもある。上述した各特許文献では、視線のふらつきの対策が十分でなく改善の余地がある。

【0005】

この開示は、上記した課題を解決するための視線推定システム、視線推定方法、及びコンピュータプログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

この開示の視線推定システムの一の態様は、対象者が注視する注視点を、所定の速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が繰り返して移動するように表示させる表示制御手段と、前記対象者の画像から前記対象者の目の動きを検出する検出手段と、前記目の動きに基づいて、前記対象者の目が前記注視点を追従しているか否か判定する追従判定手段と、前記追従判定手段の判定結果に基づいて、前記対象者のなりすましを検出するなりすまし検出手段とを備える。

【0007】

この開示の視線推定方法の一の態様は、対象者が注視する注視点を、所定の速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が繰り返して移動するように表示させ、前記対象者の画像から前記対象者の目の動きを検出し、前記目の動きに基づいて、前記対象者の目が前記注視点を追従しているか否か判定し、前記対象者の目が前記注視点を追従しているか否かの判定結果に基づいて、前記対象者のなりすましを検出する。

【0008】

この開示のコンピュータプログラムの一の態様は、対象者が注視する注視点を、所定の速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が繰り返して移動するように表示させ、前記対象者の画像から前記対象者の目の動きを検出し、前記目の動きに基づいて、前記対象者の目が前記注視点を追従しているか否か判定し、前記対象者の目が前記注視点を追従しているか否かの判定結果に基づいて、前記対象者のなりすましを検出するようにコンピュータを動作させる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る視線推定システムの全体構成を示すブロック図である。

【図2】第１実施形態に係る視線推定システムのハードウェア構成を示すブロック図である。

【図3】第１実施形態に係る視線推定システムの動作の流れを示すフローチャートである。

【図4】第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その１）である。

【図5】第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その２）である。

【図6】第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その３）である。

【図7】第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その４）である。

【図8】第２実施形態に係る視線推定システムによる注視点の軌跡の表示態様を示す概念図（その１で）ある。

【図9】第２実施形態に係る視線推定システムによる注視点の軌跡の表示態様を示す概念図（その２）である。

【図10】第２実施形態に係る視線推定システムによる注視点の軌跡の表示態様を示す概念図（その３）である。

【図11】第３実施形態に係る視線推定システムの全体構成を示すブロック図である。

【図12】第３実施形態に係る視線推定システムの動作の流れを示すフローチャートである。

【図13】第４実施形態に係る視線推定システムの全体構成を示すブロック図である。

【図14】第４実施形態に係る視線推定システムの動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、視線推定システム、視線推定方法、及びコンピュータプログラムの実施形態について説明する。

【0011】

＜第１実施形態＞
第１実施形態に係る視線推定システムについて、図１から図３を参照して説明する。

【0012】

（システム構成）
まず、図１を参照しながら、第１実施形態に係る視線推定システムの全体構成について説明する。図１は、第１実施形態に係る視線推定システムの全体構成を示すブロック図である。

【0013】

図１に示すように、第１実施形態に係る視線推定システム１０は、その機能を実現するための機能ブロックとして、表示制御部１０１と、動き検出部１０２と、追従判定部１１０とを備えている。

【0014】

表示制御部１０１は、例えばディスプレイ等を有する表示装置において、注視点を表示可能に構成されている。表示制御部１０１は、注視点が所定の移動経路に沿って移動するように表示を制御する。より具体的には、表示制御部１０１は、注視点の移動経路、移動速度、大きさ、色等、注視点の挙動や表示態様に関する各パラメータを制御する。注視点の具体的な表示例については後に詳しく説明する。

【0015】

動き検出部１０２は、対象者（即ち、注視点を注視している人物）の画像から、対象者の目の動きを推定する。動き検出部１０２は、例えば注視部が表示される表示装置の周辺に設置されたカメラ等から、対象者の画像を取得すればよい。動き検出部１０２は、例えば対象者の画像から対象者の顔領域を検出して、顔領域の画像から目の動きを検出してもよい。また、動き検出部１０２は、対象者の画像における目の動きから対象者の視線（例えば、対象者が表示部２０のどの位置を注視しているか）を推定してもよい。なお、目の動きのより具体的な検出方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。

【0016】

追従判定部１１０は、表示制御部１０１によって制御されている注視点の動きと、動き検出部１０２で検出された目の動きとの関係性に基づいて、対象者の目が注視点を追従しているか否か判定可能に構成されている。追従判定部１１０は、例えば注視点の動きを追うように対象者の目が動いている場合に、対象者の目が注視点を追従していると判定すればよい。ただし、注視点の動きと、対象者の動きとの間にはある程度の時間遅延（反応の遅れに起因するズレ）が生ずる。よって、追従判定部１１０は、このような時間遅延を考慮して追従を判定するようにしてもよい。また、注視点の動きと対象者の目の動きにまったくズレがない場合、対象者の目が注視点を追従していないと判定する（例えば、何らかの不正が行われていると判定する）ようにしてもよい。

【0017】

（ハードウェア構成）
次に、図２を参照しながら、第１実施形態に係る視点位置推定装置１０のハードウェア構成について説明する。図２は、第１実施形態に係る視点位置推定装置のハードウェア構成を示すブロック図である。

【0018】

図２に示すように、第１実施形態に係る視線推定システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。視線推定システム１０は更に、入力装置１５と、出力装置１６とを備えていてもよい。ＣＰＵ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。なお、視線推定システム１０は、ＣＰＵ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とを、それぞれ複数備えていてもよい。

【0019】

ＣＰＵ１１は、コンピュータプログラムを読み込む。例えば、ＣＰＵ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、ＣＰＵ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。ＣＰＵ１１は、ネットワークインタフェースを介して、視線推定システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。ＣＰＵ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、ＣＰＵ１１が読み込んだコンピュータプログラムを実行すると、ＣＰＵ１１内には、注視点の表示を制御し、対象者の目の動きを推定し、追従を判定するための機能ブロックが実現される（図１参照）。

【0020】

ＲＡＭ１２は、ＣＰＵ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、ＣＰＵ１１がコンピュータプログラムを実行している際にＣＰＵ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。

【0021】

ＲＯＭ１３は、ＣＰＵ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。

【0022】

記憶装置１４は、視線推定システム１０が長期的に保存するデータを記憶する。記憶装置１４は、ＣＰＵ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0023】

入力装置１５は、視線推定システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。

【0024】

出力装置１６は、視線推定システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、視線推定システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。

【0025】

（動作の流れ）
次に、図３を参照しながら、第１実施形態に係る視点位置推定装置１０の動作の流れについて説明する。図３は、第１実施形態に係る視点位置推定装置の動作の流れを示すフローチャートである。

【0026】

図３に示すように、第１実施形態に係る視点位置推定装置１０の動作時には、まず表示制御部１０１が、注視点の表示制御を開始する（ステップＳ１１）。なお、注視点の表示制御は、例えば対象者の端末操作等によって開始されてもよいし、注視点が表示される表示装置等の周辺に対象者が存在することを検知して自動的に開始されてもよい。

【0027】

注視点の表示制御が開始されると、動き検出部１０２が、対象者の画像を取得する（ステップＳ１２）。そして、動き検出部１０２は、取得した対象者の画像から、対象者の目の動きを検出する（ステップＳ１３）。

【0028】

続いて、追従判定部１１０が、表示制御部１０１によって制御されている注視点の動きと、動き検出部１０２で検出された目の動きとの関係性に基づいて、対象者の目が注視点を追従しているか否か判定する（ステップＳ１４）。

【0029】

（技術的効果）
次に、第１実施形態に係る視点位置推定装置１０によって得られる技術的効果の一例について説明する。

【0030】

図１から図３で説明したように、第１実施形態に係る視点位置推定装置１０によれば、対象者に注視点を注視させることで、対象者の目の動きを検出することができる。ここで特に、注視点は移動するように制御されるため、例えば停止した注視点を注視させる場合と比べると、対象者の視線のふらつきを抑制することができる。

【0031】

また本実施形態では、検出された目の動きから、対象者が注視点を追従しているか否かが判定される。よって、移動する注視点を対象者が正常に注視しているか否かを判定できる。この判定結果は、目の動きを適切に検出できる状態であるか否かを判定するだけでなく、例えば後述する第２及び第３実施形態のように、対象者の視点位置を補正する処理、或いはなりすましを検知する処理等に利用することができる。

【0032】

＜第２実施形態＞
第２実施形態に係る視線推定システムについて、図４から図１０を参照して説明する。なお、第２実施形態は、上述した第１実施形態と比べて一部の動作（主に、中止点の表示に関する動作）が異なるのみであり、その他については概ね同様である。よって、以下では第１実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。

【0033】

（システム構成）
第２実施形態に係る視線推定システムの構成は、第１実施形態に係る視線推定システム（図１参照）と同一であってもよいため、その説明については省略する。また、第２実施形態に係る視線推定システムのハードウェア構成についても、第１実施形態に係る視線位置推定システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。

【0034】

（動作の流れ）
第２実施形態に係る視線推定システム１０の動作の流れは、第１実施形態に係る視線推定システム１０の動作の流れ（図３参照）と同一であってもよいため、その説明については省略する。ただし、第２実施形態に係る視線推定システム１０では、表示制御部１０１が、注視点の表示態様又は注視点の軌跡の表示態様を下記のように制御する。

【0035】

（注視点の表示態様）
第２実施形態に係る視線推定システム１０における注視点の表示態様について、図４から図７を参照して説明する。図４は、第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その１）である。図５は、第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その２）である。図６は、第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その３）である。図７は、第２実施形態に係る視線推定システムによる注視点の表示態様を示す概念図（その４）である。

【0036】

図４に示すように、注視点Ｘは、表示部２０における表示面上を、所定の軌跡に沿って移動と停止を交互に繰り返すように移動する。より具体的には、注視点Ｘは、所定の直線上を動いた後、その直線の終点で所定期間（例えば、数秒間）停止し、そこから再び他の直線上を動いた後、その直線の終点で所定期間停止するという動作を繰り返す。このようにすれば、対象者に容易に注視点Ｘを注視させることができる。注視点Ｘは、表示部２０における表示面上の各点をすべて通過するように移動することが好ましい。ここで、注視点Ｘの形状は例えば楕円であり、注視点Ｘの位置は例えば注視点Ｘの中心位置である。なお、注視点Ｘの形状や位置はこれに限られない。

【0037】

対象者には、このような注視点Ｘの動きを目で追ってもらう。対象者に注視点Ｘを追ってもらうためには、注視点Ｘの表示制御を開始する前に、対象者に対して具体的な指示を出力してもよい。例えば、表示部２０上に注視点Ｘを追うように文章等で指示が表示されればよい。或いは、対象者が自然に注視点Ｘを目で追うような表示制御を行うようにしてもよい。例えば、注視点Ｘが対象者の興味を惹くようなキャラクターやオブジェクト等として表示されればよい。

【0038】

なお、注視点Ｘの移動速度や大きさは予め設定されている。ただし、対象者の反応に応じて、注視点Ｘの移動速度を適宜変更するようにしてもよい。例えば、注視点の動きに対する視線の動きの遅延が相対的に大きい対象者については、注視点Ｘの動きを遅くするようにしてもよい。或いは、対象者の反応に応じて、注視点Ｘの大きさを適宜変更するようにしてもよい。例えば、視点位置のばらつきが相対的に大きい対象者については、注視点Ｘの大きさを大きくするようにしてもよい。また、対象者の反応に応じて、注視点Ｘの移動速度及び大きさの両方を適宜変更するようにしてもよい。注視点Ｘの移動速度を変更する制御、又は注視点Ｘの大きさを変更する制御は、注視点Ｘの表示制御が開始された直後の結果（例えば、最初の直線上を移動する際に測定された結果）を用いて実行されればよい。

【0039】

図５に示すように、注視点Ｘは、移動中に所定間隔でフラッシュする（言い換えれば、強調表示される）ように制御されてもよい。このようにすれば、対象者に容易に注視点Ｘを注視させることができる。また、注視点Ｘが一定間隔でフラッシュすることで、対象者は注視点Ｘの動きを予測しやすくなる。よって、視差の時間遅延分（即ち、注視点の動きに対する視線の動きの遅延分）を一定の値まで小さくすることが容易となる。なお、図５に示す表示態様においても、図４で説明したように、注視点Ｘが動く状態と停止する状態を交互に繰り返すようにしてもよい。

【0040】

図６に示すように、注視点Ｘは、移動中に見える状態（図中のＸ１）と、見えない状態（図中のＸ２）を交互に繰り返すように制御されてもよい。このようにした場合でも、対象者に容易に注視点Ｘを注視させることができる。また、注視点Ｘが周期的に見える状態と見えない状態を繰り返すことで、対象者は注視点Ｘの動きを予測しやすくなる。よって、視差の時間遅延分を一定の値まで小さくすることが容易となる。なお、図６に示す表示態様においても、図４で説明したように、注視点Ｘが動く状態と停止する状態を交互に繰り返すようにしてもよい。

【0041】

図７に示すように、注視点Ｘは、移動中に大きく表示される状態（図中のＸ３）と、見小さく表示される状態（図中のＸ４）を交互に繰り返すように制御されてもよい。このようにした場合でも、対象者に容易に注視点Ｘを注視させることができる。また、注視点Ｘの大きさが周期的に変化することで、対象者は注視点Ｘの動きを予測しやすくなる。よって、視差の時間遅延分を一定の値まで小さくすることが容易となる。なお、図７に示す表示態様においても、図４で説明したように、注視点Ｘが動く状態と停止する状態を交互に繰り返すようにしてもよい。

【0042】

また、注視点Ｘに加えて、カウント用の数字を表示するようにしてもよい。この数字は、例えば予め設定された初期値から上限値までカウントアップしてもよいし、予め設定された初期値から下限値までカウントダウンしてもよい。数字のカウントは、時間経過で（例えば、１秒ごとに）行われてもよい。また、注視点Ｘが動き出してから止まるまでの期間においてカウントしてもよいし、フラッシュする度にカウントしてもよいし、注視点Ｘの位置と目の位置とが所定距離以内に連続的に収まっている場合にカウントしてもよい。

【0043】

（注視点の表示態様の技術的効果）
次に、第２実施形態の注視点の表示態様に係る視点位置推定装置１０によって得られる技術的効果の一例について説明する。

【0044】

第２実施形態に係る視点位置推定装置１０によれば、注視点の表示態様が図４から図７のように制御される。よって、対象者に注視点Ｘを注視させることがより容易となる。なお、図４から図７で示した各表示態様は適宜組み合わせてもよい。例えば、図４のように所定の軌跡に沿って移動と停止を交互に繰り返すように移動する注視点Ｘが、図５のように移動中に所定間隔でフラッシュするように制御されてもよい。

【0045】

（注視点の軌跡の表示態様）
次に、注視点Ｘの軌跡の表示態様について図８から図１０を参照して説明する。図８は、第２実施形態に係る視線推定システムによる注視点の軌跡の表示態様を示す概念図（その１）である。図９は、第２実施形態に係る視線推定システムによる注視点の軌跡の表示態様を示す概念図（その２）である。図１０は、第２実施形態に係る視線推定システムによる注視点の軌跡の表示態様を示す概念図（その３）である。

【0046】

図８に示すように、注視点Ｘの移動軌跡を表示するようにしてもよい。このようにすれば、対象者は、注視点Ｘがこれまでどのように移動してきたか、或いは注視点Ｘがこれからどのように移動するのかを知ることができる。その結果、対象者が注視点Ｘの動きを予測しやすくなる。

【0047】

図９及び図１０に示すように、注視点Ｘの移動軌跡は、すでに移動した移動軌跡と、こらから移動する移動軌跡とで、表示態様が異なるものとされてもよい。具体的には、図９に示すように、すでに移動した移動軌跡が実線で表示される一方で、これから移動する移動軌跡が点線で表示されるようにしてもよい。或いは、図１０に示すように、すでに移動した移動軌跡が通常通り表示される一方で、これから移動する移動軌跡が表示されないようにしてもよい（即ち、すでに移動した移動軌跡のみを表示するようにしてもよい）。

【0048】

（注視点の軌跡の表示態様の技術的効果）
次に、第２実施形態の注視点の軌跡の表示態様に係る視点位置推定装置１０によって得られる技術的効果の一例について説明する。

【0049】

第２実施形態に係る視点位置推定装置１０によれば、注視点の軌跡の表示態様が図８から図１０のように制御される。よって、対象者が注視点Ｘの動きを予測しやすくなることで、視差の時間遅延分を一定の値まで小さくすることが容易となる。視差の時間遅延分を一定の値まで小さくすることによる技術的効果の一例については、後述する第３実施形態において詳しく説明する。

【0050】

＜第３実施形態＞
第３実施形態に係る視線推定システムについて、図１１及び図１２を参照して説明する。第３実施形態では、視線推定システムが、視点位置を補正（キャリブレーション）するためのシステムとして機能する例を挙げて説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の構成や動作が異なるのみであり、その他については概ね同様である。よって、以下では第１及び第２実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。

【0051】

（システム構成）
まず、図１１を参照しながら、第３実施形態に係る視線推定システムの全体構成について説明する。図１１は、第３実施形態に係る視線推定システムの全体構成を示すブロック図である。なお、第３実施形態に係る視線推定システムのハードウェア構成は、第１実施形態に係る視線位置推定システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。

【0052】

図１１に示すように、第３実施形態に係る視線推定システム１０は、表示部２０及び撮像部３０と接続されている。表示部２０は、視点位置の推定対象である対象者が視認可能な位置に配置されたディスプレイであり、視点位置を推定するための注視点を表示する。表示部２０における注視点の表示制御は、視線推定システム１０によって行われる。撮像部３０は、表示部２０の周辺に設置されたカメラであり、対象者の画像（特に、顔周辺の画像）を撮像可能な位置に配置されている。撮像部３０で撮像された対象者の画像は、視線推定システム１０に出力される構成となっている。

【0053】

第３実施形態に係る視線推定システム１０は、第１実施形態の構成要素（図１参照）に加えて、視差算出部１０３と、統計処理部１０４と、時間遅延算出部１０５と、乖離量算出部１０６と、補正値統合部１０７と、視点補正出力部１０８とを備えている。

【0054】

視差算出部１０３は、表示制御部１０１によって制御されている注視点の位置と、動き検出部１０２で推定した対象者の視点位置との差分である視差を算出する。なお、視差算出部１０３で算出される視差は、ランダムな統計誤差や時間遅延分を含んだ値として算出される。視差算出部１０３は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0055】

統計処理部１０４は、視差算出部１０３で算出された視差に含まれる統計誤差を除去するための統計処理を実行可能に構成されている。具体的には、統計処理部１０４は、視差算出部１０３で算出された視差を一定時間で時間平均することで、統計誤差を除去する。なお、上述した統計処理はあくまで一例であり、他の統計処理を用いて統計誤差を除去してもよい。統計処理部１０４は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0056】

時間遅延算出部１０５は、視差算出部１０３で算出された視差に含まれる時間遅延分を算出可能に構成されている。時間遅延算出部１０５は、少なくとも注視点が移動している際の視差に基づいて、視差の時間遅延分を算出する。時間遅延算出部１０５は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0057】

乖離量算出部１０６は、統計処理部１０４で統計誤差が除去された視差、及び時間遅延算出部１０５で算出された時間遅延分に基づいて、動き検出部１０２で推定された視点位置と、視点位置の真の値（即ち、実際に対象者が見ている位置）との乖離量を算出する。乖離料算出部１０６は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0058】

補正値統合部１０７は、乖離量算出部１０６で算出された乖離量に基づいて、動き検出部１０２で推定された視点位置に対する補正値（言い換えれば、視点位置のずれを小さくするための補正量）を算出する。また、補正値統合部１０７は、表示部２０における複数箇所で算出された補正値に対して統合処理を実行し、視点位置を補正するための補正式を生成する。この補正式を用いれば、実際には補正値が算出されていない点についても、視点位置を補正することが可能となる。補正値統合部１０７は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0059】

視点補正出力部１０８は、補正値統合部１０７で生成された補正式を、視点位置のキャリブレーションを実施するための情報として出力する。なお、視点補正出力部１０８は、生成された補正式を記憶しておき、視点位置を補正して出力する機能（即ち、補正された視点位置を出力する機能）を有していてもよい。視点補正出力部１０８は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0060】

（動作の流れ）
次に、図１２を参照しながら、第３実施形態に係る視線推定システム１０の動作の流れについて説明する。図１２は、第３実施形態に係る視線推定システムの動作の流れを示すフローチャートである。

【0061】

図１２に示すように、第３実施形態に係る視線推定システム１０の動作時には、まず表示制御部１０１が、表示部２０における注視点の表示制御を開始する（ステップＳ１０１）。なお、注視点の表示制御は、例えば対象者の端末操作等によって開始されてもよいし、表示部２０周辺に対象者が存在することを検知して自動的に開始されてもよい。

【0062】

注視点の表示制御が開始されると、動き検出部１０２が、撮像部３０から対象者の画像を取得する（ステップＳ１０２）。そして、動き検出部１０２は、取得した対象者の画像から、対象者の視点位置を推定する（ステップＳ１０３）。

【0063】

続いて、視差算出部１０３が、注視点の位置と推定された視点位置との差分である視差を算出する（ステップＳ１０４）。視差が算出されると、統計処理部１０４が統計処理を実行し、視差に含まれる統計誤差を除去する（ステップＳ１０５）。

【0064】

その後、時間遅延算出部１０５が、視差に発生している時間遅延分を算出する（ステップＳ１０６）。そして、乖離量算出部１０６が、統計誤差が除去された視差及び視差の時間遅延分に基づいて、推定された視点位置と実際の視点位置との乖離量を算出する（ステップＳ１０７）。

【0065】

乖離量が算出されると、表示制御部１０１による注視点の表示制御が終了したか否かを判定する（ステップＳ１０８）。即ち、注視点が所定経路に沿って移動と停止を繰り返し、終着点まで移動が完了したか否かを判定する。表示制御が終了していないと判定された場合（ステップＳ１０８：ＮＯ）、再びステップＳ１０２から処理が繰り返される。これにより、注視点の移動経路に沿った複数箇所で乖離量が算出されることになる。

【0066】

表示制御が終了したと判定された場合（ステップＳ１０８：ＹＥＳ）、追従判定部１１０が、対象者の目が注視点を追従していたか否かを判定する（ステップＳ１０９）。なお、追従判定部１１０は、表示制御が終了する前に（即ち、注視点が表示されている状態で）対象者の目が注視点を追従しているか否かを判定するようにしてもよい。例えば、追従判定部１１０は、注視点Ｘが停止する度に、対象者の目が注視点を追従しているか否かを判定するようにしてもよい。なお、対象者の目が注視点を追従していないと判定された場合（ステップＳ１０９：ＮＯ）、以降の処理は省略され一連の動作は終了する。対象者の目が注視点を追従していなければ、適切な視点位置の補正が実行できないからである。

【0067】

一方、対象者の目が注視点を追従していたと判定された場合（ステップＳ１０９：ＹＥＳ）、補正値統合部１０７が、複数箇所で算出された乖離量の各々から複数の補正値を算出し、複数の補正値に対する統合処理を実行する（ステップＳ１０９）。即ち、複数の補正値に基づいて、視点位置の補正式を算出する。そして、視点補正出力部１０８は、補正値統合部１０７で生成された補正式を、視点位置のキャリブレーションを実行するための情報として出力する（ステップＳ１１０）。

【0068】

（視点位置の補正）
次に、第２実施形態に係る視線推定システム１０による視点位置の補正について具体的に説明する。なお、以下では、注視点Ｘが第２実施形態において説明した図６のような表示態様で表示されるものとする。

【0069】

本実施形態に係る視線推定システム１０の動き検出部１０２で推定される視点位置を“Ｘｇａｚｅ，ｅｓｔ”、補正値を“ΔＸｃａｌｉｂ”、統計誤差を“ε”とすると、対象者の視点位置の真の値“Ｘｇａｚｅ，ｔｒｕｅ”は、下記式（１）で表すことができる。

【0070】

【0071】

なお、視差が統計誤差を含まない場合、上記式（１）は、下記式（２）のように表すこともできる。

この場合、以下の説明における“ε”を無視して計算することが可能である。

【0072】

また、注視点Ｘの位置を“Ｘｃ”、時間遅延分を“δＸｄｅｌａｙ”とすると、下記式（３）のように表すこともできる。

【0073】

【0074】

更に、上記式（１）及び（３）から、視差算出部１０３で算出される視差“Ｘｇａｚｅ，ｅｓｔ－Ｘｃ”は、下記式（４）で表すことができる。

【0075】

【0076】

ここで、統計誤差εは、統計処理部１０４が実行する統計処理によって除去することができる。この結果、視差算出部１０３で算出されるＸｇａｚｅ，ｅｓｔ－Ｘｃと、時間遅延算出部１０５によって算出される時間遅延分δＸｄｅｌａｙを用いて、補正値ΔＸｃａｌｉｂを算出することが可能となる。

【0077】

なお、補正値ΔＸｃａｌｉｂは、少なくとも注視点Ｘが動いている状態での視差を利用して算出される。注視点Ｘが動いている状態では、注視点Ｘが動き出してから十分な時間が経過した場合に、時間遅延分δＸｄｅｌａｙが小さくなる。具体的には、注視点が一定速度で動くことにより対象者が注視点の動きを予測することができるようになるため、時間遅延分が小さくなり、限りなく一定の値に近づく。このときの時間遅延分は、例えば注視点Ｘが停止した際の視点位置や、停止した位置に視点が定まるまでの経過時間等から推定することができる。よって、注視点Ｘが動いている状態の視差を利用すれば、より容易且つ正確に補正値ΔＸｃａｌｉｂを算出できる。なお、注視点が動いている状態での視差は、例えば注視点Ｘが動く直線上の中点において算出されればよい。

【0078】

補正値ΔＸｃａｌｉｂは、表示部２０の複数箇所において算出される。そして、補正値統合部１０７は、複数箇所で統合された補正値ΔＸｃａｌｉｂを統合して視点位置の補正式を生成する。補正式は、例えば所定の係数Ａ及びｂを含む下記式（５）のような式として生成される。

【0079】

【0080】

なお、補正値ΔＸｃａｌｉｂは、注視点Ｘが動いている状態で算出される補正値だけでなく、注視点Ｘが停止している状態で算出される補正値を統合して算出されてもよい。

【0081】

また、注視点Ｘの位置Ｘｃとして、視点位置Ｘｇａｚｅ，ｅｓｔに最も近い、注視点Ｘの円周上の位置（すなわち、視点位置Ｘｇａｚｅ，ｅｓｔと注視点Ｘの中心位置とを結ぶ線分と、注視点Ｘの円周と、の交点）を採用してもよい。

【0082】

なお、上述した例では、視差算出、視差統計処理、視差時間遅延算出、乖離量算出（即ち、図５のステップＳ１０４からＳ１０７の処理）が順次実行されるケースを挙げて説明したが、これらの処理は必ずしもすべて実行されずともよい。

【0083】

例えば、視差算出を行うことで視点位置が補正されるようにしてもよい。このようにすることで、視差の影響を低減する補正が可能である。

【0084】

或いは、視差統計処理を行うことで視点位置が補正されるようにしてもよい。このようにすることで、視差の統計誤差による影響を低減する補正が可能である。

【0085】

或いは、視差時間遅延算出を行うことで視点位置が補正されるようにしてもよい。このようにすることで、視差の時間遅延分による影響を低減する補正が可能である。

【0086】

或いは、乖離量算出を行うことで視点位置が補正されるようにしてもよい。このようにすることで、視点位置の乖離量による影響を低減する補正が可能である。

【0087】

更に、視差算出、視差統計処理、視差時間遅延算出、乖離量算出の各処理は、少なくとも２つが組み合わされて実行されてもよい。

【0088】

（技術的効果）
次に、第３実施形態に係る視線推定システム１０によって得られる技術的効果の一例について説明する。

【0089】

図１１及び図１２で説明したように、第３実施形態に係る視線推定システム１０によれば、対象者に注視点Ｘを注視させることで、推定された視点位置を補正するための補正値（言い換えれば、キャリブレーションするための値）を算出することができる。また本実施形態では特に、注視点Ｘが動いている状態での視差を利用して補正値を算出するため、時間遅延分δＸｄｅｌａｙの影響を小さくし、注視点Ｘが静止している場合と比べて広い範囲でも補正値を取得できる。この結果、対象者が実際にどこを見ているのかを精度よく推定することが可能となる。

【0090】

＜第４実施形態＞
次に、第４実施形態に係る視線推定システム１０について、図１３及び図１４を参照して説明する。第４実施形態では、視線推定システム１０が、対象者のなりすましを判定するシステムとして機能する例を挙げて説明する。なお、第３実施形態は、既に説明した第１から第３実施形態と一部の構成及び動作が異なるのみであり、その他の部分は概ね同様である。このため、以下では第１から第３実施形態と異なる部分について詳細に説明し、他の重複する部分については説明を適宜省略するものとする。

【0091】

（システム構成）
まず、図１３を参照しながら、第４実施形態に係る視線推定システム１０の全体構成について説明する。図１３は、第４実施形態に係る視線推定システムの全体構成を示すブロック図である。なお、第４実施形態に係る視線推定システムのハードウェア構成は、第１実施形態に係る視線位置推定システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。

【0092】

図１３に示すように、第４実施形態に係る視線推定システム１０は、第３実施形態に係る視線推定システム１０の構成要素（図１参照）に加えて、なりすまし検出部２０１と、判定結果出力部２０２とを備えている。より正確には、第４実施形態に係る視線推定システム１０は、第３実施形態に係る補正値統合部１０７及び視点補正出力部１０８に代えて、なりすまし検出部２０１及び判定結果出力部２０２を備えている。

【0093】

なりすまし検出部２０１は、追従判定部１１０の判定結果に基づいて、なりすまし（即ち、動画等を用いた不正な動作）が行われていることを検出可能に構成されている。例えば、対象者が実際に撮像部３０の前に存在している場合、時間遅延分に起因して、乖離量は相応の大きさを有する値として算出される。一方で、対象者が実際に撮像部３０の前に存在しておらず、対象者の撮像された動画等を撮像部３０に向けている場合、人間特有の時間遅延分が発生せず、乖離量は極めて小さい値として算出される。よって、追従判定部１１０は、算出された乖離量と所定の閾値を比較することで、対象者による正常な注視点Ｘの追従が行われているか否かを判定することができる。従って、なりすまし検出部は、追従判定部１１０の判定結果に基づいて、なりすましが行われていることを検出することができる。具体的には、追従判定部１１０は、算出された乖離量が所定の閾値より大きい場合には、対象者による正常な注視点Ｘの追従が行われていると判定する。この場合、なりすまし検出部２０１は、なりすましが行われていることを検出する。一方、追従判定部１１０は、算出された乖離量が所定の閾値より小さい場合には、対象者による正常な注視点Ｘの追従が行われていないと判定する。この場合、なりすまし検出部２０１は、なりすましが行われていることを検出しない。なりすまし検出部２０１は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0094】

判定結果出力部２０２は、なりすまし検出部２０１による判定結果を出力可能に構成されている。判定結果出力部２０２は、なりすましが行われているか否かの結果のみを出力するようにしてもよいし、なりすましが行われていることが検出された場合に、所定の動作（例えば、アラート動作）を実行するようにしてもよい。判定結果出力部２０２は、例えばＣＰＵ１１（図１参照）において、上述した機能を有する機能ブロックとして実現されればよい。

【0095】

（動作の流れ）
次に、図１４を参照しながら、第４実施形態に係る視線推定システム１０の動作の流れについて説明する。図１４は、第４実施形態に係る視線推定システムの動作の流れを示すフローチャートである。

【0096】

図１４に示すように、第４実施形態に係る視線推定システム１０の動作時には、第１実施形態と同様に、まずステップＳ１０１からＳ１０８の処理が実行される。即ち、対象者に注視点Ｘを目で追ってもらい、その際に撮像された画像から、推定された視点位置と真の値との乖離量が算出される。

【0097】

第４実施形態では特に、注視点の表示制御が終了したと判定されると（ステップＳ１０８：ＹＥＳ）、追従判定部１１０が、対象者の目が注視点を追従していたか否かを判定する（ステップＳ１０９）。そして、対象者の目が注視点を追従していないと判定された場合（ステップＳ１０９：ＮＯ）、なりすまし検出部２０１が、なりすましが行われていることを検出する（ステップＳ２０１）。一方で、対象者の目が注視点を追従していたと判定された場合（ステップＳ１０９：ＹＥＳ）、なりすまし検出部２０１が、なりすましが行われていることを検出しない（ステップＳ２０２）。そして、判定結果出力部２０２は、なりすまし判定部２０１による判定結果を出力する（ステップＳ２０２）。

【0098】

なお、第４実施形態では、注視点Ｘの表示制御が終了する前に、なりすまし検出部２０１によってなりすましが検出されてもよい（言い換えれば、注視点Ｘの表示制御が終了する前に、追従判定部１１０による判定が実行されてもよい）。例えば、追従判定部１１０は、算出された一の乖離量の値がなりすましに対応する値であると判定できた時点で、注視点Ｘの移動完了を待たずに、追従が行われていないと判定し、そのタイミングで、なりすまし検出部２０１が、なりすましが行われていることを検出するようにしてもよい。

【0099】

（技術的効果）
次に、第４実施形態に係る視線推定システム１０によって得られる技術的効果の一例について説明する。

【0100】

図１３及び図１４で説明したように、第４実施形態に係る視線推定システム１０によれば、乖離量算出部１０６で算出された乖離量に基づいて、なりすましが行われているか否かを判定して検出することができる。即ち、実際の人間の視点位置の動きと、機械的な視点位置の動きとの違いを利用して、適切になりすましを判定して検出することができる。第４実施形態に係る視線推定システム１０は、例えば視点位置を利用した認証処理を実行する場合に有益な効果を発揮する。

【0101】

なお、第４実施形態に係る視線推定システム１０では、注視点の軌跡を表示しないようにすることが好ましい。或いは、図１０に示したように、すでに移動した移動軌跡を表示する一方で、これから移動する移動軌跡は表示しないようにすることが好ましい。

【0102】

＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。

【0103】

（付記１）
付記１に記載の視点位置推定システムは、対象者が注視する注視点を所定の移動態様で移動させるように表示させる表示制御手段と、前記対象者の画像から前記対象者の目の動きを検出する検出手段と、前記注視点の動きと前記目の動きとの関係性に基づき、前記対象者の目が前記注視点を追従しているか否か判定する追従判定手段と、を備えることを特徴とする視線推定システムである。

【0104】

（付記２）
付記２に記載の視線推定システムは、前記表示制御手段は、前記注視点が所定の加速度で動く第１期間、及び前記注視点を所定期間停止する第２期間が交互に繰り返されるように前記注視点を移動させる第１態様、前記注視点を一定間隔で強調表示する第２態様、前記注視点を一定間隔で表示・非表示を交互に繰り返する第３態様、並びに移動中に前記注視点の大きさを変更する第４態様のうち少なくとも一つの表示態様で注視点を表示させることを特徴とする付記１に記載の視線推定システムである。

【0105】

（付記３）
付記３に記載の視線推定システムは、前記表示制御手段は、前記注視点の移動する移動軌跡のうち、前記注視点が通過した軌跡と通過していない軌跡とを異なる表示態様で表示させる、又は前記注視点の移動する移動軌跡のうち、前記注視点が通過した軌跡と通過していない軌跡とのうち少なくとも一方を表示させることを特徴とする付記１又は２に記載の視線推定システムである。

【0106】

（付記４）
付記４に記載の視線推定システムは、前記対象者の目が前記注視点を追従しているか否かに応じて、検出された前記対象者の目の動きに関するパラメータを補正する補正手段を備えることを特徴とする付記１から３のいずれか一項に記載の視線推定システムである。

【0107】

（付記５）
付記５に記載の視線推定システムは、前記補正手段は、検出された前記対象者の目の動きから、前記注視点の位置と前記対象者の視点位置との差である視差を算出し、前記注視点が動いている状態で算出された前記視差から、前記視差の時間遅延分を算出し、前記視差及び前記視差の時間遅延分に基づいて、推定された前記視点位置の真の値に対する乖離量を算出し、前記乖離量に基づいて、前記対象者の視点位置を補正する補正値を決定することを特徴とする付記４に記載の視線推定システムである。

【0108】

（付記６）
付記６に記載の視線推定システムは、前記補正手段は、前記注視点が移動する領域の複数箇所で前記乖離量を算出し、前記複数箇所で算出された前記乖離量に基づいて決定される複数の前記補正値を統合して、前記視点位置を補正する
ことを特徴とする付記５に記載の視線推定システムである。

【0109】

（付記７）
付記７に記載の視線推定システムは、前記対象者の目が前記注視点を追従していない場合に、前記対象者のなりすましを検出するなりすまし検出手段を更に備えることを特徴とする請求項１から６のいずれか一項に記載の視線推定システムである。

【0110】

（付記８）
付記８に記載の視線推定システムは、前記なりすまし検出手段は、検出された前記対象者の目の動きから、前記注視点の位置と前記対象者の視点位置との差である視差を算出し、前記注視点が動いている状態で算出された前記視差から、前記視差の時間遅延分を算出し、前記視差及び前記視差の時間遅延分に基づいて、推定された前記視点位置の真の値に対する乖離量を算出し、前記乖離量に基づいて、前記対象者のなりすましを検出することを特徴とする付記７に記載の視線推定システムである。

【0111】

（付記９）
付記８に記載の視線推定装置は、前記表示制御手段は、前記なりすまし検出手段によってなりすましを検出する場合に、前記注視点の移動軌跡を表示させないことを特徴とする付記７又は８に記載の視線推定システムである。

【0112】

（付記１０）
付記１０に記載の視線推定方法は、対象者が注視する注視点を所定の移動態様で移動させるように表示させ、前記対象者の画像から前記対象者の目の動きを検出し、前記注視点の動きと前記目の動きとの関係性に基づき、前記対象者の目が前記注視点を追従しているか否か判定することを特徴とする視線推定方法である。

【0113】

（付記１１）
付記１１に記載のコンピュータプログラムは、対象者が注視する注視点を所定の移動態様で移動させるように表示させ、前記対象者の画像から前記対象者の目の動きを検出し、前記注視点の動きと前記目の動きとの関係性に基づき、前記対象者の目が前記注視点を追従しているか否か判定するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。

【0114】

この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う視線推定システム、視線推定方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。

【符号の説明】

【0115】

１０ 視線推定システム
２０ 表示部
３０ 撮像部
１０１ 表示制御部
１０２ 動き検出部
１０３ 視差算出部
１０４ 統計処理部
１０５ 時間遅延算出部
１０６ 乖離量算出部
１０７ 補正値統合部
１０８ 視点補正出力部
１１０ 追従判定部
２０１ なりすまし検出部
２０２ 判定結果出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】