知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022096388
(43)【公開日】2022-06-29
(54)【発明の名称】眼球運動計測装置、眼球運動計測方法及びプログラム
(51)【国際特許分類】
G06T 7/269 20170101AFI20220622BHJP
G06T 7/254 20170101ALI20220622BHJP
G06T 7/20 20170101ALI20220622BHJP
【ＦＩ】
G06T7/269
G06T7/254 A
G06T7/20 300Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2020209459
(22)【出願日】2020-12-17
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】小黒 久史
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA03
5L096AA06
5L096BA08
5L096CA04
5L096CA17
5L096CA23
5L096DA01
5L096DA02
5L096FA04
5L096FA06
5L096FA62
5L096FA69
5L096GA07
5L096GA08
5L096GA51
5L096HA05
5L096JA11
(57)【要約】
【課題】被験者に装着可能とし、被験者の日常的な状態、すなわち日常生活における移動したり、頭部を動かしたりしている状態におけるマイクロサッカードを含む眼球運動を計測することができる眼球運動計測装置を提供する。
【解決手段】本発明の眼球運動計測装置は、眼球を含んで撮像される眼の動画像において、眼球の着目点の位置変化を検出する眼球運動計測装置であり、動画像の所定の条件を満た領域を計測範囲として設定する計測範囲設定部と、計測範囲において、輝度勾配を算出する輝度勾配算出部と、計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出部と、輝度変化量及び輝度勾配の各々により、勾配法を用いて位置変化を求める移動距離算出部とを備える。
【選択図】図１
【解決手段】本発明の眼球運動計測装置は、眼球を含んで撮像される眼の動画像において、眼球の着目点の位置変化を検出する眼球運動計測装置であり、動画像の所定の条件を満た領域を計測範囲として設定する計測範囲設定部と、計測範囲において、輝度勾配を算出する輝度勾配算出部と、計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出部と、輝度変化量及び輝度勾配の各々により、勾配法を用いて位置変化を求める移動距離算出部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
眼球を含んで撮像される眼の動画像において、前記眼球の着目点の位置変化を検出する眼球運動計測装置であり、
前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定部と、
前記計測範囲において、輝度勾配を算出する輝度勾配算出部と、
前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出部と、
前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出部と
を備えることを特徴とする眼球運動計測装置。
前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定部と、
前記計測範囲において、輝度勾配を算出する輝度勾配算出部と、
前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出部と、
前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出部と
を備えることを特徴とする眼球運動計測装置。
【請求項2】
前記計測範囲設定部が、前記眼球の瞳孔及び虹彩の境界を含む領域を前記計測範囲として設定する
ことを特徴とする請求項１に記載の眼球運動計測装置。
ことを特徴とする請求項１に記載の眼球運動計測装置。
【請求項3】
前記動画像が、
前記フレーム画像間における瞳孔の前記位置変化を、前記輝度勾配が一定の勾配を有する前記計測範囲に収まる移動範囲内とするフレーム周期で撮像されている
ことを特徴とする請求項１または請求項２に記載の眼球運動計測装置。
前記フレーム画像間における瞳孔の前記位置変化を、前記輝度勾配が一定の勾配を有する前記計測範囲に収まる移動範囲内とするフレーム周期で撮像されている
ことを特徴とする請求項１または請求項２に記載の眼球運動計測装置。
【請求項4】
前記計測範囲設定部が、前記フレーム画像において、各画素の輝度値と輝度閾値とを比較し、前記瞳孔の画像領域である瞳孔画像領域を抽出し、当該瞳孔画像領域の中心点から外周方向に前記瞳孔画像領域を拡大した領域を計測範囲として設定する
ことを特徴とする請求項２または請求項３に記載の眼球運動計測装置。
ことを特徴とする請求項２または請求項３に記載の眼球運動計測装置。
【請求項5】
前記計測範囲設定部が、前記計測範囲の内部において、輝度値が所定の第１閾値未満の画素を前記計測範囲として選択する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の眼球運動計測装置。
ことを特徴とする請求項１から請求項４のいずれか一項に記載の眼球運動計測装置。
【請求項6】
前記計測範囲設定部が、前記計測範囲の内部において、他の領域に比較して前記輝度勾配がより高い領域の画素のグループを、前記計測範囲として選択する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の眼球運動計測装置。
ことを特徴とする請求項１から請求項５のいずれか一項に記載の眼球運動計測装置。
【請求項7】
前記計測範囲設定部が、前記輝度勾配において輝度値がより低い画素を、前記計測範囲の画素として選択する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の眼球運動計測装置。
ことを特徴とする請求項１から請求項６のいずれか一項に記載の眼球運動計測装置。
【請求項8】
前記計測範囲設定部が、前記計測範囲の内部において、前記輝度勾配及び画素の輝度値との各々に基づき、前記計測範囲の画素を選択する
ことを特徴とする請求項１から請求項７のいずれか一項に記載の眼球運動計測装置。
ことを特徴とする請求項１から請求項７のいずれか一項に記載の眼球運動計測装置。
【請求項9】
前記計測範囲設定部が、前記計測範囲の内部において、前記輝度勾配を画素の輝度値から推定されるショットノイズ量により除算した数値と、第２閾値とを比較して、前記計測範囲の画素を選択する
ことを特徴とする請求項１から請求項８のいずれか一項に記載の眼球運動計測装置。
ことを特徴とする請求項１から請求項８のいずれか一項に記載の眼球運動計測装置。
【請求項10】
前記計測範囲設定部が、前記計測範囲の内部において、前記輝度勾配を画素の輝度値の平方根により除算した数値が、第２閾値より大きい画素を前記計測範囲の画素とする
ことを特徴とする請求項１から請求項９のいずれか一項に記載の眼球運動計測装置。
ことを特徴とする請求項１から請求項９のいずれか一項に記載の眼球運動計測装置。
【請求項11】
前記計測範囲設定部が、
前記計測範囲に対応してｘ軸方向の輝度勾配としてｘ軸方向輝度勾配と、ｙ軸方向の輝度勾配としてｙ軸方向輝度勾配を求め、前記輝度変化量と、前記ｘ軸方向輝度勾配と、前記ｙ軸方向輝度勾配とから、連立一次方程式を立てて、瞳孔のｘ軸方向の移動量であるｘ軸方向移動量と、ｙ軸方向の移動量であるｙ軸方向移動量とを求める
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の眼球運動計測装置。
前記計測範囲に対応してｘ軸方向の輝度勾配としてｘ軸方向輝度勾配と、ｙ軸方向の輝度勾配としてｙ軸方向輝度勾配を求め、前記輝度変化量と、前記ｘ軸方向輝度勾配と、前記ｙ軸方向輝度勾配とから、連立一次方程式を立てて、瞳孔のｘ軸方向の移動量であるｘ軸方向移動量と、ｙ軸方向の移動量であるｙ軸方向移動量とを求める
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の眼球運動計測装置。
【請求項12】
前記計測範囲設定部が、
前記計測範囲の各々の前記ｘ軸方向輝度勾配の絶対値である第１絶対値と、ｙ軸方向輝度勾配の絶対値である第２絶対値とを比較し、
前記第２絶対値より前記第１絶対値が大きい計測範囲の画素を第１グループとし、前記第１絶対値より前記第２絶対値が大きい計測範囲の画素を第２グループとし、
前記第１グループにおける前記画素の各々の前記ｘ軸方向輝度勾配を加算して変数であるｘ軸方向移動量に乗じた数値と、前記ｙ軸方向輝度勾配を加算して変数であるｙ軸方向移動量に乗じた数値とを加算した結果が当該画素それぞれの輝度変化量の積算値となる、前記連立一次方程式の一方の方程式を生成し、
前記第２グループにおける前記画素の各々の前記ｘ軸方向輝度勾配を加算して変数であるｘ軸方向移動量に乗じた数値と、前記ｙ軸方向輝度勾配を加算して変数であるｙ軸方向移動量に乗じた数値とを加算した結果が当該計測範囲それぞれの輝度変化量の積算値となる、前記連立一次方程式の他方の方程式を生成し、
前記連立一次方程式を計算することにより、前記ｘ軸方向移動量及び前記ｙ軸方向移動量の各々を求める
ことを特徴とする請求項１１に記載の眼球運動計測装置。
前記計測範囲の各々の前記ｘ軸方向輝度勾配の絶対値である第１絶対値と、ｙ軸方向輝度勾配の絶対値である第２絶対値とを比較し、
前記第２絶対値より前記第１絶対値が大きい計測範囲の画素を第１グループとし、前記第１絶対値より前記第２絶対値が大きい計測範囲の画素を第２グループとし、
前記第１グループにおける前記画素の各々の前記ｘ軸方向輝度勾配を加算して変数であるｘ軸方向移動量に乗じた数値と、前記ｙ軸方向輝度勾配を加算して変数であるｙ軸方向移動量に乗じた数値とを加算した結果が当該画素それぞれの輝度変化量の積算値となる、前記連立一次方程式の一方の方程式を生成し、
前記第２グループにおける前記画素の各々の前記ｘ軸方向輝度勾配を加算して変数であるｘ軸方向移動量に乗じた数値と、前記ｙ軸方向輝度勾配を加算して変数であるｙ軸方向移動量に乗じた数値とを加算した結果が当該計測範囲それぞれの輝度変化量の積算値となる、前記連立一次方程式の他方の方程式を生成し、
前記連立一次方程式を計算することにより、前記ｘ軸方向移動量及び前記ｙ軸方向移動量の各々を求める
ことを特徴とする請求項１１に記載の眼球運動計測装置。
【請求項13】
赤外光を前記眼に照射して、当該眼から反射される反射光を多階調で撮像して前記動画像を取得する
ことを特徴とする請求項１から請求項１２のいずれか一項に記載の眼球運動計測装置。
ことを特徴とする請求項１から請求項１２のいずれか一項に記載の眼球運動計測装置。
【請求項14】
眼球を含んで撮像される眼の動画像において、前記眼球の着目点の位置変化を検出する眼球運動計測方法であり、
計測範囲設定部が、前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定過程と、
輝度勾配算出部が、前記計測範囲において、輝度勾配を算出する輝度勾配算出過程と、
輝度変化量算出部が、前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出過程と、
移動距離算出部が、前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出過程と
を含むことを特徴とする眼球運動計測方法。
計測範囲設定部が、前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定過程と、
輝度勾配算出部が、前記計測範囲において、輝度勾配を算出する輝度勾配算出過程と、
輝度変化量算出部が、前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出過程と、
移動距離算出部が、前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出過程と
を含むことを特徴とする眼球運動計測方法。
【請求項15】
眼球を含んで撮像される眼の動画像において、前記眼球の着目点の位置変化を検出する眼球運動計測装置の動作をコンピュータに実行させるプログラムであり、
前記コンピュータを、
前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定手段、
前記計測範囲において、輝度勾配を算出する輝度勾配算出手段、
前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出手段、
前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出手段
として機能させるためのプログラム。
前記コンピュータを、
前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定手段、
前記計測範囲において、輝度勾配を算出する輝度勾配算出手段、
前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出手段、
前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被験者の眼球運動を検出する眼球運動計測装置、眼球運動計測方法及びプログラムに関する。
【背景技術】
【0002】
一般的に、人間が眼を絶えず動かしながら対象空間を観察していることはよく知られている。すなわち、人間の眼球は観察する対象に対して視線が停止した状態にある固視状態と、また、視線を短時間（２０ｍｓ（ミリ秒）～６０ｍｓ程度）で高速（１００度（ｄｅｇ）／～５００度／秒程度）で眼球を移動させるサッカードを繰り返して、視覚情報を取得している。
【0003】
しかし、固視状態においても、実際は眼球が所謂固視微動（以下、マイクロサッカードと示す）を行っている。
このマイクロサッカードは、固視微動の一種で、眼球の回旋角としての振幅は１度以下で、持続時間が数十ミリ秒以下の微小な跳躍運動である。
このマイクロサッカードは、固視微動の一種で、眼球の回旋角としての振幅は１度以下で、持続時間が数十ミリ秒以下の微小な跳躍運動である。
【0004】
マイクロサッカードには、その制御系において視覚的注意が強く反映されていることを示唆する研究報告が多数存在する。
そして、多くの研究報告においては、視覚的な注意の移動に伴って、マイクロサッカードの発生頻度が増加し、一方、視覚的な注意の集中に伴って、マイクロサッカードの発生頻度が減少することが示されている。
そして、多くの研究報告においては、視覚的な注意の移動に伴って、マイクロサッカードの発生頻度が増加し、一方、視覚的な注意の集中に伴って、マイクロサッカードの発生頻度が減少することが示されている。
【0005】
このため、マイクロサッカードの発生頻度を解析する（例えば、非特許文献１及び非特許文献２を参照）ことにより、視線を向けている対象に視覚的な注意を集中して観察しているか、あるいは、ただぼんやりと（注意を集中しない状態で）視線を向けているだけなのかを判断するなど、人の内部状態を推定することができる。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】高橋正則、磯貝浩久、Judy L. Van Raalte、”予測反応事態の眼球運動からマイクロサッカードを検出する試み －テニスのサービスに対する予測反応課題を用いて－”、スポーツ産業学研究、VOL.28、No.1（2018）、13～29
【非特許文献2】鈴木一隆、豊田晴義、花山良平、石井勝弘、”インテリジェントビジョンセンサを用いた両眼同時固視微動計測装置の開発とマイクロサッカードの左右差の評価”、生体医工学、53(5)、247-254、2015
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述したように、マイクロサッカードを検出することにより、視線を向けている対象に対する人間の潜在的な注意の度合いを推定することができる。
しかしながら、マイクロサッカードを検出しようとする場合、眼球の回旋角度が０．１度以下で、持続時間も０．０１秒以下の眼球運動の検出が必要な場合もあり、一般的なサッカードの検出を対象とした視線計測装置においてはそれほど微少で高速な眼球運動の計測を行うことができない。
しかしながら、マイクロサッカードを検出しようとする場合、眼球の回旋角度が０．１度以下で、持続時間も０．０１秒以下の眼球運動の検出が必要な場合もあり、一般的なサッカードの検出を対象とした視線計測装置においてはそれほど微少で高速な眼球運動の計測を行うことができない。
【0008】
そのため、マイクロサッカードの検出を行おうとする場合には、眼球の回旋角の計測精度と計測速度を高める必要がある。
通常の視線計測では、視線の方向を推定するために、瞳孔の位置を正確に求める必要があり、測定精度を高めようとした場合、機械的構造の複雑化や高精度化のために、計測装置が据え置きを前提としたサイズに大型化する傾向がある。
また、測定精度を向上させるため、眼の位置が大きく変動しないように、被験者の頭部を固定させる必要がある。
通常の視線計測では、視線の方向を推定するために、瞳孔の位置を正確に求める必要があり、測定精度を高めようとした場合、機械的構造の複雑化や高精度化のために、計測装置が据え置きを前提としたサイズに大型化する傾向がある。
また、測定精度を向上させるため、眼の位置が大きく変動しないように、被験者の頭部を固定させる必要がある。
【0009】
したがって、非特許文献１及び非特許文献２の視線計測装置は、大型の計測器において被験者の頭を固定して、マイクロサッカードを計測するため、被験者の日常生活で自由に室内及び室外を歩行しているなどにおけるマイクロサッカードを計測することができない。
例えば、商店において、被験者が商品棚の間を移動して商品を見ている状態などにおけるマイクロサッカードを計測することができない。
例えば、商店において、被験者が商品棚の間を移動して商品を見ている状態などにおけるマイクロサッカードを計測することができない。
【0010】
本発明は、このような状況に鑑みてなされたもので、被験者に装着可能とし、被験者の日常的な状態、すなわち日常生活における移動したり、頭部を動かしたりしている状態におけるマイクロサッカードを含む眼球運動を計測することができる眼球運動計測装置、眼球運動計測方法及びプログラムを提供する。
【課題を解決するための手段】
【0011】
上述した課題を解決するために、本発明の眼球運動計測装置は、眼球を含んで撮像される眼の動画像において、前記眼球の着目点の位置変化を検出する眼球運動計測装置であり、前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定部と、前記計測範囲において、輝度勾配を算出する輝度勾配算出部と、前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出部と、前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出部とを備えることを特徴とする。
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記眼球の瞳孔及び虹彩の境界を含む領域を前記計測範囲として設定することを特徴とする。
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記眼球の瞳孔及び虹彩の境界を含む領域を前記計測範囲として設定することを特徴とする。
【0012】
本発明の眼球運動計測装置は、前記動画像が、前記フレーム画像間における瞳孔の前記位置変化を、前記輝度勾配が一定の勾配を有する前記計測範囲に収まる移動範囲内とするフレーム周期で撮像されていることを特徴とする。
【0013】
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記フレーム画像において、各画素の輝度値と輝度閾値とを比較し、前記瞳孔の画像領域である瞳孔画像領域を抽出し、当該瞳孔画像領域の中心点から外周方向に前記瞳孔画像領域を拡大した領域を計測範囲として設定することを特徴とする。
【0014】
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記計測範囲の内部において、輝度値が所定の第１閾値未満の画素を前記計測範囲として選択することを特徴とする。
【0015】
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記計測範囲の内部において、他の領域に比較して前記輝度勾配がより高い領域の画素のグループを、前記計測範囲として選択することを特徴とする。
【0016】
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記輝度勾配において輝度値がより低い画素を、前記計測範囲の画素として選択することを特徴とする。
【0017】
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記計測範囲の内部において、前記輝度勾配及び画素の輝度値との各々に基づき、前記計測範囲の画素を選択することを特徴とする。
【0018】
本発明の眼球運動計測装置は、記計測範囲設定部が、前記計測範囲の内部において、前記輝度勾配を画素の輝度値から推定されるショットノイズ量により除算した数値と、第２閾値とを比較して、前記計測範囲の画素を選択することを特徴とする。
【0019】
本発明の眼球運動計測装置は、前記計測範囲の内部において、前記輝度勾配を画素の輝度値の平方根により除算した数値が、第２閾値より大きい画素を前記計測範囲の画素とすることを特徴とする。
【0020】
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記計測範囲に対応してｘ軸方向の輝度勾配としてｘ軸方向輝度勾配と、ｙ軸方向の輝度勾配としてｙ軸方向輝度勾配を求め、前記輝度変化量と、前記ｘ軸方向輝度勾配と、前記ｙ軸方向輝度勾配とから、連立一次方程式を立てて、瞳孔のｘ軸方向の移動量であるｘ軸方向移動量と、ｙ軸方向の移動量であるｙ軸方向移動量とを求めることを特徴とする。
【0021】
本発明の眼球運動計測装置は、前記計測範囲設定部が、前記計測範囲の各々の前記ｘ軸方向輝度勾配の絶対値である第１絶対値と、ｙ軸方向輝度勾配の絶対値である第２絶対値とを比較し、前記第２絶対値より前記第１絶対値が大きい計測範囲の画素を第１グループとし、前記第１絶対値より前記第２絶対値が大きい計測範囲の画素を第２グループとし、前記第１グループにおける前記画素の各々の前記ｘ軸方向輝度勾配を加算して変数であるｘ軸方向移動量に乗じた数値と、前記ｙ軸方向輝度勾配を加算して変数であるｙ軸方向移動量に乗じた数値とを加算した結果が当該画素それぞれの輝度変化量の積算値となる、前記連立一次方程式の一方の方程式を生成し、前記第２グループにおける前記画素の各々の前記ｘ軸方向輝度勾配を加算して変数であるｘ軸方向移動量に乗じた数値と、前記ｙ軸方向輝度勾配を加算して変数であるｙ軸方向移動量に乗じた数値とを加算した結果が当該計測範囲それぞれの輝度変化量の積算値となる、前記連立一次方程式の他方の方程式を生成し、前記連立一次方程式を計算することにより、前記ｘ軸方向移動量及び前記ｙ軸方向移動量の各々を求めることを特徴とする。
【0022】
本発明の眼球運動計測装置は、赤外光を前記眼に照射して、当該眼から反射される反射光を多階調で撮像して前記動画像を取得することを特徴とする。
【0023】
本発明の眼球運動計測方法は、眼球を含んで撮像される眼の動画像において、前記眼球の着目点の位置変化を検出する眼球運動計測方法であり、計測範囲設定部が、前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定過程と、輝度勾配算出部が、前記計測範囲において、輝度勾配を算出する輝度勾配算出過程と、輝度変化量算出部が、前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出過程と、移動距離算出部が、前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出過程とを含むことを特徴とする。
【0024】
本発明のプログラムは、眼球を含んで撮像される眼の動画像において、前記眼球の着目点の位置変化を検出する眼球運動計測装置の動作をコンピュータに実行させるプログラムであり、前記コンピュータを、前記動画像の所定の条件を満たす領域を計測範囲として設定する計測範囲設定手段、前記計測範囲において、輝度勾配を算出する輝度勾配算出手段、前記計測範囲のフレーム画像間の輝度変化量を求める輝度変化量算出手段、前記輝度変化量及び前記輝度勾配の各々により、勾配法を用いて前記位置変化を求める移動距離算出手段として機能させるためのプログラムである。
【発明の効果】
【0025】
以上説明したように、本発明によれば、被験者に装着可能とし、被験者の日常的な状態、すなわち日常生活における移動しつつ、頭部を動かしている状態における眼球のマイクロサッカードを計測することができる眼球運動計測装置、眼球運動計測方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0026】
【図1】本実施形態の眼球運動計測装置による計測システムの構成例を示す概念図である。
【図2】フレーム画像と、当該フレーム画像における眼の各部が撮像された撮像領域における画素の輝度値を示す図である。
【図3】フレーム画像における瞳孔５０１の撮像領域から計測範囲の設定処理を説明する眼の概念図である。
【図4】候補画素の存在する領域における輝度勾配の算出を説明する図である。
【図5】画像フレームにおける輝度勾配の算出の一例を示す図である。
【図6】本実施形態における瞳孔の移動量を勾配法により求める処理を説明する概念図である。
【図7】移動量Δｘが大きい場合におけるフレーム画像間の画素位置と画素の輝度値との関係を示す図である。
【図8】撮像面の瞳孔の跳躍運動における移動量の導出を説明する概念図である。
【図9】フレーム画像の眼球における瞳孔及び虹彩の境界領域における輝度勾配の直線性を説明する図である。
【図12】複数の計測画素から連立一次方程式を生成する処理を説明する概念図である。
【図13】本実施形態による眼球運動計測装置における計測処理の動作例を説明するフローチャートである。
【発明を実施するための形態】
【0027】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態の眼球運動計測装置による計測システムの構成例を示す概念図である。図１において、計測システム１は、眼球運動計測装置１０、赤外線照射装置２０、撮像レンズ３０、赤外線フィルター４０及びイメージセンサー５０の各々を備えている。
眼球運動計測装置１０は、入力される人間の眼球運動を撮像した動画像から、眼球における着目点の瞳孔の位置変化の検出を行う。
図１は、本実施形態の眼球運動計測装置による計測システムの構成例を示す概念図である。図１において、計測システム１は、眼球運動計測装置１０、赤外線照射装置２０、撮像レンズ３０、赤外線フィルター４０及びイメージセンサー５０の各々を備えている。
眼球運動計測装置１０は、入力される人間の眼球運動を撮像した動画像から、眼球における着目点の瞳孔の位置変化の検出を行う。
【0028】
赤外線照射装置２０は、被験者の眼球を含む眼の領域を照明する赤外線を照射するＬＥＤ（Light Emitting Diode）を備えている。本実施形態において、上記ＬＥＤは、例えば、７７０ｎｍの波長の不可視の赤外光（赤外線）を放射するデバイスを使用している。
ここで、照明に可視光を用いた場合、被験者がその照明の光に反応して、すなわち、瞳孔に入ってくる光の光量を減少させるため、虹彩が閉じることで瞳孔の大きさが変動し、かつ光をよけるため瞳孔の位置が変化する可能性がある。あるいは照明の光に注意が向いてしまう可能性もあるため、対象の観察における被験者の心理的な状態を推定するために用いる、観察している対象に対応した自然な状態で生じる眼球運動の計測ができなくなる。このため、本実施形態において、眼球運動を照射光によって影響を受けずに計測するため、眼球の照明に不可視の波長の赤外光を用いている。
ここで、照明に可視光を用いた場合、被験者がその照明の光に反応して、すなわち、瞳孔に入ってくる光の光量を減少させるため、虹彩が閉じることで瞳孔の大きさが変動し、かつ光をよけるため瞳孔の位置が変化する可能性がある。あるいは照明の光に注意が向いてしまう可能性もあるため、対象の観察における被験者の心理的な状態を推定するために用いる、観察している対象に対応した自然な状態で生じる眼球運動の計測ができなくなる。このため、本実施形態において、眼球運動を照射光によって影響を受けずに計測するため、眼球の照明に不可視の波長の赤外光を用いている。
【0029】
撮像レンズ３０は、眼球を近距離から撮像するための小型撮像レンズであり、被写体である眼球からの反射光（反射された赤外光）光を、後述するイメージセンサー５０の撮像面に結像する。
【0030】
赤外線フィルター４０は、不可視の波長の赤外光を透過させ、可視光の波長の光を遮断する光学フィルターである。本実施形態においては、例えば、カットオフ波長が７００ｎｍの光学フィルターを用いている。
【0031】
イメージセンサー５０は、撮像面に照射される光の明暗を電気信号に変換して画像データとして出力するデバイスであり、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。
また、イメージセンサー５０は、所定のフレーム周期（本実施形態におけるフレーム周期については後に詳述）の撮像画像であるフレーム画像を連続した動画像として、眼球運動計測装置１０に出力する。ここで、動画像におけるフレーム画像の各々は、多階調で撮像されている。
また、イメージセンサー５０は、所定のフレーム周期（本実施形態におけるフレーム周期については後に詳述）の撮像画像であるフレーム画像を連続した動画像として、眼球運動計測装置１０に出力する。ここで、動画像におけるフレーム画像の各々は、多階調で撮像されている。
【0032】
眼球運動計測装置１０は、データ入出力部１１、計測範囲設定部１２、輝度勾配算出部１３、輝度変化量算出部１４、移動距離算出部１５、表示部１６及び記憶部１７の各々を備えている。
データ入出力部１１は、イメージセンサー５０から供給される撮像画像を、記憶部１７に書き込んで記憶させる。
また、データ入出力部１１は、眼球運動計測装置１０が計測した瞳孔移動量（眼球の旋回における移動量であり、後述する連続するフレーム周期におけるフレーム間のｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙ）を外部装置に対して出力する。
データ入出力部１１は、イメージセンサー５０から供給される撮像画像を、記憶部１７に書き込んで記憶させる。
また、データ入出力部１１は、眼球運動計測装置１０が計測した瞳孔移動量（眼球の旋回における移動量であり、後述する連続するフレーム周期におけるフレーム間のｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙ）を外部装置に対して出力する。
【0033】
計測範囲設定部１２は、撮像画像であるフレーム画像における瞳孔の移動量を算出するために用いる計測画素を抽出する画像領域として、計測範囲を設定する。本実施形態においては、輝度勾配と輝度変化量とを用いて移動量を計測する勾配法を用いて着目点の眼球の移動量を計測する手法を用いている。
したがって、輝度勾配が大きい領域を用いて、移動量が微少であっても輝度変化量を大きく計測して、計測する移動量の精度を向上させるため、後述するように、眼球の他の部分に比較して、より高い輝度勾配を有する瞳孔及び虹彩の境界領域を計測対象としている。
したがって、輝度勾配が大きい領域を用いて、移動量が微少であっても輝度変化量を大きく計測して、計測する移動量の精度を向上させるため、後述するように、眼球の他の部分に比較して、より高い輝度勾配を有する瞳孔及び虹彩の境界領域を計測対象としている。
【0034】
図２は、フレーム画像と、当該フレーム画像における眼の各部が撮像された画像領域における画素の輝度値を示す図である。図２（ａ）は、眼球５００における瞳孔５０１、虹彩５０２及び眼球結膜５０３の撮像領域を含むフレーム画像を示している。
また、境界領域５０５は、瞳孔５０１及び虹彩５０２の各々の境界近傍の画像領域を示している。反射領域５０６は、照射される赤外光源の反射像が映り込んだ部分の画像領域であり、周囲の画像領域に比較して輝度値が高くなる。
また、境界領域５０５は、瞳孔５０１及び虹彩５０２の各々の境界近傍の画像領域を示している。反射領域５０６は、照射される赤外光源の反射像が映り込んだ部分の画像領域であり、周囲の画像領域に比較して輝度値が高くなる。
【0035】
図２（ｂ）は、図２（ａ）のフレーム画像における線分Ａ－Ａ’上にある画素の各々の輝度値を示すグラフである。図２（ｂ）は、横軸が画素のｘ座標（画素位置）を示し、縦軸が各画素の輝度値を示している。
点線Ｂ１が眼球強膜５０３の撮像領域における画素の輝度値を指示している。
点線Ｂ２が瞳孔５０１及び虹彩５０２の境界領域５０５の撮像領域における画素の輝度値を示している。
点線Ｂ１が眼球強膜５０３の撮像領域における画素の輝度値を指示している。
点線Ｂ２が瞳孔５０１及び虹彩５０２の境界領域５０５の撮像領域における画素の輝度値を示している。
【0036】
点線Ｂ３及び点線Ｂ４の各々が反射領域５０６の撮像領域における画素の輝度値を示している。
点線Ｂ５が虹彩５０２及び眼球強膜５０３の境界の撮像領域における画素の輝度値を示している。
本実施形態においては、眼球において、瞳孔と虹彩との境界領域が、眼球の他の領域と比較して大きな輝度勾配を有するため、勾配法により瞳孔の移動量の算出に用いている。このため、眼球が撮像されたフレーム画像から、瞳孔の撮像領域を抽出する。
点線Ｂ５が虹彩５０２及び眼球強膜５０３の境界の撮像領域における画素の輝度値を示している。
本実施形態においては、眼球において、瞳孔と虹彩との境界領域が、眼球の他の領域と比較して大きな輝度勾配を有するため、勾配法により瞳孔の移動量の算出に用いている。このため、眼球が撮像されたフレーム画像から、瞳孔の撮像領域を抽出する。
【0037】
ここで、計測範囲設定部１２は、瞳孔５０１が撮像された撮像領域を検出する際、フレーム画像の各画素の輝度値と、瞳孔検出閾値とを比較する。
そして、計測範囲設定部１２は、上記瞳孔検出閾値（図２（ｂ）の点線１０）未満の輝度値を有する画素の集合体を瞳孔５０１が撮像された撮像領域として抽出する。瞳孔５０１の撮像領域は、フレーム画像内で最も輝度値が低いため、他の部分の撮像領域と容易に区別することができる。
そして、計測範囲設定部１２は、上記瞳孔検出閾値（図２（ｂ）の点線１０）未満の輝度値を有する画素の集合体を瞳孔５０１が撮像された撮像領域として抽出する。瞳孔５０１の撮像領域は、フレーム画像内で最も輝度値が低いため、他の部分の撮像領域と容易に区別することができる。
【0038】
ここで、瞳孔検出閾値は、本実施形態において、瞳孔が撮像された画素の輝度値と、虹彩が撮像された画素の輝度値との中間値を使用している。
また、瞳孔検出閾値は、実験として複数の人間の眼を撮像し、瞳孔の輝度値を周囲の他の部分と区別可能であることを検出した結果の輝度値を閾値として使用してもよい。
本実施形態においては、図２（ａ）に示す、輝度勾配の大きな範囲（点線Ｂ２が示す領域）である瞳孔５０１と虹彩５０２との境界領域５０５近傍の画素を、瞳孔５０１の移動量を勾配法により計測（推定）するために用いる計測画素（後述）として用いる。
また、瞳孔検出閾値は、実験として複数の人間の眼を撮像し、瞳孔の輝度値を周囲の他の部分と区別可能であることを検出した結果の輝度値を閾値として使用してもよい。
本実施形態においては、図２（ａ）に示す、輝度勾配の大きな範囲（点線Ｂ２が示す領域）である瞳孔５０１と虹彩５０２との境界領域５０５近傍の画素を、瞳孔５０１の移動量を勾配法により計測（推定）するために用いる計測画素（後述）として用いる。
【0039】
図３は、フレーム画像における瞳孔５０１の撮像領域から計測範囲の設定処理を説明する眼の概念図である。
図２で説明した瞳孔５０１の撮像領域、すなわち境界領域５０５の内側部分を抽出した後、計測範囲設定部１２は、瞳孔５０１の領域の中心画素（中心Ｏ）を抽出し、中心画素から境界領域５０５までの画素数を、瞳孔５０１の領域の半径Ｒとする。
そして、計測範囲設定部１２は、上記半径Ｒに対して所定の係数値ｐ（ｐ＞１、例えば、本実施形態においては１．５）を乗じ、半径Ｒ’の範囲を計測範囲（処理対象領域）６００として設定する。
図２で説明した瞳孔５０１の撮像領域、すなわち境界領域５０５の内側部分を抽出した後、計測範囲設定部１２は、瞳孔５０１の領域の中心画素（中心Ｏ）を抽出し、中心画素から境界領域５０５までの画素数を、瞳孔５０１の領域の半径Ｒとする。
そして、計測範囲設定部１２は、上記半径Ｒに対して所定の係数値ｐ（ｐ＞１、例えば、本実施形態においては１．５）を乗じ、半径Ｒ’の範囲を計測範囲（処理対象領域）６００として設定する。
【0040】
すなわち、計測範囲設定部１２は、瞳孔の移動量（すなわち眼球の移動量）を計測するための計測画素を抽出する領域として、瞳孔５０１と虹彩５０２との境界領域５０５が必ず含まれる計測範囲６００を求める。
これにより、被験者の眼を撮像したフレーム画像において、眼球以外の眼鏡、眉毛などの誤差要因となる不要な部分の画像が含まれることを抑制し、瞳孔及び虹彩の境界領域が撮像された可能性が高い部分として計測範囲６００が求められる。
これにより、被験者の眼を撮像したフレーム画像において、眼球以外の眼鏡、眉毛などの誤差要因となる不要な部分の画像が含まれることを抑制し、瞳孔及び虹彩の境界領域が撮像された可能性が高い部分として計測範囲６００が求められる。
【0041】
図１に戻り、輝度勾配算出部１３は、フレーム画像における各画素が、上記計測範囲６００の範囲内の画素であるか否かの判定を行う。
そして、輝度勾配算出部１３は、計測範囲６００の範囲内の画素の各々の輝度値が、予め設定された輝度閾値（第１閾値）未満であるか否かを判定する。
そして、輝度勾配算出部１３は、計測範囲６００の範囲内の画素の各々の輝度値が、予め設定された輝度閾値（第１閾値）未満であるか否かを判定する。
【0042】
これにより、被験者の眼を撮像したフレーム画像において、眼球の撮像部分における光源の映り込みなどの輝度値が大きく、移動量の検出の誤差要因となる不要な画素を、計測画素として抽出する候補の候補画素から除外する。
そして、輝度勾配算出部１３は、計測範囲６００の範囲内における輝度値が上記輝度値未満の画素を、計測画素とする候補の画素である候補画素とする。
次に、輝度勾配算出部１３は、抽出した候補画素の各々における輝度勾配を、以下の図４の説明のように、輝度勾配を算出する計測画素に隣接する８個の隣接画素のそれぞれを用いて算出する。
そして、輝度勾配算出部１３は、計測範囲６００の範囲内における輝度値が上記輝度値未満の画素を、計測画素とする候補の画素である候補画素とする。
次に、輝度勾配算出部１３は、抽出した候補画素の各々における輝度勾配を、以下の図４の説明のように、輝度勾配を算出する計測画素に隣接する８個の隣接画素のそれぞれを用いて算出する。
【0043】
図４は、候補画素の存在する領域における輝度勾配の算出を説明する図である。
候補画素Ｃｉ，ｊの属する領域７００の輝度勾配は、ｘ軸方向輝度勾配ｓｘとｙ軸方向輝度勾配ｓｙとして、輝度勾配算出部１３により算出される。
以下の説明において、画素Ｃｉ－１，ｊ－１から画素Ｃｉ＋１，ｊ＋１の各々の輝度値は、輝度値ＬＣｉ－１，ｊ－１から輝度値Ｃｉ＋１，ｊ＋１のそれぞれとして示す。ここで、画素Ｃｉ，ｊ のｘ軸方向輝度勾配ｓｘ及びｙ軸方向輝度勾配ｓｙの各々を、上、下、左、右、斜めにおける隣接する８個の画素Ｃｉ－１，ｊ－１、Ｃｉ－１，ｊ、Ｃｉ－１，ｊ＋１、Ｃｉ，ｊ－１、Ｃｉ，ｊ＋１、Ｃｉ＋１，ｊ－１、Ｃｉ＋１，ｊ、Ｃｉ＋１，ｊ＋１（これらの画素により計測画素の含まれる画素領域が形成されている）を用いて算出する。
候補画素Ｃｉ，ｊの属する領域７００の輝度勾配は、ｘ軸方向輝度勾配ｓｘとｙ軸方向輝度勾配ｓｙとして、輝度勾配算出部１３により算出される。
以下の説明において、画素Ｃｉ－１，ｊ－１から画素Ｃｉ＋１，ｊ＋１の各々の輝度値は、輝度値ＬＣｉ－１，ｊ－１から輝度値Ｃｉ＋１，ｊ＋１のそれぞれとして示す。ここで、画素Ｃｉ，ｊ のｘ軸方向輝度勾配ｓｘ及びｙ軸方向輝度勾配ｓｙの各々を、上、下、左、右、斜めにおける隣接する８個の画素Ｃｉ－１，ｊ－１、Ｃｉ－１，ｊ、Ｃｉ－１，ｊ＋１、Ｃｉ，ｊ－１、Ｃｉ，ｊ＋１、Ｃｉ＋１，ｊ－１、Ｃｉ＋１，ｊ、Ｃｉ＋１，ｊ＋１（これらの画素により計測画素の含まれる画素領域が形成されている）を用いて算出する。
【0044】
輝度勾配算出部１３は、ｘ軸方向輝度勾配ｓｘを、以下の式により求める。
ｓｘ＝［（ＬＣｉ－１，ｊ－１－ＬＣｉ＋１，ｊ＋１）／２＋（ＬＣｉ，ｊ－１－ＬＣｉ，ｊ＋１）／２＋（ＬＣｉ＋１，ｊ－１－ＬＣｉ＋１，ｊ＋１）／２］／３
すなわち、ｘ軸方向輝度勾配ｓｘは、画素Ｃｉ－１，ｊ－１の輝度値ＬＣｉ－１，ｊ－１から画素Ｃｉ＋１，ｊ＋１の輝度値ＬＣｉ＋１，ｊ＋１を減算して２画素で除算した輝度勾配と、画素Ｃｉ，ｊ－１の輝度値ＬＣｉ，ｊ－１から画素Ｃｉ，ｊ＋１の輝度値ＬＣｉ，ｊ＋１を減算して２画素で除算した輝度勾配と、画素Ｃｉ＋１，ｊ－１の輝度値ＬＣｉ＋１，ｊ－１から画素Ｃｉ＋１，ｊ＋１の輝度値ＬＣｉ＋１，ｊ＋１を減算して２画素で除算した輝度勾配との平均値により求められる。
ｓｘ＝［（ＬＣｉ－１，ｊ－１－ＬＣｉ＋１，ｊ＋１）／２＋（ＬＣｉ，ｊ－１－ＬＣｉ，ｊ＋１）／２＋（ＬＣｉ＋１，ｊ－１－ＬＣｉ＋１，ｊ＋１）／２］／３
すなわち、ｘ軸方向輝度勾配ｓｘは、画素Ｃｉ－１，ｊ－１の輝度値ＬＣｉ－１，ｊ－１から画素Ｃｉ＋１，ｊ＋１の輝度値ＬＣｉ＋１，ｊ＋１を減算して２画素で除算した輝度勾配と、画素Ｃｉ，ｊ－１の輝度値ＬＣｉ，ｊ－１から画素Ｃｉ，ｊ＋１の輝度値ＬＣｉ，ｊ＋１を減算して２画素で除算した輝度勾配と、画素Ｃｉ＋１，ｊ－１の輝度値ＬＣｉ＋１，ｊ－１から画素Ｃｉ＋１，ｊ＋１の輝度値ＬＣｉ＋１，ｊ＋１を減算して２画素で除算した輝度勾配との平均値により求められる。
【0045】
同様に、輝度勾配算出部１３は、ｙ軸方向輝度勾配ｓｙを、以下の式により求める。
ｓｙ＝［（ＬＣｉ－１，ｊ－１－ＬＣｉ＋１，ｊ－１）／２＋（ＬＣｉ－１，ｊ－ＬＣｉ＋１，ｊ）／２＋（ＬＣｉ－１，ｊ＋１－ＬＣｉ＋１，ｊ＋１）／２］／３
すなわち、ｙ軸方向輝度勾配ｙは、画素Ｃｉ－１，ｊ－１の輝度値ＬＣｉ－１，ｊ－１から画素Ｃｉ＋１，ｊ－１の輝度値ＬＣｉ＋１，ｊ－１を減算して２画素で除算した輝度勾配と、画素Ｃｉ－１，ｊの輝度値ＬＣｉ－１，ｊから画素Ｃｉ＋１，ｊの輝度値ＬＣｉ＋１，ｊを減算して２画素で除算した輝度勾配と、画素Ｃｉ－１，ｊ＋１の輝度値ＬＣｉ－１，ｊ＋１から画素Ｃｉ＋１，ｊ＋１の輝度値ＬＣｉ＋１，ｊ＋１を減算して２画素で除算した輝度勾配との平均値により求められる。
ｓｙ＝［（ＬＣｉ－１，ｊ－１－ＬＣｉ＋１，ｊ－１）／２＋（ＬＣｉ－１，ｊ－ＬＣｉ＋１，ｊ）／２＋（ＬＣｉ－１，ｊ＋１－ＬＣｉ＋１，ｊ＋１）／２］／３
すなわち、ｙ軸方向輝度勾配ｙは、画素Ｃｉ－１，ｊ－１の輝度値ＬＣｉ－１，ｊ－１から画素Ｃｉ＋１，ｊ－１の輝度値ＬＣｉ＋１，ｊ－１を減算して２画素で除算した輝度勾配と、画素Ｃｉ－１，ｊの輝度値ＬＣｉ－１，ｊから画素Ｃｉ＋１，ｊの輝度値ＬＣｉ＋１，ｊを減算して２画素で除算した輝度勾配と、画素Ｃｉ－１，ｊ＋１の輝度値ＬＣｉ－１，ｊ＋１から画素Ｃｉ＋１，ｊ＋１の輝度値ＬＣｉ＋１，ｊ＋１を減算して２画素で除算した輝度勾配との平均値により求められる。
【0046】
図５は、画像フレームにおける輝度勾配の算出の一例を示す図である。図５は横軸が画素の座標位置（画素位置）位置を示し、縦軸が画素の輝度値を示している。
画素位置ｘｎ－１の輝度勾配ｓｎ－１は、画素位置ｘｎ－２の画素の輝度値１２５から、画素位置ｘｎの画素の輝度値７５を減算して、距離としての２画素で除算した２５（＝（１２５－７５）／２＝５０／２）である。
また、画素位置ｘｎ＋１の輝度勾配ｓｎ＋１は、画素位置ｘｎの画素の輝度値７５から、画素位置ｘｎ＋２の画素の輝度値２５を減算して、距離としての２画素で除算した２５（＝（７５－２５）／２＝５０／２）である。
画素位置ｘｎ－１の輝度勾配ｓｎ－１は、画素位置ｘｎ－２の画素の輝度値１２５から、画素位置ｘｎの画素の輝度値７５を減算して、距離としての２画素で除算した２５（＝（１２５－７５）／２＝５０／２）である。
また、画素位置ｘｎ＋１の輝度勾配ｓｎ＋１は、画素位置ｘｎの画素の輝度値７５から、画素位置ｘｎ＋２の画素の輝度値２５を減算して、距離としての２画素で除算した２５（＝（７５－２５）／２＝５０／２）である。
【0047】
図１に戻り、輝度勾配算出部１３は、上記候補画素の輝度勾配Ｓ（すなわち、ベクトルｓｘ・Ｘとベクトルｓｙ・Ｙとの合成ベクトル、ここでＸはｘ軸方向の単位ベクトルであり、Ｙはｙ軸方向の単位ベクトルである）の絶対値を、候補画素の輝度値Ｉの平方根を除算した数値（＝｜Ｓ｜／（Ｉ）１／２）が、あらかじめ設定した勾配輝度値比閾値（第２閾値）以上か否かの判定を行う。ここで、｜Ｓ｜＝（ｓｘ２＋ｓｙ２）１／２であり、輝度値の平方根である（Ｉ）１／２は光子数の平方根である（Ｎ）１／２に比例している。また、ｓｘはｘ軸方向における瞳孔の移動量を示すｘ軸方向輝度勾配であり、ｓｙはｙ軸方向における瞳孔の移動量を示すｙ軸方向輝度勾配である（後述）。
そして、輝度勾配算出部１３は、｜Ｓ｜／（Ｉ）１／２が勾配輝度値比閾値以上の候補画素を、計測画素とする。
そして、輝度勾配算出部１３は、｜Ｓ｜／（Ｉ）１／２が勾配輝度値比閾値以上の候補画素を、計測画素とする。
【0048】
このとき、輝度勾配算出部１３は、連続するフレーム画像の各々に対して、何れの位置の画素が計測画素となったかを、フレーム画像に計測画素にマーキングした確認画像を、表示部１６に表示する構成としてもよい。
そして、ユーザが表示部１６の確認画像を観察し、瞳孔及び虹彩の境界領域における画素のみが計測画素となるように、勾配輝度値比閾値を調整して、計測画素の抽出をやり直したり、また、瞳孔及び虹彩の境界領域以外の計測画素として抽出された画素を検出し、この画素を計測画素から外す処理を行ってもよい。
そして、ユーザが表示部１６の確認画像を観察し、瞳孔及び虹彩の境界領域における画素のみが計測画素となるように、勾配輝度値比閾値を調整して、計測画素の抽出をやり直したり、また、瞳孔及び虹彩の境界領域以外の計測画素として抽出された画素を検出し、この画素を計測画素から外す処理を行ってもよい。
【0049】
図６は、本実施形態における瞳孔の移動量を勾配法により求める処理を説明する概念図である。図６においては、勾配法の説明を簡単とするため、一次元（ｘ軸方向のみ）における移動量の算出を説明する。
図６（ａ）は、一次元方向の輝度値の分布をグラデーションとして示している。図６（ａ）において、パターン２０１が第ｎ番目のフレーム画像を示し、パターン２０２が第ｎ＋１番目のフレーム画像を示している。
そして、パターン２０１及びパターン２０２における、同一の計測画素２０５を用いて移動量Δｘ（ｘ軸方向移動量Δｘ）が求められる。ここで、計測画素２０５は、パターン２０１及びパターン２０２の各々のフレーム画像において、同一の画素位置の計測画素である。
図６（ａ）は、一次元方向の輝度値の分布をグラデーションとして示している。図６（ａ）において、パターン２０１が第ｎ番目のフレーム画像を示し、パターン２０２が第ｎ＋１番目のフレーム画像を示している。
そして、パターン２０１及びパターン２０２における、同一の計測画素２０５を用いて移動量Δｘ（ｘ軸方向移動量Δｘ）が求められる。ここで、計測画素２０５は、パターン２０１及びパターン２０２の各々のフレーム画像において、同一の画素位置の計測画素である。
【0050】
図６（ｂ）は、計測画素２０５の輝度勾配ｓｘ（ｘ軸方向輝度勾配ｓｘ）と輝度変化量ΔＩとから移動量Δｘを勾配法により求めることを説明するグラフである。図６は横軸が画素の座標位置（画素位置）位置を示し、縦軸が画素の輝度値を示している。曲線２０３（実線）がパターン２０１の画素と輝度値の関係を示し、曲線２０４（点線）がパターン２０２の画素と輝度値の関係を示している。曲線２０４は曲線２０３から移動量Δｘだけ位相がｘ軸の＋方向にシフトしている。この、移動量Δｘは、フレーム画像間におけるフレーム周期（イメージセンサー５０の撮像周期）における瞳孔の移動量を示している。
ここで、輝度変化量ΔＩは、パターン２０１の計測画素２０５の輝度値Ｉｎから、パターン２０１の計測画素２０５の輝度値Ｉｎ＋１を減算した輝度値差（Ｉｎ－Ｉｎ＋１）である。
ここで、輝度変化量ΔＩは、パターン２０１の計測画素２０５の輝度値Ｉｎから、パターン２０１の計測画素２０５の輝度値Ｉｎ＋１を減算した輝度値差（Ｉｎ－Ｉｎ＋１）である。
【0051】
そして、瞳孔が移動する（眼球が回旋して移動する）ことにより、パターン２０２のフレーム画像の計測画素２０５に撮像される瞳孔の位置が、パターン２０１のフレーム画像の計測画素２０５に撮像される瞳孔の位置から移動量Δｘ移動している。
このように、瞳孔の位置が変化することにより、瞳孔の領域における移動量Δｘに対応した位置の輝度値Ｉの違いが輝度変化量ΔＩとして計測される。
このように、瞳孔の位置が変化することにより、瞳孔の領域における移動量Δｘに対応した位置の輝度値Ｉの違いが輝度変化量ΔＩとして計測される。
【0052】
したがって、計測画素２０５の輝度勾配ｓｘと、計測画素２０５の輝度変化量ΔＩとにより、図６（ｂ）から幾何学的に、以下の式により移動量Δｘが求められる。
すなわち、図６（ｂ）において、ΔＩ＝－ｓｘΔｘの関係式における関係性があることが判る。これにより、移動量Δｘは、上記関係式を変形した以下の第１式により求めることができる。
Δｘ＝－ΔＩ／ｓｘ … 第１式
この第１式において、ｘ軸方向においては、ｓｘは正方向に向かって輝度が増加する勾配の場合に極性が＋であり、逆に、負方向に向かって輝度が増加する勾配の場合に極性が－である。また、移動量Δｘは正方向に向かって移動する場合に極性が＋であり、逆に、負方向に向かって移動する場合に極性が－となる。
すなわち、図６（ｂ）において、ΔＩ＝－ｓｘΔｘの関係式における関係性があることが判る。これにより、移動量Δｘは、上記関係式を変形した以下の第１式により求めることができる。
Δｘ＝－ΔＩ／ｓｘ … 第１式
この第１式において、ｘ軸方向においては、ｓｘは正方向に向かって輝度が増加する勾配の場合に極性が＋であり、逆に、負方向に向かって輝度が増加する勾配の場合に極性が－である。また、移動量Δｘは正方向に向かって移動する場合に極性が＋であり、逆に、負方向に向かって移動する場合に極性が－となる。
【0053】
また、上記第１式から移動量Δｘを求める場合、パターン２０１及びパターン２０２間（フレーム画像間）において計測画素２０５の輝度勾配ｓｘが一定であると仮定している。
すなわち、パターン２０１の曲線２０３の計測画素２０５における輝度勾配ｓｘと、パターン２０２の曲線２０４の計測画素２０５における輝度勾配ｓｘ’とが許容される誤差内で一定とみなせる必要がある。
そのため、フレーム画像間における瞳孔の移動量Δｘが大きくなると、パターン２０１の計測画素２０５の輝度勾配ｓｘと、パターン２０２の計測画素２０５の輝度勾配ｓｘ’との各々が一定の値とはならず、上記第１式では、パターン２０１及びパターン２０２のフレーム画像を用いて移動量Δｘを輝度変化量ΔＩから算出することができない。
すなわち、パターン２０１の曲線２０３の計測画素２０５における輝度勾配ｓｘと、パターン２０２の曲線２０４の計測画素２０５における輝度勾配ｓｘ’とが許容される誤差内で一定とみなせる必要がある。
そのため、フレーム画像間における瞳孔の移動量Δｘが大きくなると、パターン２０１の計測画素２０５の輝度勾配ｓｘと、パターン２０２の計測画素２０５の輝度勾配ｓｘ’との各々が一定の値とはならず、上記第１式では、パターン２０１及びパターン２０２のフレーム画像を用いて移動量Δｘを輝度変化量ΔＩから算出することができない。
【0054】
図７は、移動量Δｘが大きい場合におけるフレーム画像間の画素位置と画素の輝度値との関係を示す図である。
移動量Δｘが大きいため、計測画素２０５において、パターン２０１の曲線２０３と、パターン２０２の曲線２０４とのシフトする距離が大きくなる。
このため、パターン２０１の曲線２０３の計測画素２０５における輝度勾配ｓｘと、パターン２０２の曲線２０４の計測画素２０５における輝度勾配ｓｘ’とは途中で変化しており一定ではない（非直線性）。
したがって、第１式により輝度値ΔＩを用いて移動量Δｘを求める場合、輝度勾配ｓｘが同一となる移動量Δｘになるフレーム周期とする必要がある。
移動量Δｘが大きいため、計測画素２０５において、パターン２０１の曲線２０３と、パターン２０２の曲線２０４とのシフトする距離が大きくなる。
このため、パターン２０１の曲線２０３の計測画素２０５における輝度勾配ｓｘと、パターン２０２の曲線２０４の計測画素２０５における輝度勾配ｓｘ’とは途中で変化しており一定ではない（非直線性）。
したがって、第１式により輝度値ΔＩを用いて移動量Δｘを求める場合、輝度勾配ｓｘが同一となる移動量Δｘになるフレーム周期とする必要がある。
【0055】
そのため、本実施形態におけるイメージセンサー５０は、フレーム周期が短く、高速撮像が可能なイメージセンサーを用いており、例えば、格子状に５１２×５１２画素を有する撮像面を備えており、５００フレーム／秒の動画像を撮像することができる。
【0056】
また、通常の瞳孔の跳躍運動におけるサッカードの速度（以下、サッカード速度）は、最大で５００度（°）／秒である。このため、１／５００秒間における瞳孔の回旋角は、最大１度となる。また、瞳孔の移動量が小さくなるしたがって、跳躍運動における最大速度も低下する。
一方、マイクロサッカード（振幅≪１度）の速度は、例えば、最大で１００度／秒以下である。このため、１／５００秒間における瞳孔の回旋角は、最大０．２度となる。
一方、マイクロサッカード（振幅≪１度）の速度は、例えば、最大で１００度／秒以下である。このため、１／５００秒間における瞳孔の回旋角は、最大０．２度となる。
【0057】
ここで、瞳孔のイメージセンサー５０の移動量として、１フレーム時間（１／５００秒）における、撮像面における最大画素移動量を、以下の図８を用いて求める。
図８における最大画素移動量の算出条件としては、イメージセンサー５０の撮像画像の解像度を１２８×１２８画素とし、撮像画像における眼球の大きさを瞳孔の中心から５０画素とする。
図８における最大画素移動量の算出条件としては、イメージセンサー５０の撮像画像の解像度を１２８×１２８画素とし、撮像画像における眼球の大きさを瞳孔の中心から５０画素とする。
【0058】
図８は、撮像面の瞳孔の跳躍運動における移動量の導出を説明する概念図である。図８（ａ）は、撮像画像としての動画像におけるフレーム画像を示しており、１２８×１２８画素の分解能を有している。また、図８（ａ）は、イメージセンサー５０の撮像面における眼球の撮像画素範囲を示している。瞳孔撮像領域ＥＡは、撮像画像５０Ａにおける瞳孔が撮像されている領域である。
そして、瞳孔撮像領域ＥＡの中心Ｏを中心とした半径ｒ（＝５０画素）の円領域が、眼球の部分が撮像された撮像領域である眼球撮像領域ＩＡを示している。
そして、瞳孔撮像領域ＥＡの中心Ｏを中心とした半径ｒ（＝５０画素）の円領域が、眼球の部分が撮像された撮像領域である眼球撮像領域ＩＡを示している。
【0059】
図８（ｂ）は、マイクロサッカードにおける眼球の回旋運動の回旋角から画素移動量の算出を説明する図である。
例えば、回旋角が０．２度の場合、眼球の移動量ｄｘ（Δｘ）は、瞳孔撮像領域ＥＡの半径ｒを５０画素とした場合、ｄｘ／ｒ＝ｓｉｎ（０．２ｄｅｇ）ｓ＝０．００３５の関係から以下のように求められる。
ｄｘ＝ｓｉｎ（０．２ｄｅｇ）×５０（画素）＝０．１７（画素）
また、回旋角が１．０度の場合、移動量ｄｘ（Δｘ）は、瞳孔撮像領域ＥＡの半径ｒを５０画素とした場合、ｄｘ／ｒ＝ｓｉｎ（１．０ｄｅｇ）ｓ＝０．０１７の関係から以下のように求められる。
ｄｘ＝ｓｉｎ（０．２ｄｅｇ）×５０（画素）＝０．８７（画素）
例えば、回旋角が０．２度の場合、眼球の移動量ｄｘ（Δｘ）は、瞳孔撮像領域ＥＡの半径ｒを５０画素とした場合、ｄｘ／ｒ＝ｓｉｎ（０．２ｄｅｇ）ｓ＝０．００３５の関係から以下のように求められる。
ｄｘ＝ｓｉｎ（０．２ｄｅｇ）×５０（画素）＝０．１７（画素）
また、回旋角が１．０度の場合、移動量ｄｘ（Δｘ）は、瞳孔撮像領域ＥＡの半径ｒを５０画素とした場合、ｄｘ／ｒ＝ｓｉｎ（１．０ｄｅｇ）ｓ＝０．０１７の関係から以下のように求められる。
ｄｘ＝ｓｉｎ（０．２ｄｅｇ）×５０（画素）＝０．８７（画素）
【0060】
図９は、フレーム画像の眼球における瞳孔及び虹彩の境界領域における輝度勾配の直線性を説明する図である。
図９（ａ）は、図２（ｂ）においてグラフを拡大する範囲Ｚ（瞳孔及び虹彩の境界領域の近傍）を示している。範囲Ｚは、画素位置５４から画素位置８４までの３０画素の領域である。
図９（ａ）は、図２（ｂ）においてグラフを拡大する範囲Ｚ（瞳孔及び虹彩の境界領域の近傍）を示している。範囲Ｚは、画素位置５４から画素位置８４までの３０画素の領域である。
【0061】
図９（ｂ）は、図９（ａ）における画素位置５４から画素位置８４までの３０画素の範囲Ｚを拡大したグラフである。
図９（ｂ）において、各画素における輝度勾配を観察すると、図８で求めた移動量Δｘが０．１７画素の範囲においては輝度勾配は一定であり、また、０．８７画素の範囲においても輝度勾配に差異はないことが判る。したがって、輝度勾配が同様の画素領域（計測画素を含む隣接する９画素の領域内）に収まる移動範囲にて瞳孔の移動量を計測することができる。
図９（ｂ）において、各画素における輝度勾配を観察すると、図８で求めた移動量Δｘが０．１７画素の範囲においては輝度勾配は一定であり、また、０．８７画素の範囲においても輝度勾配に差異はないことが判る。したがって、輝度勾配が同様の画素領域（計測画素を含む隣接する９画素の領域内）に収まる移動範囲にて瞳孔の移動量を計測することができる。
【0062】
したがって、図８で示したように、５００フレーム／秒のフレーム周期で撮像することにより、１００度／秒以下のマイクロサッカードにおける移動量Δｘの計測については、一定の輝度勾配を有する瞳孔の範囲となる。これにより、移動量Δｘを求めるため、フレーム画像間の輝度勾配ｓｘが等しければ、ｘ方向に対する移動量も等しくなり、非直線性による誤差を抑制し、第１式により移動量Δｘを所定の精度で計測することができる。
【0063】
本実施形態においては、上述したように、瞳孔及び虹彩の境界領域が撮像された画素領域における画素の輝度変化量ΔＩ及び輝度勾配ｓｘから、勾配法を用いてｘ軸方向（及び後述するｙ軸方向）の瞳孔の移動量を算出している。
しかしながら、マイクロサッカードにおける眼球運動に伴う瞳孔の位置の変化は、すでに述べたように微小のΔｘに抑制しているため、計測のノイズの影響による移動量の検出精度の低下が大きく影響する。
しかしながら、マイクロサッカードにおける眼球運動に伴う瞳孔の位置の変化は、すでに述べたように微小のΔｘに抑制しているため、計測のノイズの影響による移動量の検出精度の低下が大きく影響する。
【0064】
一般的に、イメージセンサーの撮像面における各画素に蓄積される光子数（実際には光子数に対応する電荷量）の統計的な変動によりショットノイズが生じる。
そして、このショットノイズのレベルは、蓄積光子数をＮとした場合、光子数の平方根の（Ｎ）１／２に比例する。
そして、このショットノイズのレベルは、蓄積光子数をＮとした場合、光子数の平方根の（Ｎ）１／２に比例する。
【0065】
また、輝度信号のレベルが蓄積光子数Ｎに比例し、ショットノイズのレベルが上述したように（Ｎ）１／２に比例するため、ＳＮ比（信号対雑音比）は、（Ｎ）１／２（＝Ｎ／（Ｎ）１／２）に比例することになる。
したがって、輝度の計測においては、蓄積光子数Ｎが増加するにしたがって、ＳＮ比が向上することになり、輝度の計測におけるショットノイズの影響が低減される。
したがって、輝度の計測においては、蓄積光子数Ｎが増加するにしたがって、ＳＮ比が向上することになり、輝度の計測におけるショットノイズの影響が低減される。
【0066】
一方、輝度勾配及び輝度変化量の各々は、蓄積光子数Ｎの差分値に比例するため、輝度信号のように、蓄積光子数Ｎが多くなる毎に精度が向上することはない。逆に、蓄積光子数Ｎが大きくなるに従い、差分値に含まれるショットノイズ（Ｎ）１／２に比例して増大してしまう。
このため、輝度勾配が同一であった場合、輝度値が小さい画素を用いた方が輝度勾配及び輝度変化量の計測精度が向上する。
このため、輝度勾配算出部１３は、すでに述べたように、｜Ｓ｜／（Ｉ）１／２が勾配輝度値比閾値以上の候補画素を計測画素として用いている。ここで、輝度値の平方根（Ｉ）１／２は、光子数の平方根（Ｎ）１／２に比例する。
このため、輝度勾配が同一であった場合、輝度値が小さい画素を用いた方が輝度勾配及び輝度変化量の計測精度が向上する。
このため、輝度勾配算出部１３は、すでに述べたように、｜Ｓ｜／（Ｉ）１／２が勾配輝度値比閾値以上の候補画素を計測画素として用いている。ここで、輝度値の平方根（Ｉ）１／２は、光子数の平方根（Ｎ）１／２に比例する。
【0067】
図１０は、図２（ｂ）の瞳孔５０１及び虹彩５０２の各々の境界領域における輝度勾配を示す図である。
図１０においては、フレーム画像Ｎと、このフレーム画像Ｎの１フレーム周期後のフレーム画像Ｎ＋１とにおいて、瞳孔がΔｘ移動した際の輝度差ΔＩを求めている。
計測画素として画素を選択する際、同一の輝度勾配を有する画素であれば、いずれの画素においても、移動した際の輝度差ΔＩは同一となる。
図１０においては、フレーム画像Ｎと、このフレーム画像Ｎの１フレーム周期後のフレーム画像Ｎ＋１とにおいて、瞳孔がΔｘ移動した際の輝度差ΔＩを求めている。
計測画素として画素を選択する際、同一の輝度勾配を有する画素であれば、いずれの画素においても、移動した際の輝度差ΔＩは同一となる。
【0068】
しかしながら、画素位置６０１は光子数２００であり、ノイズ量が１４．１（＝（２００）１／２）である。画素位置６０２は光子数１００であり、ノイズ量が１０（＝（１００）１／２）である。また、画素位置６０３は光子数２０であり、ノイズ量が４．７（＝（２０）１／２）である。
したがって、画素位置６０１で求めた移動量Δｘ６０２は、画素位置６０３で求めた移動量Δｘ６０３に比較して、ノイズレベルが３（＝１４．１／４．７）倍高くなり、計測の精度が低下する。
したがって、画素位置６０１で求めた移動量Δｘ６０２は、画素位置６０３で求めた移動量Δｘ６０３に比較して、ノイズレベルが３（＝１４．１／４．７）倍高くなり、計測の精度が低下する。
【0069】
本実施形態においては、輝度勾配が他の領域に比較して高い場所として、瞳孔及び虹彩の間の境界領域が撮像された計測画素を移動量Δｘ（後述するｙ軸方向移動量Δｙも同様）の計測に用いている。瞳孔及び虹彩の間の境界領域は、すでに述べたように、輝度勾配が大きく、微少の移動量Δｘであっても、輝度変化量ΔＩが大きくなるため、移動量Δｘの検出に適している。
【0070】
そして、上述したショットノイズの影響を低減するため、同様の輝度勾配を有している場合、より輝度値の低い（蓄積光子数Ｎの少ない）計測画素を用いている。
そのため、本実施形態においては、すでに述べたように、輝度勾配算出部１３が、候補画素の各々の｜Ｓ｜／（Ｉ）１／２が、あらかじめ設定した勾配輝度値比閾値以上か否かを判定して、勾配輝度値比閾値以上である候補画素を計測画素として抽出している。
そのため、本実施形態においては、すでに述べたように、輝度勾配算出部１３が、候補画素の各々の｜Ｓ｜／（Ｉ）１／２が、あらかじめ設定した勾配輝度値比閾値以上か否かを判定して、勾配輝度値比閾値以上である候補画素を計測画素として抽出している。
【0071】
本実施形態においては、眼球における瞳孔の移動量を２次元で求めるため、ｘ軸に平行な移動量Δｘをｘ軸方向移動量Δｘとし、ｙ軸に平行な移動量Δｙをｙ軸方向移動量とし、ｘ軸方向に平行な輝度勾配をｘ軸方向輝度勾配とし、ｙ軸方向に平行な輝度勾配をｙ軸方向輝度勾配とし、すでに説明した一次元方程式の第１式を、以下に示す一次方程式の第２式に拡張する。
ΔＩ＝（－ｓｘ）・Δｘ＋（－ｓｙ）・Δｙ … 第２式
ΔＩ＝（－ｓｘ）・Δｘ＋（－ｓｙ）・Δｙ … 第２式
【0072】
この第２式において、ｘ軸方向輝度勾配ｓｘはｘ軸方向を正方向に向かって輝度が増加する勾配の場合に極性が＋であり、負方向に向かって輝度が増加する勾配の場合に極性が－である。また、ｘ軸方向移動量Δｘはｘ軸方向にを正方向に向かって移動する場合に極性が＋であり、負方向に向かって移動する場合に極性が－である。
【0073】
そして、第２式において、輝度勾配ｓｙはｙ軸方向を正方向に向かって輝度が増加する勾配の場合に極性が＋であり、ｙ軸方向輝度勾配ｓｙは負方向に向かって輝度が増加する勾配の場合に極性が－である。また、ｙ軸方向移動量Δｙはｙ軸方向を正方向に向かって移動する場合に極性が＋であり、負方向に向かって移動する場合に極性が－である。
【0074】
第２式において、計測して得られる数値は、輝度勾配ｓｘ、ｓｙ及び輝度変化量ΔＩであるため、ｘ軸方向移動量Δｘ、ｙ軸方向移動量Δｙそれぞれが未知数となる。
したがって、上述した第２式により生成される以下の連立一次方程式を解くことにより、ｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を算出する。
ΔＩ１＝（－ｓｘ１）・Δｘ＋（－ｓｙ１）・Δｙ
ΔＩ２＝（－ｓｘ２）・Δｘ＋（－ｓｙ２）・Δｙ
したがって、上述した第２式により生成される以下の連立一次方程式を解くことにより、ｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を算出する。
ΔＩ１＝（－ｓｘ１）・Δｘ＋（－ｓｙ１）・Δｙ
ΔＩ２＝（－ｓｘ２）・Δｘ＋（－ｓｙ２）・Δｙ
【0075】
図１１は、図６（ａ）に示すパターンを二次元に拡張したフレーム画像のパターンを示す図である。
図１１においては、眼球の所定の領域８０１を撮像して、当該領域８０１のフレーム画像（８０１）を取得し、１フレーム周期後に、眼球の上記領域８０１からｘ軸方向移動量Δｘ、ｙ軸方向移動量Δｙだけ移動した領域８０２を撮像して、当該領域８０２のフレーム画像（８０２）を取得したことを示している。
図１１においては、眼球の所定の領域８０１を撮像して、当該領域８０１のフレーム画像（８０１）を取得し、１フレーム周期後に、眼球の上記領域８０１からｘ軸方向移動量Δｘ、ｙ軸方向移動量Δｙだけ移動した領域８０２を撮像して、当該領域８０２のフレーム画像（８０２）を取得したことを示している。
【0076】
計測画素６１１においては、ｘ軸方向輝度勾配ｓｘがｓｘ１であり、ｙ軸方向輝度勾配ｓｙがｓｙ１であり、領域８０１の輝度値と領域８０２の輝度値との輝度変化量ΔＩ１である。
また、計測画素８１２においては、ｘ軸方向輝度勾配ｓｘがｓｘ２であり、ｙ軸方向輝度勾配ｓｙがｓｙ２であり、領域８０１の輝度値と領域８０２の輝度値との輝度変化量ΔＩ２である。
また、計測画素８１２においては、ｘ軸方向輝度勾配ｓｘがｓｘ２であり、ｙ軸方向輝度勾配ｓｙがｓｙ２であり、領域８０１の輝度値と領域８０２の輝度値との輝度変化量ΔＩ２である。
【0077】
また、輝度勾配算出部１３は、候補画素から計測画素８１１及び計測画素８１２の各々を抽出する際、｜Ｓ１｜／（Ｉ１）１／２＝（ｓｘ１
２＋ｓｙ１
２）１／２／（Ｉ１）１／２と、｜Ｓ１｜／（Ｉ２）１／２＝（ｓｘ２
２＋ｓｙ２
２）１／２／（Ｉ２）１／２との各々が勾配輝度値比閾値以上であることをそれぞれ判定している。
そして、移動距離算出部１５は、計測画素８１１及び計測画素８１２の各々の計測値を用いて、上記連立一次方程式を生成する（後述）。
そして、移動距離算出部１５は、計測画素８１１及び計測画素８１２の各々の計測値を用いて、上記連立一次方程式を生成する（後述）。
【0078】
輝度変化量算出部１４は、フレーム画像間における所定の計測画素の輝度値の差分を、フレーム画像の所定の計測画素の輝度値から、このフレーム画像の一周期後のフレーム画像の同一計測画素の輝度値を減算することにより算出する。
移動距離算出部１５は、上記計測画素８１１及び計測画素８１２の各々の計測値であるｘ軸方向輝度勾配ｓｘ、ｙ軸方向輝度勾配ｓｙ、輝度変化量ΔＩの各々による上記連立一次方程式を解くことにより、ｘ軸方向移動量Δｘ、ｙ軸方向移動量Δｙのそれぞれを求める。
移動距離算出部１５は、上記計測画素８１１及び計測画素８１２の各々の計測値であるｘ軸方向輝度勾配ｓｘ、ｙ軸方向輝度勾配ｓｙ、輝度変化量ΔＩの各々による上記連立一次方程式を解くことにより、ｘ軸方向移動量Δｘ、ｙ軸方向移動量Δｙのそれぞれを求める。
【0079】
また、上述したように計測画素を２箇所として、上記連立一次方程式を生成して解いてもよいが、より精度を向上させるため、本実施形態においては、以下に示すように、複数の計測画素から連立一次方程式を生成している。
図１２は、複数の計測画素から連立一次方程式を生成する処理を説明する概念図である。図１２においては、複数の計測画素のｎ個の一例として、計測画素ｐ１から計測画素ｐ６の６個（１≦ｎ≦６）が移動用を算出する計測画素として選択され場合を示している。
図１２は、複数の計測画素から連立一次方程式を生成する処理を説明する概念図である。図１２においては、複数の計測画素のｎ個の一例として、計測画素ｐ１から計測画素ｐ６の６個（１≦ｎ≦６）が移動用を算出する計測画素として選択され場合を示している。
【0080】
ここで、輝度勾配算出部１３は、ｘ軸方向輝度勾配ｓｘｎの絶対値｜ｓｘｎ｜（第１絶対値）と、ｙ軸方向輝度勾配の絶対値｜ｓｙｎ｜（第２絶対値）とを比較する。
そして、輝度勾配算出部１３は、｜ｓｘｎ｜＞｜ｓｙｎ｜の計測画素（図１２において計測画素ｐ２、ｐ４、ｐ６）を、優位点群（第１グループ）としてグループ化し、それぞれｓｘｎ１、ｓｙｎ１とする。
また、ｘ優位点群における計測画素の各々のｓｘｎ１、ｓｙｎ１それぞれの積算を行ない、Σｓｘｎ１、Σｓｙｎ１を求める。
ここで、ｘ優位点群において、ｘ軸方向勾配が負の場合、積算を行う際に輝度勾配の符号を揃えるため、符号の反転を行う。図１２において、ｘ優位点群における計測画素ｐ４が、極性の反転を行う計測画素である。
ΔＩｎ１＝（－）（－ｓｘｎ１）Δｘ＋（－）（－ｓｙｎ１）Δｙ
＝ｓｘｎ１Δｘ＋ｓｙｎ１Δｙ
そして、輝度勾配算出部１３は、｜ｓｘｎ｜＞｜ｓｙｎ｜の計測画素（図１２において計測画素ｐ２、ｐ４、ｐ６）を、優位点群（第１グループ）としてグループ化し、それぞれｓｘｎ１、ｓｙｎ１とする。
また、ｘ優位点群における計測画素の各々のｓｘｎ１、ｓｙｎ１それぞれの積算を行ない、Σｓｘｎ１、Σｓｙｎ１を求める。
ここで、ｘ優位点群において、ｘ軸方向勾配が負の場合、積算を行う際に輝度勾配の符号を揃えるため、符号の反転を行う。図１２において、ｘ優位点群における計測画素ｐ４が、極性の反転を行う計測画素である。
ΔＩｎ１＝（－）（－ｓｘｎ１）Δｘ＋（－）（－ｓｙｎ１）Δｙ
＝ｓｘｎ１Δｘ＋ｓｙｎ１Δｙ
【0081】
そして、輝度変化量算出部１４は、ｘ優位点群における計測画素の各々の輝度変化量ΔＩｎ１を積算して、ΣΔＩｎ１を求める。
これにより、移動距離算出部１５は、ｘ優位点群による一方の一次方程式として、以下の第１一次方程式を生成する。
ΣΔＩｎ１＝Σ（－ｓｘｎ１）Δｘ ＋ Σ（－ｓｙｎ１）Δｙ
これにより、移動距離算出部１５は、ｘ優位点群による一方の一次方程式として、以下の第１一次方程式を生成する。
ΣΔＩｎ１＝Σ（－ｓｘｎ１）Δｘ ＋ Σ（－ｓｙｎ１）Δｙ
【0082】
一方、輝度勾配算出部１３は、｜ｓｘｎ｜≦｜ｓｙｎ｜の計測画素（図１２において計測画素ｐ１、ｐ３、ｐ５）を、ｙ優位点群（第２グループ）としてグループ化し、それぞれｓｘｎ２、ｓｙｎ２とする。
ここで、ｙ優位点群において、ｙ軸方向勾配が負の場合、積算を行う際に輝度勾配の符号を揃えるため、符号の反転を行う。図１２において、ｙ優位点群における計測画素ｐ１が、極性の反転を行う計測画素である。
ΔＩｎ２＝（－）（－ｓｘｎ２）Δｘ＋（－）（－ｓｙｎ２）Δｙ
＝ｓｘｎ２Δｘ＋ｓｙｎ２Δｙ
ここで、ｙ優位点群において、ｙ軸方向勾配が負の場合、積算を行う際に輝度勾配の符号を揃えるため、符号の反転を行う。図１２において、ｙ優位点群における計測画素ｐ１が、極性の反転を行う計測画素である。
ΔＩｎ２＝（－）（－ｓｘｎ２）Δｘ＋（－）（－ｓｙｎ２）Δｙ
＝ｓｘｎ２Δｘ＋ｓｙｎ２Δｙ
【0083】
また、輝度変化量算出部１４は、ｙ優位点群における計測画素の各々の輝度変化量ΔＩｎ２を積算して、ΣΔＩｎ２を求める。
これにより、ｙ優位点群による他方の一次方程式として、以下の第２一次方程式を生成する。
ΣΔＩｎ２＝Σ（－ｓｘｎ２）Δｘ ＋ Σ（－ｓｙｎ２）Δｙ
これにより、ｙ優位点群による他方の一次方程式として、以下の第２一次方程式を生成する。
ΣΔＩｎ２＝Σ（－ｓｘｎ２）Δｘ ＋ Σ（－ｓｙｎ２）Δｙ
【0084】
そして、移動距離算出部１５は、以下の第１一次方程式及び第２一次方程式からなる連立一次方程式を解いて、ｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙを求める。
ΣΔＩｎ１＝Σ（－ｓｘｎ１）Δｘ ＋ Σ（－ｓｙｎ１）Δｙ
ΣΔＩｎ２＝Σ（－ｓｘｎ２）Δｘ ＋ Σ（－ｓｙｎ２）Δｙ
また、データ入出力部１１は、移動距離算出部１５により算出されたｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙを外部装置に対して出力する。
また、データ入出力部１１は、移動距離算出部１５により算出されたｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙを、順次、表示部１６に表示させるとともに、記憶部１７に書き込んで記憶させてもよい。
ΣΔＩｎ１＝Σ（－ｓｘｎ１）Δｘ ＋ Σ（－ｓｙｎ１）Δｙ
ΣΔＩｎ２＝Σ（－ｓｘｎ２）Δｘ ＋ Σ（－ｓｙｎ２）Δｙ
また、データ入出力部１１は、移動距離算出部１５により算出されたｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙを外部装置に対して出力する。
また、データ入出力部１１は、移動距離算出部１５により算出されたｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙを、順次、表示部１６に表示させるとともに、記憶部１７に書き込んで記憶させてもよい。
【0085】
上述したように、本実施形態によれば、被験者の眼を動画像として撮像し、動画像の連続したフレーム画像間における計測画素の輝度変化量ΔＩと、ｘ軸方向輝度勾配及びｙ軸方向輝度勾配の各々とにより、勾配法を用いて瞳孔の移動量を算出する構成であるため、瞳孔の絶対位置を高精度に求める必要はなく、マイクロサッカードを示す眼球運動を検出できればよいため、従来の装置に対して小型化でき、かつ被験者の頭部を固定する必要が無いため、被験者の頭部に装着可能な装置として作成することが可能となり、被験者の日常的な状態、すなわち日常生活において移動しつつ、頭部を動かしている状態におけるマイクロサッカードを、瞳孔の移動量を求めることにより精度よく計測することができる。
これにより、マイクロサッカードの計測を実生活に即した条件で行う、すなわち、多様な条件下での対象に対する人間の反応をウェアラブルな計測装置を用いて計測して解析することが可能となる。
これにより、マイクロサッカードの計測を実生活に即した条件で行う、すなわち、多様な条件下での対象に対する人間の反応をウェアラブルな計測装置を用いて計測して解析することが可能となる。
【0086】
また、本実施形態によれば、眼球の運動を検出するため、輝度勾配が大きい箇所として、フレーム画像における瞳孔と虹彩との境界領域部分を用いているため、微小な移動においても輝度変化量が大きく検出でき、瞳孔の移動量を精度よく取得することができる。
【0087】
また、本実施形態によれば、輝度勾配（Ｓ）と輝度値の平方根（Ｉ１／２）との比が、あらかじめ設定した勾配輝度値比閾値以上である画素を計測画素として用いる。このため、光子数（輝度値）の平方根に比例して増大するショットノイズの影響が低い計測画素（同一の輝度勾配であれば輝度値の低い、所謂、暗い画素）により瞳孔の移動量を算出しているため、計測の精度を向上させることができる。
【0088】
また、本願発明によれば、輝度勾配及び輝度変化量を用いた勾配法により、瞳孔の移動量を計測しているため、フレームレートが十分に高い撮像装置であれば、解像度自体はそれほど高くなくとも、検出する眼球の瞳孔移動量の計測精度を得ることができる。そして、明確な特徴がなくとも検出可能な輝度勾配があれば、眼球の移動量の計測が可能である。
【0089】
図１３は、本実施形態による眼球運動計測装置における計測処理の動作例を説明するフローチャートである。
ステップＳ１０１：
データ入出力部１１は、フレーム画像が外部装置であるイメージセンサー５０から供給された場合、フレーム画像のデータを記憶部１７に書き込んで記憶させる。
計測範囲設定部１２は、記憶部１７に記憶されている直前のフレーム画像から求めたｘ軸方向輝度勾配ｓｘの積算値Σｓｘ１及びΣｓｘ２と、ｙ軸方向輝度勾配ｓｙの積算値Σｓｙ１及びΣｓｙ２と、輝度変化量ΔＩの積算値ΣΔＩ１及びΣΔＩ２との各々を消去する（データのクリア）。
ステップＳ１０１：
データ入出力部１１は、フレーム画像が外部装置であるイメージセンサー５０から供給された場合、フレーム画像のデータを記憶部１７に書き込んで記憶させる。
計測範囲設定部１２は、記憶部１７に記憶されている直前のフレーム画像から求めたｘ軸方向輝度勾配ｓｘの積算値Σｓｘ１及びΣｓｘ２と、ｙ軸方向輝度勾配ｓｙの積算値Σｓｙ１及びΣｓｙ２と、輝度変化量ΔＩの積算値ΣΔＩ１及びΣΔＩ２との各々を消去する（データのクリア）。
【0090】
ステップＳ１０２：
計測範囲設定部１２は、記憶部１７からフレーム画像の各画素の輝度値のデータを読み込む。
計測範囲設定部１２は、記憶部１７からフレーム画像の各画素の輝度値のデータを読み込む。
【0091】
ステップＳ１０３：
そして、計測範囲設定部１２は、読み込んだフレーム画像における各画素の輝度値が瞳孔検出閾値未満か否かの判定を行う。
このとき、計測範囲設定部１２は、輝度値が瞳孔検出閾値未満の画素値を瞳孔が撮像された瞳孔領域の画素とする。一方、計測範囲設定部１２は、輝度値が瞳孔検出閾値以上の画素値を瞳孔以外の部分が撮像された領域の画素とする。
そして、計測範囲設定部１２は、読み込んだフレーム画像における各画素の輝度値が瞳孔検出閾値未満か否かの判定を行う。
このとき、計測範囲設定部１２は、輝度値が瞳孔検出閾値未満の画素値を瞳孔が撮像された瞳孔領域の画素とする。一方、計測範囲設定部１２は、輝度値が瞳孔検出閾値以上の画素値を瞳孔以外の部分が撮像された領域の画素とする。
【0092】
計測範囲設定部１２は、瞳孔領域の画素及び瞳孔領域の画素に囲まれた画素の集合体の画像領域を抽出し、この画像領域を瞳孔の撮像された領域（瞳孔撮像領域）とする。
そして、計測範囲設定部１２は、計測範囲６００の中心Ｏから、計測範囲６００の外周の画素までの距離を半径Ｒとする。
計測範囲設定部１２は、上記半径Ｒを所定の係数値ｐ倍して半径Ｒ’を算出し、中心Ｏから半径Ｒ’の範囲内を計測範囲６００として設定する。
そして、計測範囲設定部１２は、計測範囲６００の中心Ｏから、計測範囲６００の外周の画素までの距離を半径Ｒとする。
計測範囲設定部１２は、上記半径Ｒを所定の係数値ｐ倍して半径Ｒ’を算出し、中心Ｏから半径Ｒ’の範囲内を計測範囲６００として設定する。
【0093】
ステップＳ１０４：
輝度勾配算出部１３は、記憶部１０７を参照して、フレーム画像における画素を選択し、その画素の画素位置を読み込む。
ここで、輝度勾配算出部１３は、例えば、参照しフレーム画像において、最上部の行から、選択する行を順次代えつつ、列の順に画素の選択を行う。
輝度勾配算出部１３は、記憶部１０７を参照して、フレーム画像における画素を選択し、その画素の画素位置を読み込む。
ここで、輝度勾配算出部１３は、例えば、参照しフレーム画像において、最上部の行から、選択する行を順次代えつつ、列の順に画素の選択を行う。
【0094】
ステップＳ１０５：
輝度勾配算出部１３は、選択した画素の画素位置が、上記中心Ｏから半径Ｒ’の計測範囲６００に含まれているか否かの判定を行う。
このとき、輝度勾配算出部１３は、選択した画素の画素位置が中心Ｏから半径Ｒ’の計測範囲６００に含まれている場合、処理をステップＳ１０６へ進める。
一方、輝度勾配算出部１３は、選択した画素の画素位置が中心Ｏから半径Ｒ’の計測範囲６００に含まれていない場合、処理をステップＳ１１２へ進める。
輝度勾配算出部１３は、選択した画素の画素位置が、上記中心Ｏから半径Ｒ’の計測範囲６００に含まれているか否かの判定を行う。
このとき、輝度勾配算出部１３は、選択した画素の画素位置が中心Ｏから半径Ｒ’の計測範囲６００に含まれている場合、処理をステップＳ１０６へ進める。
一方、輝度勾配算出部１３は、選択した画素の画素位置が中心Ｏから半径Ｒ’の計測範囲６００に含まれていない場合、処理をステップＳ１１２へ進める。
【0095】
ステップＳ１０６：
輝度勾配算出部１３は、記憶部１０７を参照して、フレーム画像において選択した画素の輝度値を読み込む。
そして、輝度勾配算出部１３は、読み込んだ画素の画素値が、輝度閾値（第１閾値）未満か否かの判定を行う。
輝度勾配算出部１３は、記憶部１０７を参照して、フレーム画像において選択した画素の輝度値を読み込む。
そして、輝度勾配算出部１３は、読み込んだ画素の画素値が、輝度閾値（第１閾値）未満か否かの判定を行う。
【0096】
このとき、輝度勾配算出部１３は、読み込んだ画素の画素値が、輝度閾値（第１閾値）未満である場合、この画素を候補画素として抽出するとともに、処理をステップＳ１０７へ進める。
一方、輝度勾配算出部１３は、読み込んだ画素の画素値が、輝度閾値（第１閾値）未満でない場合、処理をステップＳ１１２へ進める。
一方、輝度勾配算出部１３は、読み込んだ画素の画素値が、輝度閾値（第１閾値）未満でない場合、処理をステップＳ１１２へ進める。
【0097】
ステップＳ１０７：
輝度勾配算出部１３は、候補画素のｘ軸方向輝度勾配ｓｘ及びｙ軸方向輝度勾配ｓｙの各々を、隣接する８画素から図４において説明した処理により算出する。
そして、輝度勾配算出部１３は、ｘ軸方向輝度勾配ｓｘ及びｙ軸方向輝度勾配ｓｙの各々から、（ｓｘ２＋ｓｙ２）１／２の計算を行って輝度勾配Ｓを算出する。
輝度勾配算出部１３は、候補画素のｘ軸方向輝度勾配ｓｘ及びｙ軸方向輝度勾配ｓｙの各々を、隣接する８画素から図４において説明した処理により算出する。
そして、輝度勾配算出部１３は、ｘ軸方向輝度勾配ｓｘ及びｙ軸方向輝度勾配ｓｙの各々から、（ｓｘ２＋ｓｙ２）１／２の計算を行って輝度勾配Ｓを算出する。
【0098】
ステップＳ１０８：
輝度勾配算出部１３は、算出した輝度勾配Ｓ及び輝度値Ｉの各々から｜Ｓ｜／（Ｉ）１／２を算出し、算出した｜Ｓ｜／（Ｉ）１／２が勾配輝度比閾値以上か否かの判定を行う。
このとき、輝度勾配算出部１３は、算出した｜Ｓ｜／（Ｉ）１／２が勾配輝度比閾値以上である場合、この候補画素を計測画素として抽出するとともに、処理をステップＳ１０９へ進める。
一方、輝度勾配算出部１３は、算出した｜Ｓ｜／（Ｉ）１／２が勾配輝度比閾値未満の場合、処理をステップＳ１１２へ進める。
輝度勾配算出部１３は、算出した輝度勾配Ｓ及び輝度値Ｉの各々から｜Ｓ｜／（Ｉ）１／２を算出し、算出した｜Ｓ｜／（Ｉ）１／２が勾配輝度比閾値以上か否かの判定を行う。
このとき、輝度勾配算出部１３は、算出した｜Ｓ｜／（Ｉ）１／２が勾配輝度比閾値以上である場合、この候補画素を計測画素として抽出するとともに、処理をステップＳ１０９へ進める。
一方、輝度勾配算出部１３は、算出した｜Ｓ｜／（Ｉ）１／２が勾配輝度比閾値未満の場合、処理をステップＳ１１２へ進める。
【0099】
ステップＳ１０９：
輝度勾配算出部１３は、計測画素の各々のｘ軸方向輝度勾配ｓｘｎの絶対値｜ｓｘｎ｜と、ｙ軸方向輝度勾配ｓｙｎの絶対値｜ｓｙｎ｜とを比較する。
そして、輝度勾配算出部１３は、｜ｓｘｎ｜＞｜ｓｙｎ｜の計測画素を、ｘ優位点群（第１グループ）としてグループ化し、｜ｓｘｎ｜≦｜ｓｙｎ｜の計測画素を、ｙ優位点群（第２グループ）としてグループ化する。
そして、輝度勾配算出部１３は、計測画素がｘ優位点群の計測画素である場合、ｘ優位点群の計測画素のｘ軸方向輝度勾配ｓｘｎ１及びｙ軸方向輝度勾配ｓｙｎ１の各々の積算を行なって、積算値Σｓｘｎ１、Σｓｙｎ１を算出し、記憶部１７に書き込んで記憶させる。
一方、輝度勾配算出部１３は、計測画素がｙ優位点群の計測画素である場合、ｙ優位点群の計測画素のｘ軸方向輝度勾配ｓｘｎ２及びｙ軸方向輝度勾配ｓｙｎ２の各々の積算を行なって、積算値Σｓｘｎ２、Σｓｙｎ２を算出し、記憶部１７に書き込んで記憶させる。
輝度勾配算出部１３は、計測画素の各々のｘ軸方向輝度勾配ｓｘｎの絶対値｜ｓｘｎ｜と、ｙ軸方向輝度勾配ｓｙｎの絶対値｜ｓｙｎ｜とを比較する。
そして、輝度勾配算出部１３は、｜ｓｘｎ｜＞｜ｓｙｎ｜の計測画素を、ｘ優位点群（第１グループ）としてグループ化し、｜ｓｘｎ｜≦｜ｓｙｎ｜の計測画素を、ｙ優位点群（第２グループ）としてグループ化する。
そして、輝度勾配算出部１３は、計測画素がｘ優位点群の計測画素である場合、ｘ優位点群の計測画素のｘ軸方向輝度勾配ｓｘｎ１及びｙ軸方向輝度勾配ｓｙｎ１の各々の積算を行なって、積算値Σｓｘｎ１、Σｓｙｎ１を算出し、記憶部１７に書き込んで記憶させる。
一方、輝度勾配算出部１３は、計測画素がｙ優位点群の計測画素である場合、ｙ優位点群の計測画素のｘ軸方向輝度勾配ｓｘｎ２及びｙ軸方向輝度勾配ｓｙｎ２の各々の積算を行なって、積算値Σｓｘｎ２、Σｓｙｎ２を算出し、記憶部１７に書き込んで記憶させる。
【0100】
ステップＳ１１０：
輝度変化量算出部１４は、記憶部１７のフレーム画像のデータを参照し、対応する計測画素のフレーム画像における輝度値を、当該計測画素の直前のフレーム画像における輝度値から減算し、輝度変化量ΔＩを算出する。
輝度変化量算出部１４は、記憶部１７のフレーム画像のデータを参照し、対応する計測画素のフレーム画像における輝度値を、当該計測画素の直前のフレーム画像における輝度値から減算し、輝度変化量ΔＩを算出する。
【0101】
ステップＳ１１１：
輝度変化量算出部１４は、計測画素がｘ優位点群の計測画素である場合、ｘ優位点群の計測画素の輝度変化量ΔＩ１（＝ΔＩ）を積算して、積算値ΣΔＩ１を算出し、記憶部１７に書き込んで記憶させる。
一方、輝度変化量算出部１４は、計測画素がｙ優位点群の計測画素である場合、ｙ優位点群の計測画素の輝度変化量ΔＩ２（＝ΔＩ）を積算して、積算値ΣΔＩ２を算出し、記憶部１７に書き込んで記憶させる。
輝度変化量算出部１４は、計測画素がｘ優位点群の計測画素である場合、ｘ優位点群の計測画素の輝度変化量ΔＩ１（＝ΔＩ）を積算して、積算値ΣΔＩ１を算出し、記憶部１７に書き込んで記憶させる。
一方、輝度変化量算出部１４は、計測画素がｙ優位点群の計測画素である場合、ｙ優位点群の計測画素の輝度変化量ΔＩ２（＝ΔＩ）を積算して、積算値ΣΔＩ２を算出し、記憶部１７に書き込んで記憶させる。
【0102】
ステップＳ１１２：
輝度勾配算出部１３は、フレーム画像における全ての画素に対する処理が終了したか否かの判定を行う。
ここで、輝度勾配算出部１３は、例えば、選択されている画素がフレーム画像における終点の画素位置であるか否かにより判定を行う。
このとき、輝度勾配算出部１３は、フレーム画像における全ての画素に対する処理が終了した場合、処理をステップＳ１１３へ進める。
一方、輝度勾配算出部１３は、フレーム画像における全ての画素に対する処理が終了していない場合、処理をステップＳ１０４へ進める。
輝度勾配算出部１３は、フレーム画像における全ての画素に対する処理が終了したか否かの判定を行う。
ここで、輝度勾配算出部１３は、例えば、選択されている画素がフレーム画像における終点の画素位置であるか否かにより判定を行う。
このとき、輝度勾配算出部１３は、フレーム画像における全ての画素に対する処理が終了した場合、処理をステップＳ１１３へ進める。
一方、輝度勾配算出部１３は、フレーム画像における全ての画素に対する処理が終了していない場合、処理をステップＳ１０４へ進める。
【0103】
ステップＳ１１３：
移動距離算出部１５は、積算値Σｓｘｎ１、積算値Σｓｙｎ１及び積算値ΣΔＩ１と、積算値Σｓｙｎ２、積算値Σｓｘｎ２及び、積算値ΣΔＩ２とを読み出し、以下の連立一次方程式を作成する。
ΣΔＩｎ１＝Σ（－ｓｘｎ１）Δｘ ＋ Σ（－ｓｙｎ１）Δｙ
ΣΔＩｎ２＝Σ（－ｓｘｎ２）Δｘ ＋ Σ（－ｓｙｎ２）Δｙ
そして、移動距離算出部１５は、上記連立一次方程式を解き、ｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を瞳孔の移動量として算出して、処理を終了する。
このとき、移動距離算出部１５は、表示部１６の表示画面に、算出したｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を表示する。
また、データ入出力部１１は、算出したｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を出力してもよい。
移動距離算出部１５は、積算値Σｓｘｎ１、積算値Σｓｙｎ１及び積算値ΣΔＩ１と、積算値Σｓｙｎ２、積算値Σｓｘｎ２及び、積算値ΣΔＩ２とを読み出し、以下の連立一次方程式を作成する。
ΣΔＩｎ１＝Σ（－ｓｘｎ１）Δｘ ＋ Σ（－ｓｙｎ１）Δｙ
ΣΔＩｎ２＝Σ（－ｓｘｎ２）Δｘ ＋ Σ（－ｓｙｎ２）Δｙ
そして、移動距離算出部１５は、上記連立一次方程式を解き、ｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を瞳孔の移動量として算出して、処理を終了する。
このとき、移動距離算出部１５は、表示部１６の表示画面に、算出したｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を表示する。
また、データ入出力部１１は、算出したｘ軸方向移動量Δｘ及びｙ軸方向移動量Δｙの各々を出力してもよい。
【0104】
なお、本発明における眼球運動計測装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより瞳孔の移動量の計測処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回旋等の通信回旋を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回旋等の通信回旋を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0105】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回旋等の通信回旋（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0106】
１…計測システム
１０…眼球運動計測装置
１１…データ入出力部
１２…計測範囲設定部
１３…輝度勾配算出部
１４…輝度変化量算出部
１５…移動距離算出部
１６…表示部
１７…記憶部
２０…赤外線照射装置
３０…撮像レンズ
４０…赤外線フィルター
５０…イメージセンサー
３００…眼球
３０１…瞳孔
３０２…虹彩
６００…計測範囲
１０…眼球運動計測装置
１１…データ入出力部
１２…計測範囲設定部
１３…輝度勾配算出部
１４…輝度変化量算出部
１５…移動距離算出部
１６…表示部
１７…記憶部
２０…赤外線照射装置
３０…撮像レンズ
４０…赤外線フィルター
５０…イメージセンサー
３００…眼球
３０１…瞳孔
３０２…虹彩
６００…計測範囲
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】