特許 6800091 視線計測装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6800091

(24)【登録日】2020年11月26日

(45)【発行日】2020年12月16日

(54)【発明の名称】視線計測装置及びプログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20201207BHJP

   G06T 7/00 20170101ALI20201207BHJP

【ＦＩ】

   A61B3/113

   G06T7/00 660A

【請求項の数】6

【全頁数】18

(21)【出願番号】特願2017-114763(P2017-114763)

(22)【出願日】2017年6月9日

(65)【公開番号】特開2019-136(P2019-136A)

(43)【公開日】2019年1月10日

【審査請求日】2019年11月29日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】小島 真一

(72)【発明者】

【氏名】大須賀 晋

【審査官】 増渕 俊仁

(56)【参考文献】

【文献】 特開２００４−２５４９６０（ＪＰ，Ａ）

【文献】 特開２０１３−１９０９４２（ＪＰ，Ａ）

【文献】 特開２０１３−２５２３０１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／０１２３０２７（ＵＳ，Ａ１）

【文献】 Li Sun, et al.，Real-Time Gaze Estimation with Online Calibration，IEEE MultiMedia，２０１４年，Vol. 21, Issue 4，28-37

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段と、
前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段と、
前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段と、
前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段と、
前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段と、
を含む視線計測装置。

【請求項2】

前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置が変化しないことを利用して、眼球構造パラメータを固定パラメータとして計算する眼球構造パラメータ計算手段を更に含む請求項１記載の視線計測装置。

【請求項3】

前記第１視線ベクトル計算手段は、
前記顔の目の角膜反射像と、前記３次元眼球モデルとに基づいて、前記角膜反射像の３次元位置を推定する角膜反射像位置推定手段と、
前記角膜反射像の３次元位置に基づいて、角膜曲率中心の３次元位置を計算する角膜曲率中心計算手段と、を含み、
前記角膜反射像の３次元位置と、前記角膜曲率中心の３次元位置とに基づいて、前記カメラ座標系における３次元の視線ベクトルを計算する請求項１又は２記載の視線計測装置。

【請求項4】

前記眼球中心位置計算手段は、
前記第１視線ベクトル計算手段によって計算された前記視線ベクトルに基づいて、カメラ座標系における前記眼球中心の３次元位置を計算するカメラ座標系眼球中心座標計算手段と、
前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢に基づいて、前記カメラ座標系における前記眼球中心の３次元位置を、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置に変換する顔座標系眼球中心座標変換手段と、を含む請求項１〜請求項３の何れか１項記載の視線計測装置。

【請求項5】

前記第２視線ベクトル計算手段は、前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記撮像手段に関するパラメータとに基づいて、前記瞳孔中心位置の３次元位置を計算し、
前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢に基づいて、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置を、前記カメラ座標系における前記眼球中心の３次元位置に変換し、
前記カメラ座標系において、前記眼球中心の３次元位置から前記瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する請求項１〜請求項４の何れか１項記載の視線計測装置。

【請求項6】

コンピュータを、
被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段、
前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段、
前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段、
前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段、及び
前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線計測装置及びプログラムに係り、特に、顔を撮像した画像から、視線ベクトルを計測する視線計測装置及びプログラムに関する。

【背景技術】

【0002】

従来より、所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得し、前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、ある時刻において、一の眼球及び他の一の眼球それぞれの光軸と視軸との間のずれ候補の初期値を設定し、他の時刻において、前記一の眼球及び前記他の一の眼球について、当該他の時刻において算出した光軸及び前記ある時刻において設定した前記ずれ候補を用いて、新たなずれ候補を算出し、算出したずれ候補から一の眼球及び他の一の眼球それぞれの光軸と視軸との間の最適なずれを決定し、前記光軸と前記視軸との間のずれに基づき、被験者の前記画面上での注視点を算出する視線計測装置が知られている（特許文献１）。

【0003】

また、個人キャリブレーションにおいて１点を注視する、視線計測法が知られている（非特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５１６３９８２号公報

【非特許文献】

【0005】

【非特許文献1】大野健彦, “1点キャリブレーションによる視線計測とその応用”、社団法人情報処理学会研究報告、２００６−ＨＩ−１１７（１０）、２００６年１月

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記特許文献１に記載の技術では、2台のカメラと2個の光源が必要なため、装置が大がかりになる。

【0007】

また、上記非特許文献１に記載の技術では、キャリブレーションのために、ユーザに座標が既知の点を見てもらう必要がある。

【0008】

本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる視線計測装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の目的を達成するために本発明に係る視線計測装置は、被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段と、前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段と、前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段と、前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段と、を含んで構成されている。

【0010】

また、本発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段、前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段、前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段、及び前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段として機能させるためのプログラムである。

【0011】

本発明によれば、前記被観察者の目に対して光照射手段から光を照射しているときに、撮像手段によって、前記顔を表す顔画像の時系列を撮像する。第１視線ベクトル計算手段によって、顔画像の時系列から、顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する。

【0012】

顔位置姿勢推定手段によって、前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する。眼球中心位置計算手段によって、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列を計算する。

【0013】

そして、固定パラメータ計算手段によって、前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する。

【0014】

また、撮像手段によって、前記顔を表す顔画像を撮像する。顔位置姿勢推定手段によって、前記顔画像と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢を推定する。

【0015】

そして、第２視線ベクトル計算手段によって、前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から前記瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する。

【0016】

このように、角膜反射像を用いて計算された視線ベクトルから、３次元顔形状モデルの座標系における眼球中心の３次元位置を固定パラメータとして計算し、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算することにより、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる。

【発明の効果】

【0017】

以上説明したように、本発明の視線計測装置及びプログラムによれば、角膜反射像を用いて計算された視線ベクトルから、３次元顔形状モデルの座標系における眼球中心の３次元位置を固定パラメータとして計算し、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算することにより、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる、という効果が得られる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施の形態に係る視線計測装置の構成を示すブロック図である。

【図2】各座標系の関係を示す図である。

【図3】本発明の第１の実施の形態に係る視線計測装置の角膜反射法視線検出部の構成を示すブロック図である。

【図4】角膜反射法を用いた視線検出方法を説明するための図である。

【図5】見かけの瞳孔中心の３次元位置を計算する方法を説明するための図である。

【図6】本発明の第１の実施の形態に係る視線計測装置における眼球中心計算処理ルーチンの内容を示すフローチャートである。

【図7】本発明の第１の実施の形態に係る視線計測装置における角膜反射法を用いた視線検出を行う処理の流れを示すフローチャートである。

【図8】本発明の第１の実施の形態に係る視線推定装置における視線計測処理ルーチンの内容を示すフローチャートである。

【図9】本発明の第２の実施の形態に係る視線計測装置の構成を示すブロック図である。

【図10】（Ａ）瞳孔中心と眼球中心とを用いた視線計測方法を説明するための図、及び（Ｂ）瞳孔中心と角膜反射像とを用いた視線計測方法を説明するための図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、視線ベクトルを推定する視線計測装置に本発明を適用した場合を例に説明する。

【0020】

＜本発明の実施の形態の概要＞
本発明の実施の形態では、単眼カメラ方式のドライバーモニターで視線検出を実現する。ここで、３次元眼球モデルを用いた代表的な視線検出に関する従来技術は以下のものがある。

【0021】

（方式１）目じりと目頭から推測した眼球中心と瞳孔中心を使って視線を計算する（図１０（Ａ））。

【0022】

（方式２）角膜反射像から計算した角膜曲率中心と瞳孔中心を使って視線を計算する（図１０（Ｂ））。

【0023】

（方式３）上記の（方式１）と（方式２）とを切り替えて視線を計算する。

【0024】

上記の（方式１）では、ロバストだが眼球中心推定法に問題があり視線精度が低い。

【0025】

上記の（方式２）では、視線精度は高いが、角膜反射像が得られる場面に限られるため、計測できる範囲が狭くロバスト性が低い。

【0026】

上記の（方式３）では、（方式２）を使う場面では視線精度が上がるが、（方式１）を使う場面では視線精度は変わらない。

【0027】

そこで、本発明の実施の形態では、上記の（方式２）で計算した視線を用いて、顔形状モデルの座標系における眼球中心パラメータを固定パラメータとして求め、上記の（方式１）で、顔形状モデルの座標系における眼球中心パラメータを用いて、視線精度を向上させる。これにより、眼球中心位置精度が向上するので、上記の（方式３）における、（方式１）を使う場面でも視線精度が向上する。また、上記の（方式２）でキャリブレーション不要な方式が提案されているが複数カメラと複数光源が必要となる一方、本発明の実施の形態では、1つのカメラと1つの光源でキャリブレーションを不要にできる。

【0028】

＜第１の実施の形態＞
＜視線計測装置の構成＞
図１に示すように、第１の実施の形態に係る視線計測装置１０は、対象とする被験者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、被験者の目に対して光を照射する照射部１３と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。

【0029】

画像撮像部１２は、１つのカメラであり、照射部１３は、例えば、１つの近赤外ＬＥＤである。本実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置されている場合を例に説明する。なお、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置する方法としては、例えば、ハーフミラーを用いる方法などが考えられる。

【0030】

コンピュータ１４は、ＣＰＵ、後述する眼球中心計算処理ルーチン及び視線計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、３次元の顔形状モデルを記憶している顔形状モデル記憶部２２と、画像入力部２０の出力である顔画像から、顔の３次元の位置姿勢を推定する顔位置姿勢推定部２４と、画像入力部２０の出力である顔画像の時系列から、角膜反射法（図１０（Ｂ）参照）を用いて、カメラ座標系における視線ベクトルの時系列を計算する角膜反射法視線検出部２８と、角膜反射法視線検出部２８によって計算された視線ベクトルの時系列に基づいて、カメラ座標系における眼球中心座標の時系列を計算するカメラ座標系眼球中心座標計算部３０と、カメラ座標系における眼球中心座標の時系列と、顔の３次元の位置姿勢の時系列とに基づいて、顔形状モデル座標系における眼球中心座標の時系列に変換する眼球中心座標変換部３２と、顔形状モデル座標系における眼球中心座標の時系列に基づいて、顔形状モデル座標系における眼球中心座標を固定パラメータとして計算する固定パラメータ計算部３３と、固定パラメータ計算部３３によって得られた顔形状モデル座標系における眼球中心座標を記憶する固定パラメータ記憶部３４と、画像入力部２０の出力である顔画像と、固定パラメータ記憶部３４に記憶されている顔形状モデル座標系における眼球中心座標とに基づいて、瞳孔中心と眼球中心とを用いて、カメラ座標系における視線ベクトルを計算する眼球中心方式視線検出部３６とを備えている。なお、角膜反射法視線検出部２８が、第１視線ベクトル計算手段の一例であり、眼球中心方式視線検出部３６が、第２視線ベクトル計算手段の一例である。カメラ座標系眼球中心座標計算部３０、及び眼球中心座標変換部３２が、眼球中心位置計算手段の一例である。

【0031】

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

【0032】

顔形状モデル記憶部２２には、予め求められた３次元の顔形状モデルに関する情報（例えば、各顔特徴点の３次元座標）が記憶されている。

【0033】

顔位置姿勢推定部２４は、顔画像から、３次元の顔形状モデルの各顔特徴点に対応する特徴点を抽出する。

【0034】

例えば、予め求められた全ての顔特徴点のそれぞれに対応する、顔画像上の特徴点の位置を、画像パターンを用いて求める。

【0035】

顔位置姿勢推定部２４は、抽出された顔特徴点に対応する特徴点に基づいて、以下に説明するように、顔の３次元の位置姿勢として、カメラ座標系（図２参照）での顔の回転(ψc, θc, φc)と顔形状モデルの原点位置(Xc, Yc, Zc)とを推定する。

【0036】

まず、顔形状モデル座標系（図２参照）での(Xmi, Ymi, Zmi)とカメラ座標系での同じ点(Xci, Yci, Zci)の関係は以下の（１）式で表わされる。

【0037】

【数1】

【0038】

画像の透視投影の式から、ピクセル単位で表わされる焦点距離をfとして、以下の（２）式が得られる。

【0039】

(xi, yi)=(f Xci/Zci, f Yci/Zci) ・・・（２）

【0040】

また、求めたい位置姿勢の変数は(ψc, θc, φc)と(Xc, Yc, Zc)であり、顔形状モデル座標系（図２参照）での(Xmi, Ymi, Zmi)は固定値である。従って、最初の(ψc, θc, φc)と(Xc, Yc, Zc)として適切な初期値を使い、以降は前回フレームでの推定値を使うことにすれば、(xi, yi)は(ψc, θc, φc)と(Xc, Yc, Zc)を使って数値計算可能である。

【0041】

従って、２乗誤差値e=Σ_i=0〜N-1((x_i-xo_i)²+ ((y_i -yo_i)²)が計算可能になり、eを最小化する非線形最適化問題として、今回フレームにおける(ψc, θc, φc)と(Xc, Yc, Zc)を求め、カメラ座標系での顔の回転(ψc, θc, φc)及び顔形状モデルの原点位置(Xc, Yc, Zc)の推定結果とする。

【0042】

なお、非線形最適化の具体的な手法は、拡張カルマンフィルタ、最急降下法、Ｎｅｗｔｏｎ法、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法、Levenberg-Marquardt法などが適用可能である。

【0043】

また、３次元の顔形状モデルの原点位置は、計算上は任意に設定可能だが、合理的な設計指針として人体の左右首振り・上下首振り動作時の回転中心に近い場所を、原点位置として使うことが好ましい。

【0044】

この場合には、顔形状モデルのデータ収集時に各人の首振り回転中心の眼からの上下距離(y)・奥行き距離(z)を測定しておき、それらの平均値として設定する。左右方向(x)は3次元の顔形状モデルの左右対称面上に載るようにすればよい。

【0045】

顔位置姿勢推定部２４は、推定されたカメラ座標系での顔の回転(ψc, θc, φc)を、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒとし、顔形状モデル原点位置(Xc, Yc, Zc)を、カメラ座標系を顔形状モデルの座標系へ変換するための並進成分ｔとする。

【0046】

角膜反射法視線検出部２８は、図３に示すように、眼球モデル記憶部４０と、角膜反射像位置推定部４２と、角膜曲率中心計算部４４と、視線ベクトル計算部４６とを備えている。

【0047】

眼球モデル記憶部４０には、顔形状モデル座標系における仮の眼球中心座標Ｅ´と、角膜曲率に応じた球体及び眼球を表す球体の位置関係及びサイズと、瞳孔中心座標と角膜曲率中心座標との距離ｓ、角膜曲率中心座標と眼球中心座標との距離ｔ、角膜反射像中心座標と角膜曲率中心座標との距離ｒとが記憶されている（図４参照）。

【0048】

角膜反射像位置推定部４２は、顔画像から、顔画像上の角膜反射像中心の２次元座標を計算し、顔画像上の角膜反射像中心の２次元座標と、顔形状モデル座標系における仮の眼球中心座標Ｅ´とから、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐを推定する。

【0049】

角膜曲率中心計算部４４は、３次元ベクトルｐと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒとを用いて、以下の式に従って、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａを推定する。

【0050】

【数2】

【0051】

視線ベクトル計算部４６は、顔画像から、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標を計算し、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標と、３次元ベクトルａと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと用いて、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂを求める。ここで、図５に示すように、見かけの瞳孔中心Ｂの候補は２か所存在するため、Zがカメラ側になる方(=小さい方)を、見かけの瞳孔中心Ｂとして選べばよい。

【0052】

そして、視線ベクトル計算部４６は、３次元ベクトルｂと、３次元ベクトルｐとを用いて、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕを計算する。視線ベクトル計算部４６は、３次元ベクトルｐと、３次元ベクトルｂとを用いて、以下の式に従って、３次元ベクトルｐと、３次元ベクトルｂとの角度εを計算する。

【0053】

【数3】

【0054】

視線ベクトル計算部４６は、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕ（＝||ｂ−ｐ||）とを用いて、以下の式に従って、３次元ベクトルｐと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θを計算する。

【0055】

【数4】

【0056】

視線ベクトル計算部４６は、３次元ベクトルｐと３次元ベクトルｂとの角度εの計算結果と、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θの計算結果とを用いて、以下の式に従って、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと、真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψを計算する。以下の式で、ｒは角膜曲率半径、ｓはＡＢ’間の距離、ｎ₁は、空気の屈折率、ｎ₂は角膜の内側にある水晶体の屈折率である。

【0057】

【数5】

【0058】

視線ベクトル計算部４６は、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψとの和により、視線ベクトルの角度（＝θ＋ψ）を計算する。

【0059】

視線ベクトル計算部４６は、視線ベクトルの角度（＝θ＋ψ）と、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐと、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂとに基づいて、視線ベクトルｄを求める。ただし、-(θ＋ψ)でも式が成立するため、視線ベクトルｄのｙ成分が３次元ベクトルｐのｙ成分よりも大きくなる方を選ぶか、ｒｄがＢに近い方を選べばよい。

【0060】

カメラ座標系眼球中心座標計算部３０は、視線ベクトルｄと、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａと、角膜曲率中心Ａと眼球中心Ｅとの距離ｔとに基づいて、以下の式に従って、カメラ座標系における眼球中心座標ｅを計算する。

【0061】

【数6】

【0062】

眼球中心座標変換部３２は、カメラ座標系における眼球中心座標ｅと、カメラ座標系を顔形状モデルの座標系に変換するための回転成分Ｒ及び並進成分ｔとに基づいて、顔形状モデル座標系における眼球中心座標ｅ´に変換する。

【0063】

【数7】

【0064】

固定パラメータ計算部３３は、顔画像の時系列に対して眼球中心座標変換部３２によって得られた顔形状モデル座標系における眼球中心座標ｅ´の時系列に基づいて、顔形状モデル座標系における眼球中心座標ｅ´を固定パラメータとして計算し、固定パラメータ記憶部３４に格納する。

【0065】

例えば、顔形状モデル座標系における眼球中心座標ｅ´の時系列の平均を計算して、固定パラメータとする。あるいは、顔形状モデル座標系における眼球中心座標ｅ´の時系列に基づいて、眼球中心座標ｅ´の分散を最小化する最適化問題を解くことにより、顔形状モデル座標系における眼球中心座標ｅ´を固定パラメータとして計算してもよい。

【0066】

眼球中心方式視線検出部３６は、顔画像から、パターンマッチングにより、目の瞳孔を表わす領域を抽出し、抽出された瞳孔を表わす領域の中心を、顔画像上の目の瞳孔中心の２次元座標として検出する。

【0067】

眼球中心方式視線検出部３６は、固定パラメータ記憶部３４に記憶されている顔形状モデル座標系における眼球中心座標と、カメラ座標系を顔形状モデルの座標系に変換するための回転成分Ｒ及び並進成分ｔとに基づいて、カメラ座標系における眼球中心の３次元位置に変換する。

【0068】

具体的には、顔位置姿勢推定部２４によって推定された、カメラ座標系を顔形状モデルの座標系に変換するための回転成分Ｒ及び並進成分ｔを用いて、顔形状モデル座標系の目の眼球中心座標を、カメラ座標系での目の眼球中心座標に変換する。

【0069】

また、顔画像上の目の瞳孔中心の２次元座標と、カメラの焦点距離パラメータとに基づいて、カメラ座標系での目の瞳孔中心の３次元位置を推定する。

【0070】

眼球中心方式視線検出部３６は、カメラ座標系における眼球中心の３次元位置から、カメラ座標系での目の瞳孔中心の３次元位置へ向かう視線ベクトルを計算して、出力部１６により出力する。

【0071】

＜視線計測装置の動作＞
次に、視線計測装置１０の動作について説明する。まず、照射部１３により近赤外の光を被験者の目に照射しているときに、画像撮像部１２で被験者の顔画像を連続的に撮像する。

【0072】

そして、コンピュータ１４において、図６に示す眼球中心計算処理ルーチンを実行する。まず、ステップＳ１００において、画像撮像部１２で撮像された顔画像を取得する。

【0073】

そして、ステップＳ１０２において、顔画像から顔上の特徴点を抽出し、カメラ座標系における顔の３次元の位置姿勢として、カメラ座標系（図２参照）での顔の回転(ψc, θc, φc)と顔形状モデル原点位置(Xc, Yc, Zc)とを推定し、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔとする。

【0074】

そして、ステップＳ１０６では、上記ステップＳ１００で取得した顔画像から、角膜反射法を用いて、カメラ座標系における視線ベクトルｄを計算する。

【0075】

ステップＳ１０８では、視線ベクトルｄと、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａと、角膜曲率中心Ａと眼球中心Ｅとの距離ｔとに基づいて、カメラ座標系における眼球中心座標ｅを計算する。

【0076】

ステップＳ１１０では、カメラ座標系における眼球中心座標ｅと、上記ステップＳ１０２で推定された、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔとに基づいて、顔形状モデル座標系における眼球中心座標ｅ´に変換する。

【0077】

ステップＳ１１１では、所定数のフレーム画像について上記ステップＳ１００〜Ｓ１１０の処理を繰り返し実行したか否かを判定する。所定数のフレーム画像について上記ステップＳ１００〜Ｓ１１０の処理を繰り返し実行していない場合には、上記ステップＳ１００へ戻る。一方、所定数のフレーム画像について上記ステップＳ１００〜Ｓ１１０の処理を繰り返し実行した場合には、ステップＳ１１２へ移行する。

【0078】

ステップＳ１１２では、上記ステップＳ１１０で繰り返し得られた顔形状モデル座標系における眼球中心座標ｅ´に基づいて、顔形状モデル座標系における眼球中心座標ｅ´を固定パラメータとして計算して固定パラメータ記憶部３４に格納し、眼球中心計算処理ルーチンを終了する。また、照射部１３による光の照射も停止させる。

【0079】

上記ステップＳ１０６は、図７に示す処理ルーチンによって実現される。

【0080】

まず、ステップＳ１２０において、顔画像から、顔画像上の角膜反射像中心の２次元座標を計算し、顔画像上の角膜反射像中心の２次元座標と、顔形状モデル座標系における仮の眼球中心座標Ｅ´とから、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐを推定する。

【0081】

ステップＳ１２２では、上記ステップＳ１２０で推定された３次元ベクトルｐと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒとを用いて、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａを推定する。

【0082】

ステップＳ１２４では、顔画像から、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標を計算する。そして、ステップＳ１２６では、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標と、上記ステップＳ１２２で推定された３次元ベクトルａと、角膜反射像中心Ｐと眼球中心Ｅとの距離ｒと用いて、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂを求める。

【0083】

そして、ステップＳ１２８では、上記ステップＳ１２４で求めた３次元ベクトルｂと、上記ステップＳ１２０で推定された３次元ベクトルｐとを用いて、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕを計算する。また、３次元ベクトルｐと、３次元ベクトルｂとを用いて、３次元ベクトルｐと、３次元ベクトルｂとの角度εを計算する。また、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕ（＝｜ｂ−ｐ｜）とを用いて、３次元ベクトルｐと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θを計算する。また、３次元ベクトルｐと３次元ベクトルｂとの角度εの計算結果と、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θの計算結果とを用いて、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと、真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψを計算する。

【0084】

そして、上記で計算された、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψとの和により、視線ベクトルの角度を計算する。

【0085】

そして、ステップＳ１３０では、上記ステップＳ１２８で計算された、視線ベクトルの角度と、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐと、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂとに基づいて、視線ベクトルｄを求め、当該処理ルーチンを終了する。

【0086】

そして、画像撮像部１２で被験者の顔画像を連続的に撮像しているときに、撮像された顔画像毎に、コンピュータ１４において、図８に示す視線計測処理ルーチンを実行する。まず、ステップＳ１４０において、画像撮像部１２で撮像された顔画像を取得する。

【0087】

ステップＳ１４２では、顔画像から顔上の特徴点を抽出し、カメラ座標系における顔の３次元の位置姿勢として、カメラ座標系（図２参照）での顔の回転(ψc, θc, φc)と顔形状モデル原点位置(Xc, Yc, Zc)とを推定し、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔとする。

【0088】

ステップＳ１４４では、上記ステップＳ１４２で推定された、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔを用いて、固定パラメータ記憶部３４に記憶されている顔形状モデル座標系の目の眼球中心座標を、カメラ座標系での目の眼球中心座標に変換する。

【0089】

また、ステップＳ１４６では、上記ステップＳ１４０で得られた顔画像から、パターンマッチングにより、目の瞳孔を表わす領域を抽出し、抽出された瞳孔を表わす領域の中心を、顔画像上の目の瞳孔中心の２次元座標として検出する。そして、顔画像上の目の瞳孔中心の２次元座標と、カメラの焦点距離パラメータとに基づいて、カメラ座標系での目の瞳孔中心の３次元位置を推定する。

【0090】

ステップＳ１４８では、上記ステップＳ１４４で得られた、カメラ座標系での目の眼球中心の３次元位置と、上記ステップＳ１４６で得られた、カメラ座標系での目の瞳孔中心の３次元位置とに基づいて、カメラ座標系における眼球中心の３次元位置から、カメラ座標系での目の瞳孔中心の３次元位置へ向かう視線ベクトルを計算して、出力部１６により出力し、視線計測処理ルーチンを終了する。

【0091】

以上説明したように、第１の実施の形態に係る視線計測装置によれば、角膜反射像を用いて計算された視線ベクトルから、３次元顔形状モデルの座標系における眼球中心の３次元位置を固定パラメータとして計算し、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算することにより、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる。

【0092】

また、眼球中心は顔モデル座標系において時間的に変化しないため、固定パラメータとして記憶しておくことにより、視線検出で通常行われるキャリブレーションを行うことなしに精度の高い視線計測を実現する。また、キャリブレーションが不要なため、ユーザの使い勝手がよくなる。

【0093】

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

【0094】

第２の実施の形態では、固定パラメータとして、顔形状モデル座標系における眼球中心座標だけでなく、顔形状モデルの構造パラメータを推定している点が、第１の実施の形態と異なっている。

【0095】

＜第２の実施の形態の概要＞
第２の実施の形態では、顔形状モデル座標系における眼球中心座標eが不動点（座標値が変化しない）になることを利用して、顔形状モデルの構造パラメータ（真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒ）を推定する。

【0096】

＜視線計測装置の構成＞
第２の実施の形態に係る視線計測装置２１０のコンピュータ２１４は、画像入力部２０と、顔形状モデル記憶部２２と、顔位置姿勢推定部２４と、角膜反射法視線検出部２８と、カメラ座標系眼球中心座標計算部３０と、眼球中心座標変換部３２と、固定パラメータ計算部３３と、眼球構造パラメータ計算部２３２と、固定パラメータ記憶部３４と、眼球中心方式視線検出部３６とを備えている。

【0097】

眼球構造パラメータ計算部２３２は、顔画像の時系列に対して眼球中心座標変換部３２により得られた、顔形状モデル座標系の目の眼球中心座標の時系列に基づいて、以下の式に示す目的関数を最適化するように、顔形状モデルの構造パラメータ（真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒ）を計算する。

【0098】

【数8】

ただし、

【0099】

また、Ｅは、平均を表す。

【0100】

具体的には、上記の目的関数をｓ、ｔ、ｒで偏微分して０になるパラメータを求めればよい。

【0101】

固定パラメータ記憶部３４は、眼球中心座標変換部３２によって得られた顔形状モデル座標系における眼球中心座標を、固定パラメータとして記憶すると共に、眼球構造パラメータ計算部２３２によって計算された、真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒを、固定パラメータとして記憶する。

【0102】

固定パラメータ記憶部３４に、真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒが記憶された後、再度、角膜反射法視線検出部２８は、角膜反射法を用いて、カメラ座標系における視線ベクトルを計算し、カメラ座標系眼球中心座標計算部３０は、カメラ座標系における眼球中心座標ｅを計算する。このとき、角膜曲率中心計算部４４、視線ベクトル計算部４６、カメラ座標系眼球中心座標計算部３０では、眼球構造パラメータ計算部２３２によって計算された、真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒが用いられる。

【0103】

なお、第２の実施の形態に係る視線計測装置の他の構成及び作用について、第１の実施の形態と同様であるため、説明を省略する。

【0104】

このように、眼球中心は顔モデル座標系において時間的に変化しないため、同じく時間変化しない眼球構造パラメータと画像観測量を使って眼球中心を求める式を立てて、眼球中心が時間変動しないことを表現する評価関数を用いることで、眼球構造パラメータを求めることができる。

【0105】

なお、上記の実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置されている場合を例に説明したが、これに限定されるものではない。画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置されていない場合には、画像撮像部１２の撮像方向と照射部１３の照射方向との違いに応じた近似計算を行うようにすればよい。

【符号の説明】

【0106】

１０、２１０ 視線計測装置
１２ 画像撮像部
１３ 照射部
１４、２１４ コンピュータ
１６ 出力部
２０ 画像入力部
２２ 顔形状モデル記憶部
２４ 顔位置姿勢推定部
２８ 角膜反射法視線検出部
３０ カメラ座標系眼球中心座標計算部
３２ 眼球中心座標変換部
３３ 固定パラメータ計算部
３４ 固定パラメータ記憶部
３６ 眼球中心方式視線検出部
４０ 眼球モデル記憶部
４２ 角膜反射像位置推定部
４４ 角膜曲率中心計算部
４６ 視線ベクトル計算部
２３２ 眼球構造パラメータ計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】