特開 2015-169959 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-169959(P2015-169959A)

(43)【公開日】2015年9月28日

(54)【発明の名称】回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム

(51)【国際特許分類】

   G06F 3/038 20130101AFI20150901BHJP

   A61B 3/113 20060101ALI20150901BHJP

【ＦＩ】

   G06F3/038 310A

   A61B3/10 B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2014-42124(P2014-42124)

(22)【出願日】2014年3月4日

(71)【出願人】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100108257

【弁理士】

【氏名又は名称】近藤 伊知良

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(74)【代理人】

【識別番号】100177633

【弁理士】

【氏名又は名称】土居 猛

(72)【発明者】

【氏名】海老澤 嘉伸

【テーマコード（参考）】

5B087

【Ｆターム（参考）】

5B087AA02

5B087BC12

5B087BC13

5B087BC32

(57)【要約】

【課題】対象者の姿勢にかかわらず高精度に注視点を検出すること。
【解決手段】注視点検出装置１は、対象者Ａの顔画像を取得する２台のステレオカメラ２ａ，２ｂと、光源３ａ，３ｂと、制御回路４〜６と、画像処理装置７とを備える。画像処理装置７は、ステレオカメラ２ａ，２ｂによる顔画像に基づいて、対象者の角膜反射点と瞳孔中心の座標を計算し、これに基づいて光軸の方向を計算する。また、対象者が一の姿勢をとった時の光軸と視軸のずれとして原点補正ベクトルｒ_０を計算する。画像処理装置７は、原点補正ベクトルｒ_０の視軸回りの回転角度が対象者の左眼と右眼とで同一であるという拘束条件に基づいて、対象者の姿勢に応じて原点補正ベクトルｒ_０を補正し、補正された原点補正ベクトルｒ_０に基づいて光軸の方向を補正することにより対象者Ａの視軸の方向を計算し、視軸の方向に基づいて注視点を検出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

２台以上のカメラと、対象者に光を照射する光源と、を用いて前記対象者の顔画像を生成する顔画像生成ステップと、
前記２台以上のカメラによるそれぞれの顔画像に基づいて、前記光源からの光の前記対象者の角膜上の反射点である角膜反射点の座標と、前記対象者の瞳孔の中心である瞳孔中心の座標と、を計算する座標計算ステップと、
前記角膜反射点の座標及び前記瞳孔中心の座標に基づいて、前記対象者の眼球の中心軸である光軸の方向を計算する光軸方向計算ステップと、
前記対象者の眼球の中心窩と前記対象者の注視点とを結ぶ直線を視軸として、前記対象者が一の姿勢をとった時の前記光軸と前記視軸のずれを前記角膜反射点の座標及び瞳孔中心の座標に基づいて計算するずれ計算ステップと、
前記光軸と前記視軸とのずれの前記視軸回りの回転角度が前記対象者の左眼と右眼とで同一であるという拘束条件に基づいて、前記視軸回りの回転角度を算出する回転角度算出ステップと、
を備える回転角度算出方法。

【請求項2】

前記回転角度算出ステップでは、前記対象者の左眼の瞳孔の中心と右眼の瞳孔の中心とを結ぶ直線に平行な方向を第一方向とし、前記第一方向及び前記カメラの光軸の両方に垂直な方向を第二方向として、前記第二方向の成分を用いて前記視軸回りの回転角度を算出する請求項１に記載の回転角度算出方法。

【請求項3】

請求項１または２に記載の回転角度算出方法における前記光軸方向計算ステップで計算された光軸の方向を、請求項１または２に記載の回転角度算出方法で算出された前記視軸回りの回転角度に基づいて前記ずれを補正することにより前記視軸の方向を計算し、前記視軸の方向に基づいて前記対象者の注視点を検出する、
注視点検出方法。

【請求項4】

請求項３に記載の注視点検出方法により対象者の両眼の注視点を検出する両眼注視点検出ステップと、
前記両眼注視点検出ステップにおいて検出された対象者の両眼の注視点の間の距離に基づいて、対象者による入力がなされたと判定するステップと、
を備える、情報入力方法。

【請求項5】

対象者の顔画像に基づいて、該対象者の注視点を検出する注視点検出装置であって、
前記対象者の顔画像を取得する２台以上のカメラと、
前記対象者に光を照射する光源と、
前記２台以上のカメラから出力された画像信号を処理する画像処理部と、
を備え、
前記画像処理部は、
前記２台以上のカメラによるそれぞれの顔画像に基づいて、前記光源からの光の前記対象者の角膜上の反射点である角膜反射点の座標と、前記対象者の瞳孔の中心である瞳孔中心の座標と、を計算し、
前記角膜反射点の座標及び前記瞳孔中心の座標に基づいて、前記対象者の眼球の中心軸である光軸の方向を計算し、
前記対象者の眼球の中心窩と前記対象者の注視点とを結ぶ直線を視軸として、前記対象者が一の姿勢をとった時の前記光軸と前記視軸のずれを前記角膜反射点の座標及び瞳孔中心の座標に基づいて計算し、
前記光軸と前記視軸とのずれの前記視軸回りの回転角度が前記対象者の左眼と右眼とで同一であるという拘束条件に基づいて、前記視軸回りの回転角度を算出する回転角度算出装置。

【請求項6】

前記視軸回りの回転角度を算出する際には、前記対象者の左眼の瞳孔の中心と右眼の瞳孔の中心とを結ぶ直線に平行な方向を第一方向とし、前記第一方向及び前記カメラの光軸の両方に垂直な方向を第二方向として、前記第二方向の成分を用いて前記視軸回りの回転角度を算出する請求項５に記載の回転角度算出装置。

【請求項7】

請求項５または６に記載の回転角度算出装置により計算された光軸の方向を、請求項５または６に記載の回転角度算出装置で算出された前記視軸回りの回転角度に基づいて前記ずれを補正することにより前記視軸の方向を計算し、前記視軸の方向に基づいて前記対象者の注視点を検出する、注視点検出装置。

【請求項8】

請求項７に記載の注視点検出装置により対象者の両眼の注視点を検出する両眼注視点検出手段と、
前記両眼注視点検出手段により検出された対象者の両眼の注視点の間の距離に基づいて、対象者による入力がなされたと判定する入力判定手段と、
を備える、情報入力装置。

【請求項9】

コンピュータを、
２台以上のカメラと、対象者に光を照射する光源と、を用いて前記対象者の顔画像を生成する顔画像生成手段、
前記２台以上のカメラによるそれぞれの顔画像に基づいて、前記光源からの光の前記対象者の角膜上の反射点である角膜反射点の座標と、前記対象者の瞳孔の中心である瞳孔中心の座標と、を計算する座標計算手段、
前記角膜反射点の座標及び前記瞳孔中心の座標に基づいて、前記対象者の眼球の中心軸である光軸の方向を計算する光軸方向計算手段、
前記対象者の眼球の中心窩と前記対象者の注視点とを結ぶ直線を視軸として、前記対象者が一の姿勢をとった時の前記光軸と前記視軸のずれを前記角膜反射点の座標及び瞳孔中心の座標に基づいて計算するずれ計算手段、及び
前記光軸と前記視軸とのずれの前記視軸回りの回転角度が前記対象者の左眼と右眼とで同一であるという拘束条件に基づいて、前記視軸回りの回転角度を算出する回転角度算出手段、
として機能させる回転角度算出プログラム。

【請求項10】

前記回転角度算出手段は、前記対象者の左眼の瞳孔の中心と右眼の瞳孔の中心とを結ぶ直線に平行な方向を第一方向とし、前記第一方向及び前記カメラの光軸の両方に垂直な方向を第二方向として、前記第二方向の成分を用いて前記視軸回りの回転角度を算出する請求項９に記載の回転角度算出プログラム。

【請求項11】

請求項９または１０に記載の回転角度算出プログラムにおける前記光軸方向計算手段により計算された光軸の方向を、請求項１または２に記載の回転角度算出プログラムで算出された前記視軸回りの回転角度に基づいて前記ずれを補正することにより前記視軸の方向を計算し、前記視軸の方向に基づいて前記対象者の注視点を検出する、
注視点検出プログラム。

【請求項12】

コンピュータを
請求項１１に記載の注視点検出プログラムにより対象者の両眼の注視点を検出する両眼注視点検出手段と、
前記両眼注視点検出手段によって検出された対象者の両眼の注視点の間の距離に基づいて、対象者による入力がなされたと判定するステップと、
として機能させる情報入力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象者の画像に基づいて所定平面上の対象者の注視点を検出する回転角度算出方法、注視点検出方法、この注視点検出方法を用いた情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム、及び情報入力プログラムに関するものである。

【背景技術】

【0002】

従来から、非接触で被験者の視線又は注視点を検出する装置が、ヒューマンインタラクションの分野で重要視されている。高精度の視線検出技術が実用化されれば、例えば、ドライバーの監視、商品の興味の度合いの調査、重度身体障害者のパーソナルコンピュータへのデータ入力などの様々な用途に適用できる。

【0003】

非特許文献１，２に記載の注視点検出方法では、位置が既知であるカメラと、位置が既知であるディスプレイ画面上の１点との合計２点を対象者に注視させることによって、瞳孔の中心と角膜反射点との間の距離から対象者の視線方向を計算するための関数を補正して、その補正した関数を用いて視線方向及び注視点を検出する。このような注視点検出方法によれば、対象者の頭部が移動しても高精度の視線検出が可能である。

【0004】

特に、非特許文献２に記載の注視点検出方法では、位置が既知であるディスプレイ画面上の１点を対象者に注視させて、眼球の対称性を考慮した際の中心軸である光軸と、眼球の網膜上の中心窩と対象者の注視点とを通る軸である視軸とのずれを補正する補正ベクトルを得ることにより、注視点検出精度や装置の利便性を向上させている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ebisawa Y. and Fukumoto K.: "Head-free, Remote Eye-gaze Detection System Based on Pupil-corneal Reflection Method with Easy Calibration Using Two Stereo-calibrated Video Cameras" IEEE Trans Biomed Eng., 60(10), pp.2952-2960, 2013.

【非特許文献2】小笠原将人、安保寿樹、西田康太郎、福元清剛、海老澤嘉伸「簡易較正法による遠隔高精度注視点検出装置」、ViEW2011, I1-31, 7pages, 2010.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、例えば対象者が正面またはディスプレイ画面を向きながら、左右に頭部を側屈させた場合などに、対象者の頭部の回転が生じることがある。この場合、非特許文献２に記載の注視点検出方法では、補正ベクトルに対象者の頭部の回転が反映されず、注視点の検出の精度が低下する場合がある。

【0007】

そこで、本発明は、対象者の姿勢にかかわらず補正ベクトルの回転角度を高精度に算出できる回転角度算出方法、回転角度算出装置、及び回転角度算出プログラム、並びにこれらを用いた注視点検出方法、注視点検出装置、注視点検出プログラム、情報入力方法、情報入力装置、及び情報入力プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明の回転角度算出方法は、２台以上のカメラと、対象者に光を照射する光源と、を用いて対象者の顔画像を生成する顔画像生成ステップと、２台以上のカメラによるそれぞれの顔画像に基づいて、光源からの光の対象者の角膜上の反射点である角膜反射点の座標と、対象者の瞳孔の中心である瞳孔中心の座標と、を計算する座標計算ステップと、角膜反射点の座標及び瞳孔中心の座標に基づいて、対象者の眼球の中心軸である光軸の方向を計算する光軸方向計算ステップと、対象者の眼球の中心窩と対象者の注視点とを結ぶ直線を視軸として、対象者が一の姿勢をとった時の光軸と視軸のずれを角膜反射点の座標及び瞳孔中心の座標に基づいて計算するずれ計算ステップと、光軸と視軸とのずれの視軸回りの回転角度が対象者の左眼と右眼とで同一であるという拘束条件に基づいて、視軸回りの回転角度を算出する回転角度算出ステップと、を備える。

【0009】

また、本発明の回転角度算出装置は、対象者の顔画像に基づいて、該対象者の注視点を検出する注視点検出装置であって、対象者の顔画像を取得する２台以上のカメラと、対象者に光を照射する光源と、２台以上のカメラから出力された画像信号を処理する画像処理部と、を備え、画像処理部は、２台以上のカメラによるそれぞれの顔画像に基づいて、光源からの光の対象者の角膜上の反射点である角膜反射点の座標と、対象者の瞳孔の中心である瞳孔中心の座標と、を計算し、角膜反射点の座標及び瞳孔中心の座標に基づいて、対象者の眼球の中心軸である光軸の方向を計算し、対象者の眼球の中心窩と対象者の注視点とを結ぶ直線を視軸として、対象者が一の姿勢をとった時の光軸と視軸のずれを角膜反射点の座標及び瞳孔中心の座標に基づいて計算し、光軸と視軸とのずれの視軸回りの回転角が対象者の左眼と右眼とで同一であるという拘束条件に基づいて、視軸回りの回転角度を算出する。

【0010】

また、本発明の回転角度算出プログラムは、コンピュータを、２台以上のカメラと、対象者に光を照射する光源と、を用いて対象者の顔画像を生成する顔画像生成手段、２台以上のカメラによるそれぞれの顔画像に基づいて、光源からの光の対象者の角膜上の反射点である角膜反射点の座標と、対象者の瞳孔の中心である瞳孔中心の座標と、を計算する座標計算手段、角膜反射点の座標及び瞳孔中心の座標に基づいて、対象者の眼球の中心軸である光軸の方向を計算する光軸方向計算手段、対象者の眼球の中心窩と対象者の注視点とを結ぶ直線を視軸として、対象者が一の姿勢をとった時の光軸と視軸のずれを角膜反射点の座標及び瞳孔中心の座標に基づいて計算するずれ計算手段、及び光軸と視軸とのずれの視軸回りの回転角が対象者の左眼と右眼とで同一であるという拘束条件に基づいて、視軸回りの回転角度を算出する回転角度算出手段、として機能させる。

【0011】

このような回転角度算出方法、回転角度算出装置、及び回転角度算出プログラムによれば、まず、角膜反射点の座標及び瞳孔中心の座標に基づいて、対象者の眼球の光軸の方向が計算される。また、対象者が一の姿勢をとった時の光軸と視軸とのずれが計算される。次に、光軸と視軸とのずれの視軸回りの回転角が対象者の左眼と右眼とで同一であるという拘束条件に基づいて、光軸と視軸とのずれの視軸回りの回転角度が算出される。このように、対象者の姿勢に応じて光軸と視軸とのずれの視軸回りの回転角度が算出されるため、対象者の姿勢によらず高精度に光軸と視軸とのずれの視軸回りの回転角度を算出することができる。

【0012】

また、回転角度算出ステップでは、対象者の左眼の瞳孔の中心と右眼の瞳孔の中心とを結ぶ直線に平行な方向を第一方向とし、第一方向及びカメラの光軸の両方に垂直な方向を第二方向として、第二方向の成分を用いて視軸回りの回転角度を算出することが好ましい。

【0013】

人間の目の性質として、左眼と右眼の視線の方向は、左眼と右眼とを結ぶ直線に平行な方向、すなわち第一方向に沿って近寄ったり離れたりすることがある一方で、第二方向に沿っては近寄ったり離れたりすることはない。このため、第二方向の成分を用いてずれを計算した場合には、例えば対象者の左眼と右眼の視線の方向が離れてしまった場合でも、左眼と右眼の視線の方向のずれの影響を受けにくい。したがって、対象者の左眼と右眼の視線の方向が離れてしまった場合の回転角度算出の精度を向上させることができる。

【0014】

また、本発明の注視点検出方法は、上記回転角度算出方法における光軸方向計算ステップで計算された光軸の方向を、上記の回転角度算出方法で算出された視軸回りの回転角度に基づいてずれを補正することにより視軸の方向を計算し、視軸の方向に基づいて対象者の注視点を検出する。

【0015】

これにより、対象者の姿勢に応じて算出された回転角度に基づいて光軸と視軸とのずれが補正されるため、対象者の姿勢によらず高精度に対象者の注視点を検出することができる。

【0016】

さらに、本発明の情報入力方法は、上記の注視点検出方法により対象者の両眼の注視点を検出する両眼注視点検出ステップと、両眼注視点検出ステップにおいて検出された対象者の両眼の注視点の間の距離及び距離が所定の範囲にある時間に基づいて、対象者による情報の入力がなされたと判定するステップと、を備える。

【0017】

この情報入力方法によれば、対象者の両眼の注視点を検出し、検出された両眼の注視点の間の距離及びこの距離が所定の範囲にある時間に基づいて、対象者による情報の入力がなされたと判定する。ここで、一般的に、人間が何らかの情報の入力をしようと考えているときには、両眼の注視点のずれが小さくなる、すなわち両眼の注視点の間の距離が狭くなる傾向がある。一方、人間が何を入力しようかと迷っていたり、画面全体を見渡していたり、意識が散漫になっていたりするときには、両眼の注視点の間の距離は広くなる傾向がある。このため、上記の情報入力方法によれば、対象者が何らかの情報の入力をしようとしていることを適切に検出することができるため、対象者が効率よく入力操作を行うことができる。

【発明の効果】

【0018】

本発明の注視点検出方法及び注視点検出装置によれば、対象者の姿勢にかかわらず高精度に注視点を検出することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の好適な一実施形態にかかる注視点検出装置を示す斜視図である。

【図2】図１のカメラの開口に取り付けられた光源の平面図である。

【図3】図１の注視点検出装置で設定される座標系の位置関係を示す図である。

【図4】図１の注視点検出装置による注視点検出手順を説明するための図である。

【図5】図１の注視点検出装置による注視点検出手順を説明するための図である。

【図6】光軸と視軸とのずれを示す斜視図である。

【図7】注視点及びカメラを仮想視点平面上に投影した図である。

【図8】角膜反射位置と瞳孔位置とを角膜反射−瞳孔ベクトル平面上に示す図である。

【図9】図８の各ベクトルを説明のために平行移動した図である。

【図10】図９において対象者の頭部が回転した場合を示す図である。

【図11】対象者の頭部の回転による左右の瞳孔の回転を示す図である。

【図12】図１０において、両眼の注視点が一致しない場合に対応する図である。

【図13】補正前後における注視点検出誤差を示す図である。

【図14】補正前後における注視点分布を示す図である。

【発明を実施するための形態】

【0020】

以下、図面を参照しつつ本発明に係る注視点検出方法及び注視点検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0021】

（注視点検出装置の構成）
まず、本発明にかかる注視点検出装置を実施するための注視点検出装置の構成について、図面を参照しながら説明する。本発明の注視点検出装置は、対象者の顔画像を基にパーソナルコンピュータ等の情報処理端末のモニター画面上の注視点を検出する装置である。なお、この注視点検出装置は、回転角度算出装置としても機能する。

【0022】

図１は、本発明の好適な一実施形態である注視点検出装置１を示す斜視図である。同図に示すように、注視点検出装置１は、対象者Ａの顔画像を撮像する２台のステレオカメラ２ａ，２ｂと、それぞれのステレオカメラ２ａ，２ｂの開口部の撮像レンズの外側に設けられた光源３ａ，３ｂと、光源３ａ，３ｂの給電用の発光回路（制御回路）４と、ステレオカメラ２ａ，２ｂに入力する同期信号を生成する同期信号発生器（制御回路）５と、同期信号を遅延させるための遅延回路（制御回路）６と、ステレオカメラ２ａ，２ｂの生成した画像信号を処理するパーソナルコンピュータ等の画像処理装置（画像処理部）７と、ステレオカメラ２ａ，２ｂの上方において対象者Ａに対向するように配置され、画像処理装置７に接続されたディスプレイ装置８とを備えている。これらの発光回路４、同期信号発生器５、及び遅延回路６は、ステレオカメラ２ａ，２ｂ及び光源３ａ，３ｂの動作を制御するための制御回路を構成する。

【0023】

ステレオカメラ２ａ，２ｂは、対象者Ａの顔面を撮像することによって画像データを生成する。このステレオカメラ２ａ，２ｂとしては、インターレーススキャン方式の１つであるＮＴＳＣ方式のカメラを用いる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと奇数フィールドを除く偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されて生成される。具体的には、１フレーム内では、奇数フィールドの画素ラインと偶数フィールドの画素ラインとが交互に並ぶように生成される。

【0024】

この一方のステレオカメラ２ａには、同期信号発生器５から垂直同期信号（ＶＤ信号）が入力され、他方のステレオカメラ２ｂには、同期信号発生器５から遅延回路６を経由して遅延された垂直同期信号（ＶＤ信号）が入力されることにより、２つのステレオカメラ２ａ，２ｂの撮影タイミングが互いにずらされる。

【0025】

また、このステレオカメラ２ａ，２ｂの対物レンズが収容された円形状の開口部９ａ，９ｂの外側には、それぞれ、光源３ａ，３ｂが固定されている。図２には、光源３ａ，３ｂの平面図を示している。光源３ａ，３ｂは、対象者Ａの顔に向けて照明光を照射するためのものであり、リング状の台座部１０に２種類の発光素子１１，１２が複数埋め込まれた構造を有している。この発光素子１１は、出力光の中心波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、台座部１０上において開口部９ａ，９ｂの縁に沿って等間隔でリング状に配設されている。また、発光素子１２は、出力光の中心波長が９５０ｎｍの半導体発光素子であり、台座部１０上において発光素子１１の外側に隣接して等間隔にリング状に配設されている。すなわち、発光素子１２のステレオカメラ２ａ，２ｂの光軸からの距離は、発光素子１１の光軸からの距離よりも大きくなるように設定されている。このとき、それぞれの発光素子１１，１２は、ステレオカメラ２ａ，２ｂの光軸に沿って照明光を出射するように台座部１０上に設けられている。

【0026】

これらの発光素子１１，１２は、発光回路４によって、それぞれ独立に発光タイミングを制御可能にされる。具体的には、同期信号発生器５から出力されるＶＤ信号に同期したステレオカメラ２ａ，２ｂのシャッタタイミングに合わせて、発光素子１１，１２が交互に発光するように、発光タイミングが制御される。

【0027】

なお、ステレオカメラ２ａ，２ｂに代えて、３台以上のカメラを配置し、そのうちの２台を使用するようにしてもよい。すなわち、注視点検出装置は、２台以上のカメラを備えていればよい。

【0028】

このような制御回路の動作により、光源３ａの発光素子１１から対象者Ａの左右の眼球Ｂに照明光が照射されると、眼球Ｂにおいて明瞳孔像が生成され、発光素子１２から眼球Ｂに照明光が照射されると、眼球Ｂにおいて暗瞳孔像が生成される。これは、波長が９００ｎｍより短い照明光を受ける場合は、波長が９００ｎｍより長い照明光を受ける場合に比較して瞳孔が明るく映る、眼球Ｂへの照明光がカメラの光軸からより離れた位置から入射した場合は瞳孔がより暗く映るという性質によるものである。その結果、ステレオカメラ２ａ，２ｂの生成する奇数フィールド及び偶数フィールドには、それぞれ、眼球Ｂの明瞳孔画像及び暗瞳孔画像が反映される。

【0029】

画像処理装置７は、２台のステレオカメラ２ａ，２ｂから出力された画像データを処理する。具体的には、画像処理装置７は、ステレオカメラ２ａ，２ｂから出力された１フレームの画像データを、奇数フィールドと偶数フィールドとに分離する。例えば、この奇数フィールドの画像データ（奇数画像データ）は明瞳孔画像となっており、偶数フィールドの画像データ（偶数画像データ）は暗瞳孔画像となっている。これらの画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像処理装置７は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像データ及び暗瞳孔画像データを生成する。

【0030】

また、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データを対象にして、対象者Ａの左右の角膜反射点の位置も検出する。すなわち、検出した瞳孔を中心としたウィンドウを設定し、そのウィンドウ範囲のみを高分解像度化した画像データを作成し、その画像データから角膜反射を検出する。具体的には、Ｐタイル法によって２値化の閾値を決定し、その画像から２値化画像を作成し、ラベリングを行い、面積が一定以下である部分を選択する。ここで、画像処理装置７は、選択した部分の中心座標に対し、分離度フィルタを与え、分離度と輝度とを掛けた特徴量を求め、その値が一定値以下であれば角膜反射ではないと判断する。さらに、画像処理装置７は、明瞳孔画像データと暗瞳孔画像データにおいて、角膜反射の移動量を計算し、その移動量を差分位置補正量とする。そして、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データの角膜反射位置が一致するように差分位置補正量分だけずらし、画像データの輝度を足し算し、輝度重心座標を角膜反射の座標と決定する。

【0031】

さらに、画像処理装置７は、２台のステレオカメラ２ａ，２ｂから出力された画像データを元に検出した瞳孔中心座標から、対象者Ａの左右の瞳孔の３次元位置を計算する。この際、画像処理装置７は、ステレオ法によって左右の瞳孔の３次元座標を計測する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに画像中の点の座標を基に、内部パラメータ及び外部パラメータを用いてその点の空間上の位置を決定する方法である。

【0032】

なお、画像処理装置７がステレオ法を用いて瞳孔の３次元座標を計算する際には、図３に示すような座標系を用いる。同図に示す世界座標系（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は、２台のステレオカメラ２ａ，２ｂで共有する原点Ｏ_Ｗが例えばディスプレイ装置８の画面中央に位置する座標系であり、カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点Ｃがステレオカメラ２ａ，２ｂの光学中心とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系であり、画像座標系（Ｘ_Ｇ，Ｙ_Ｇ）は、撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃｉとする座標系である。点Ｐが目標点の座標とすると、ステレオカメラ２ａ，２ｂを用いた際の画像座標系への投影点（Ｘ_ｄ，Ｙ_ｄ）は、画像のゆがみにより理想的な投影点（Ｘ_ｕ，Ｙ_ｕ）からずれることになる。従って、ステレオ法を用いた３次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標の対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、このようなキャリブレーションデータとしては、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトル及び世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等が予め取得されて、画像処理装置７に記憶される。

【0033】

そして、画像処理装置７は、２台のステレオカメラ２ａ，２ｂからの出力データを元に検出した画像座標系における瞳孔中心座標と、世界座標系における瞳孔中心座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、画像処理装置７は、２つの関係式から対象者Ａの瞳孔の世界座標系における３次元位置座標を求める。同様にして、画像処理装置７は、対象者Ａの左右の瞳孔の３次元位置を求めることができる。

【0034】

また、画像処理装置７は、検出した対象者Ａの左右の角膜反射点の位置、及び左右の瞳孔中心の位置を用いて、ディスプレイ装置８上の対象者の注視点を検出する。以下に、図４及び図５を参照しながら、画像処理装置７による注視点の検出手順について説明する。この注視点の検出手順は、本実施形態の注視点検出方法を行うための前提である。

【0035】

（注視点検出手順）
ここでは、図４に示すように、検出した瞳孔の３次元位置Ｐを元に、ステレオカメラ２ａ，２ｂの開口部９ａ，９ｂの中心を原点Ｏとし、その原点Ｏと瞳孔中心Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’−Ｙ’を設定する。ここで、Ｘ’軸は、世界座標系のＸ_Ｗ−Ｙ_Ｗ平面と仮想視点平面Ｘ’−Ｙ’との交線に相当する。

【0036】

まず、画像処理装置７は、画像面Ｓ_Ｇにおける角膜反射点Ｇから瞳孔中心Ｐまでのベクトルｒ_Ｇを算出する。そして、ベクトルｒ_Ｇを、距離ＯＰから求められたカメラの拡大率を用いて実寸に換算したベクトルｒ’に変換する。このとき、各ステレオカメラ２ａ，２ｂをピンホールモデルと考え、角膜反射点Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’−Ｙ’と平行な平面上にあると仮定している。つまり、画像処理装置７は、仮想視点平面と平行であって瞳孔中心Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標をベクトルｒ’として算出しており、このベクトルｒ’は角膜反射点Ｇから瞳孔中心Ｐまでの実距離を表す。

【0037】

その後、画像処理装置７は、対象者Ａの仮想視点平面上の注視点Ｔに関して、直線ＯＴの水平軸Ｘ’に対する角度φを、ベクトルｒの画像面上の水平軸Ｘ_Ｇに対する角度φ’と等しいとして求める。さらに、画像処理装置７は、対象者Ａの視線ベクトル、すなわち、瞳孔中心Ｐと注視点Ｔを結ぶベクトルＰＴと、基準線ＯＰとの成す角度θを、ゲイン値ｋ及び原点補正ベクトル（オフセットベクトル）ｒ_０を含むパラメータを使った関数ｆ_１を用いて、下記式（１）；

【数1】

によって計算する。ここで、ベクトルｒ’は、角膜反射点Ｇから瞳孔中心Ｐに向かう瞳孔ベクトルの実測値を表す。

【0038】

このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒ（＝ｒ’−ｒ_０）を仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われている。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離の修正値｜ｒ’−ｒ_０｜との間で線形関係を有すると仮定している。なお、関数ｆ_１に含まれる原点補正ベクトルｒ_０には、対象者Ａがカメラを見たとき（θ＝０）の実寸の角膜反射−瞳孔中心間のベクトルが零ではないために、この角膜反射−瞳孔中心間のベクトルとして、ベクトルｒ_０が設定される。ここで、上記ゲイン値ｋ及び原点補正ベクトルｒ_０は、各対象者Ａや左右の眼球によって異なるため較正を行う必要がある。そこで、ゲイン値ｋ及び原点補正ベクトルｒ_０は予め設定された初期値に対して後述するパラメータ補正処理によって補正された値が使用される。

【0039】

さらに、画像処理装置７は、２台のステレオカメラ２ａ，２ｂのカメラ画像に対応して計算された角度φ，θであるφ_１，φ_２，θ_１，θ_２を参照して、対象者Ａのディスプレイ装置８の画面上の注視点を検出する。ここで、注視点検出のメカニズムを説明するために図５に示すような座標系を定義する。２台のステレオカメラ２ｂ，２ａの位置に対応した原点Ｏ_１’，Ｏ_２’を有する２つの仮想視点平面Ｈ_１，Ｈ_２と、瞳孔中心Ｐを中心とした半径を任意とした仮想視点球面Ｓを定義する。２つの仮想視点平面Ｈ_１，Ｈ_２は、それぞれ、直線ＰＯ_１’，ＰＯ_２’に対して垂直な平面である。そして、瞳孔中心Ｐとディスプレイ画面上の注視点Ｑを通る直線（視線）と仮想視点球面Ｓとの交点をＧ_Ｓ、瞳孔中心Ｐと原点Ｏ_１’を通る直線と仮想視点球面Ｓとの交点をＯ_１、瞳孔中心Ｐと原点Ｏ_２’を通る直線と仮想視点球面Ｓとの交点をＯ_２とする。なお、視線ＰＱと仮想視点平面Ｈ_１との交点をＧ_１とすると、直線Ｏ_１’Ｇ_１と仮想視点平面Ｈ_１との水平軸の成す角がφ_１となる。同様に、視線ＰＱと仮想視点平面Ｈ_２との交点をＧ_２とすると、直線Ｏ_２’Ｇ_２と仮想視点平面Ｈ_２との水平軸の成す角がφ_２となる。さらに、仮想視点球面Ｓ上において、点Ｏ_１における点Ｏ_１を通る水平面と球面Ｓとの交線（曲線）と曲線Ｏ_１Ｇ_Ｓの成す角は、上記角度φ_１と等しくなる。同様に、仮想視点球面Ｓ上において、点Ｏ_２における点Ｏ_２を通る水平面と仮想視点球面Ｓとの交線（曲線）と曲線Ｏ_２Ｇ_Ｓの成す角は、上記角度φ_２と等しくなる。また、上述したように、点Ｐ，Ｏ_１，Ｏ_１’は同じ直線Ｌ_１上に存在し、点Ｐ，Ｏ_２，Ｏ_２’は同じ直線Ｌ_２上に存在するので、直線Ｌ_１と視線の成す角がθ_１となり、直線Ｌ_２と視線の成す角がθ_２となる。

【0040】

画像処理装置７は、上記のような関係を用いることにより、予め既知である原点Ｏ_１’，Ｏ_２’の位置座標、及びディスプレイ装置８の位置及び向きのデータを参照しながら、画面上の注視点を算出することができる。すなわち、２台のステレオカメラ２ａ，２ｂのカメラ画像によって計算された角度φ_１，φ_２，θ_１，θ_２から、仮想視点球面Ｓ上の点Ｇ_Ｓ，Ｏ_１，Ｏ_２の相対的位置関係を取得することができる。従って、画像処理装置７は、既知である原点Ｏ_１’，Ｏ_２’の座標と、既に計算された瞳孔中心Ｐの座標から、一意に視線ＰＧ_Ｓを求めることができ、その視線ＰＧ_Ｓとディスプレイ装置８の画面との交点を計算することにより注視点Ｑを検出することができる。なお、角度φ_１，θ_１から求められる視線ＰＧ_Ｓと、角度φ_２，θ_２から求められる視線ＰＧ_Ｓがずれている場合にはそれらを平均したものを最終的な視線ベクトルとして計算することもできる。

【0041】

ここで、画像処理装置７が視線方向の計算に用いる関数ｆ_１には、パラメータとしてゲイン値ｋ及び原点補正ベクトルｒ_０が含まれている。このゲイン値ｋは、上記式（１）を見ても分かるように、角膜反射−瞳孔中心ベクトルｒ’を調整後のベクトルｒ＝ｒ’−ｒ_０の大きさと視線方向を示す角度θが線形関係にあると仮定して、そのベクトルｒから角度θを求める時に使用する倍率である。理想的には、角度θとベクトル｜ｒ’｜とが線形関係にあれば、ゲイン値ｋさえ求まれば角度θが計算できるはずである。言い換えれば角度θ＝０のとき、つまり対象者Ａがカメラを注視したときはベクトル｜ｒ’｜＝０になるはずである。しかしながら、実際には眼球の視軸（視線）と光軸とは一致せず、角度θ＝０のときベクトル｜ｒ’｜≠０となる。さらに、対象者Ａが変われば角度θ＝０のときのベクトル｜ｒ｜は異なる。なお、眼球の視軸とは、対象者の眼球の中心窩と対象者の注視点とを結ぶ直線である。

【0042】

以下、ｋ及びベクトルｒ_０の求め方について説明する。式（１）より、ベクトルθ_１，θ_２は、以下の式でそれぞれ表される。

【数2】

【数3】

【0043】

なお、式（２）及び（３）において、原点補正ベクトルｒ_０は、個々の眼球において一意に決定されるため、カメラに関係なくｒ_０とした。また、２台のカメラの間隔は角度で表され、次式（４）で定義できる。

【数4】

【0044】

式（２）〜（４）から、次式（５）が得られ、式（３）の係数ｋ（較正値）が算出される。

【数5】

【0045】

ここで、２台のカメラの位置は既知であるから、式（５）における∠Ｏ_１ＰＯ_２は常に既知である。すなわち、対象者が特定の位置を注視しなくても、各カメラにおいて実測されるベクトルｒ’から係数ｋを算出することができる。

【0046】

さらに、画像処理装置７は、１点較正法により、原点補正ベクトルｒ_０を求める。１点較正法による原点補正ベクトルｒ_０の求め方は、具体的には次の通りである。まず、画像処理装置７は、ディスプレイ装置８の表示画面上の任意の位置に１点の視標（規定点）を表示させて、対象者Ａに当該視標を注視させる。この状態で、画像処理装置７は、投影仮想視点平面上の注視点を検出する。次に、画像処理装置７は、検出した注視点と視標の座標を投影仮想視点平面上に投影した点との差分を補正量として算出する。そして、画像処理装置７は、この補正量に基づいて原点補正ベクトルｒ_０を決定する。これにより、画像処理装置７は、式（１）による高精度な注視点検出を行うことができる。

【0047】

（頭部側屈による注視点検出誤差補正法）
上述した注視点検出手順において用いられる原点補正ベクトルｒ_０は、対象者が一の姿勢をとった場合において定まるベクトルであり、対象者の姿勢が変化した場合、特に対象者が頭部を側屈させた場合においては、原点補正ベクトルｒ_０の方向が変化する。そこで、本実施形態の注視点検出方法では、画像処理装置７は、対象者の頭部側屈に応じて、原点補正ベクトルｒ_０を補正する。

【0048】

以下、図６を参照して、対象者の頭部側屈による注視点の誤差を補正する方法について説明する。図６において、１台のカメラＯ’により、対象者Ａの左眼及び右眼の瞳孔中心Ｐ_Ｌ及びＰ_Ｒが撮影されている。両瞳孔は視対象平面上の注視点Ｑを注視しており、両眼の視軸と視対象平面との交点は、注視点Ｑで一致している。一般的に、視軸と光軸との間にはずれが存在するため、光軸と視対象平面との交点は、注視点Ｑとは異なった位置に検出される。図６では、対象者Ａの左右の眼球の光軸を破線の矢印で示している。カメラ−瞳孔ベクトルＰ_ＬＯ’，Ｐ_ＲＯ’と左右の視線ベクトルＰ_ＬＱ，Ｐ_ＲＱとのなす角は、それぞれ角度ベクトルθ_Ｌ及びθ_Ｒで表される。

【0049】

図７は、左眼及び右眼のそれぞれについてのベクトルＯ’Ｑを一の平面上に表したものである。眼球の視軸と光軸との間にずれが存在しない場合、世界座標系において、θ_Ｌ（＝ｋ_Ｌｒ_Ｌ）及びθ_Ｒ（＝ｋ_Ｒｒ_Ｒ）は、カメラＯ’から注視点方向に向かう角度ベクトルとして表現される。言い換えれば、瞳孔中心Ｐ_Ｌ，Ｐ_Ｒから見た場合の、カメラＯ’と注視点Ｑとの間の角度は、角度θ_Ｌ，θ_Ｒとして検出される。しかしながら、実際には、視軸と光軸とのずれが存在するため、実際に検出されるのは、瞳孔中心Ｐ_Ｌ，Ｐ_Ｒから見た場合の、カメラＯ’の方向と光軸方向とがなす角度である。この角度は、ベクトルｋ_Ｌｒ’_Ｌ及びｋ_Ｒｒ’_Ｒとして検出される。そこで、検出されたベクトルｋ_Ｌｒ’_Ｌ及びｋ_Ｒｒ’_Ｒから原点補正ベクトルｒ_０Ｌ及びｒ_０Ｒに係数（ｋ_Ｌ，ｋ_Ｒ）を乗じたベクトルを減算することによって、注視点検出を行う。

【0050】

ここで、式（１）から、ｋ・ｒ＝ｋ（ｒ’−ｒ_０）であるが、この両辺を共通のゲイン値ｋで除することで、ｒ＝ｒ’−ｒ_０となる。したがって、図７に示した世界座標系における関係を、角膜反射−瞳孔ベクトルｒ平面上での関係として置き換えることができる。さらに、係数ｋ_Ｌ及びｋ_Ｒがほぼ同じ値であると仮定し、図７に示した各ベクトルをｋ_Ｌ又はｋ_Ｒで除すると、図８に示すように、各ベクトルを角膜反射−瞳孔ベクトル平面上に表現することができる。図８の表現は、各ベクトルの最も簡単な表現である。図８では、視軸と光軸とのずれによって、角膜反射が本来の位置からずれた位置に検出されている。このようにずれた位置に検出された角膜反射を、原点補正ベクトルｒ_０Ｌ，ｒ_０Ｒによって補正している。

【0051】

次に、説明の便宜のために、図８の原点補正ベクトルｒ_０Ｌ，ｒ_０Ｒの始点をベクトルｒ_Ｌ，ｒ_Ｒの終点に平行移動させたものを図９に示す。また、図６における角度ベクトルθ_Ｌ及びθ_Ｒは、同一の注視点Ｑに向かうため、ベクトルの終点は一致する。したがって、θ_Ｌ，θ_Ｒを係数ｋ_Ｌ，ｋ_Ｒで除したベクトルであるｒ_Ｌ及びｒ_Ｒについても、終点は一致すると考えられる。そこで、図９においては、ベクトルｒ_Ｌ及びｒ_Ｒの終点が一致するように、両眼の各ベクトルを平行移動させている。

【0052】

一般に、対象者の頭部が左右に傾くと、その傾きを補償する、眼球の視軸回りの回転が生じる。この回転は、回旋運動と呼ばれる。回旋運動は、ゴーグル型の装置で計測されることが多く、一般的に、回旋運動は頭部に対する視軸回りの回転角として計測される。しかし、本明細書では、回旋運動の角度は、頭部に対してではなく、世界座標系での回転の角度を意味する。

【0053】

いま、対象者の頭部が左方向に角度γ_Ｈだけ倒れたときに、両方の眼球が視軸回りに角度γだけ回転したとすると、それに伴って原点補正ベクトルｒ_０Ｌ及びｒ_０Ｒがそれぞれ角度γだけ回転する。この様子を図１０に示す。

【0054】

図１０において、点Ｇは、対象者の注視点に相当するｒ平面上の点を表す。以下、単に注視点と呼ぶ。点ａ_Ｌ，ａ_Ｒは、原点補正ベクトルｒ_０Ｌ，ｒ_０Ｒが角度γだけ回転したことを考慮しない場合に、ベクトルｒ’_Ｌ，ｒ’_Ｒの終点となる点である。点ａ’_Ｌ，ａ’_Ｒは、実際に検出されるベクトルｒ’_Ｌ，ｒ’_Ｒの終点である。点ｇ_Ｌ，ｇ_Ｒは、原点補正ベクトルｒ_０Ｌ，ｒ_０Ｒが角度γだけ回転したことを考慮せずに、点ａ’_Ｌ，ａ’_Ｒを原点補正ベクトルｒ_０Ｌ，ｒ_０Ｒと逆方向に移動した点である。すなわち、点ｇ_Ｌ，ｇ_Ｒは、原点補正ベクトルｒ_０Ｌ，ｒ_０Ｒが角度γだけ回転したことを考慮しない場合に注視点として計算される点である。

【0055】

ここで、原点補正ベクトルｒ_０の方向は、視軸と光軸との間のずれ方向を反映していると仮定できるため、視軸回りの回転に伴って、ｒ_０はその大きさを変えずに回転するはずである。眼球を大きく拡大して撮影する場合には、瞳孔中心を原点とする楕円状の虹彩像の明暗を利用して視軸回りの眼球回転角度を直接的に計測する方法がある。しかしながら、カメラで取得できる画像の画質によっては、そのような方法を実行することは困難であり、片眼ごとにｒ_０を決定することはできない。

【0056】

そこで、本実施形態では、対象者が頭部を側屈させたとき、両眼のｒ_０が同じ角度γだけ、視軸回りに回転するという拘束条件を設ける。さらに、角度γを求める際にだけ、常に両眼の視軸が共にカメラ（光源）（図６の点Ｏ’）を通り、かつ両眼の瞳孔が同一平面上にあると仮定する。

【0057】

以下、このような拘束条件を用いた注視点検出方法について説明する。まず、注視点検出処理を開始する前に予め、対象者が一の姿勢をとった時の光軸と視軸のずれを、角膜反射点の座標及び瞳孔中心の座標に基づいて計算する（ずれ計算ステップ）。具体的には、注視点を較正するため、画像処理装置７が、画面中央の座標が既知の視標をディスプレイ装置８に提示し、この視標を対象者に注視させる。これにより、ずれとしての原点補正ベクトルｒ_０及び係数ｋが決定される。

【0058】

その後、ステレオカメラ２ａ，２ｂと、光源３ａ，３ｂと、を用いて対象者の顔画像を生成する（顔画像生成ステップ）。続いて、ステレオカメラ２ａ，２ｂによるそれぞれの顔画像（例えば明瞳孔画像及び暗瞳孔画像）に基づいて、光源３ａ，３ｂからの光の、対象者の角膜上の反射点である角膜反射点の座標と、対象者の瞳孔の中心である瞳孔中心の座標と、を計算する（座標計算ステップ）。

【0059】

次に、角膜反射点の座標及び瞳孔中心の座標に基づいて、対象者の眼球の中心軸である光軸の方向を計算する（光軸方向計算ステップ）。この光軸方向計算ステップにより、図６の点ａ’_Ｌ，ａ’_Ｒの座標が得られる。

【0060】

次に、光軸と視軸とのずれの視軸回りの回転角が対象者の左眼と右眼とで同一であるという拘束条件に基づいて、光軸と視軸とのずれの視軸回りの回転角度を算出する（回転角度算出ステップ）。ここで、ずれとは、上述した原点補正ベクトルｒ_０に相当する。ずれ補正ステップについて次に詳述する。

【0061】

いま、頭部が左側屈し、両眼が視軸回りに同一の未知の角度γだけ反時計回りに回転したとする。それに伴い、原点補正ベクトルｒ_０Ｌ，ｒ_０Ｒが共に角度γだけ回転することにより、ベクトルｒ’_Ｌ，ｒ’_Ｒが変化する（図１０）。つまり、頭部側屈による回転の補正を行わない場合、左右の眼の注視点（視線方向）がもともとＧの位置で一致していたのが、ベクトルｇ_Ｌ，ｇ_Ｒの位置にそれぞれずれて算出される。

【0062】

ここで角度γの回転行列である行列｛γ｝を次の式（６）で表現する。

【数6】

【0063】

この場合、右眼の注視点は、次の式（７）及び式（８）で表される。

【数7】

【数8】

【0064】

同様に左眼の注視点も算出できるため、ベクトルｇ_Ｒｇ_Ｌは、次の式（９）により得られる。

【数9】

【0065】

式（９）を変形すると、次の式（１０）が得られる。

【数10】

【0066】

ここで、次の式（１１）のようにベクトルＡ，Ｂを定める。

【数11】

【0067】

この場合、式（１０）は、次の式（１２）のように書くことができる。

【数12】

【0068】

式（１２）は、ベクトルＡを角度γだけ回転させるとベクトルＢに等しくなることを意味する。したがって、次式（１３）により角度γを算出することができる。

【数13】

【0069】

なお、式（１３）からは、γの正負が不明である。しかしながら、γの正負は、例えばベクトルＡとベクトルＢとの外積の正負に基づいて決定することができる。

【0070】

このようにして得た角度γに対応する回転行列｛γ｝を原点補正ベクトルｒ_０に乗算して回転補正することにより、補正後の原点補正ベクトル｛γ｝ｒ_０が得られる。

【0071】

次に、光軸の方向を、回転補正されたずれに基づいて補正することにより、視軸の方向を計算し、視軸の方向に基づいて注視点を検出する（注視点検出ステップ）。具体的には、式（１３）により算出したγにより補正された原点補正ベクトル｛γ｝ｒ_０を利用して、正しい注視点を求める。回転後の光軸ベクトルａ’_Ｒは、式（８）を変形して得られる次の式（１４）で表すことができる。

【数14】

【0072】

式（７）及び式（１４）から、最終的に次式（１５）が導出される。式（１５）において、Ｇ_ｎｅｗＲは、右眼における原点補正ベクトルｒ_０Ｒの回転補正を行った後の正しい注視点を表す。

【数15】

【0073】

なお、式（１２）を成分表示して２つの式を得て、これらの２つの式の少なくとも一方に基づいて角度γを求めるようにしてもよい。式（１２）の成分表示をする際には、座標軸として、例えば対象者の左眼の瞳孔の中心と右眼の瞳孔の中心とを結ぶ直線に平行な方向を第一方向とし、この第一方向及びカメラの光軸の両方に垂直な方向を第二方向として、これらの第一方向及び第二方向の二方向の成分表示とすることができる。また、特に、第二方向の成分を用いて計算することにより角度γを求めるようにしてもよい。

【0074】

（両眼の注視点が一致しない場合）
注視点検出を開始する前の注視点較正を行う段階では、非常に小さな一点を対象者に凝視させることになるため、対象者の両眼の注視点は、この非常に小さな一点にほぼ一致する。この段階で、左眼及び右眼の原点補正ベクトルｒ_０Ｌ及びｒ_０Ｒは決定される。しかしながら、注視点較正を行った後に、対象者の両眼の視軸のなす角度である輻輳角が小さくなって対象者の両眼の注視点が離れたり、逆に輻輳角が大きくなって左右の眼の視軸が交差し、左右の眼球の注視点が入れ替わったりする場合がある。この場合、先に述べた方法では角度γを正確に算出することができず、その結果、左右の眼球の注視点も正確に算出することができない。

【0075】

以下では、そのような場合においても角度γ及び左右の眼球の注視点をより精度よく算出する方法について説明する。図１１に示すように、対象者の頭部が回転したときの対象者の頭部の回転角度は、各カメラから見た左右の瞳孔を結ぶ直線の回転角である角度γ_Ｈとして得られる。

【0076】

また、図１２は、対象者の左右両眼での注視点が離れた場合における、図１０に対応する図である。なお、ベクトルｒ_Ｌ，ｒ_Ｒ，ｒ’_Ｌ，ｒ’_Ｒについては、以下の計算に必要ではないので、図示を省略している。また、本明細書中の以下の記載においては、図１２における文字ｘ，ｙの上部に記号「＾」を付した文字を、それぞれ「ｘ＾」、「ｙ＾」と表記する。図１２において、ｘ＾軸及びｙ＾軸は、それぞれｘ軸及びｙ軸を角度γ_Ｈだけ回転させた軸である。なお、上述した第一方向及び第二方向は、それぞれｘ＾軸方向及びｙ＾軸方向に対応する。

【0077】

図１２において、注視点較正時の基準の頭部位置での原点補正ベクトルｒ_０Ｒ，ｒ_０Ｌは、それぞれ図１０と同様に破線で示されている。さらに、図１０に示した場合と同様に、対象者の頭部が角度γ_Ｈだけ回転したことに伴い、原点補正ベクトルｒ_０Ｒ，ｒ_０Ｌが角度γだけ回転したとする。このとき、左右の眼の注視点が、注視点較正時には一致しており、注視点較正後にベクトルＧ’だけ離れたとする。ここで、３次元空間上において、左右の瞳孔と、左右の眼の注視点とが、同一平面上に存在すると仮定する。また、対象者が頭を傾けた場合にも、この仮定が成立すると仮定する。以下の計算では、この仮定を拘束条件として計算する。この仮定の下では、ベクトルＧ’は、ｘ＾軸と平行になる。

【0078】

いま、ｘ−ｙ座標系において、式（７），（９）は、それぞれ次の式（１６），（１７）のように変更される。

【数16】

【数17】

【0079】

式（１７）において、ベクトルＧ’は、未知の２次元ベクトルであり、先述した左右の眼の注視点が一致している場合に比べ未知数が２つ増えたことになる。このような条件でも、角度γを求め、更に左右の眼の注視点を推定するために、以下の方法をとる。

【0080】

まず、先述のように、図１１において、ｘ−ｙ座標系を角度γ_Ｈだけ回転させたｘ＾−ｙ＾座標系を新たに設定すると、Ｇ’は、ｘ＾成分のみのベクトルとなる。これにより、未定定数を１つ減らすことができる。

【0081】

これにより、式（１７）は、次の式（１８）に変更される。

【数18】

【0082】

なお、＾を付したベクトルは、それぞれ座標系を反時計回りに角度γ_Ｈだけ回転させたときのベクトルである。

【0083】

ここで、次の式（１９），（２０）のように変数ｐ，ｑ，ｓ，ｔを定める。

【数19】

【数20】

【0084】

この場合、未知の値Ｘを使用して、ベクトルＧ’＾＝（Ｘ，０）とおき、式（６）の行列｛γ｝を使用して、各項を成分表示することにより、次の式（２１）が得られる。

【数21】

【0085】

式（２１）から、第一方向の式として式（２２）と第二方向の式として式（２３）の２つの式が得られる。

【数22】

【数23】

【0086】

このうち式（２３）は、未知数がγのみであるため、式（２３）からγを決定することができ、このγと式（２４）を使用して左眼と右眼の注視点が算出できるとともに、２つの注視点の間の距離を求めることができる。

【数24】

【0087】

さらに、式（２３）から決定されたγを式（２２）に代入することで、２つの注視点の間の距離に相当する未知数Ｘも求まる。

【0088】

γが求まれば、先述の式（１５）を用いて、右眼の注視点Ｇ_ｎｅｗＲを算出することができる。また、同様に左眼の注視点を算出することもできる。

【0089】

（実験例）
頭部の左右側屈による注視点検出誤差を、上述した補正法による回転補正の前後で比較した。被験者は大学生６名とし、ディスプレイ装置の正面から約８０ｃｍの位置において、被験者の頭部を顎台に乗せた状態で実験を行った。予め注視点較正を行った後、画面上に３行３列に配置した視標９点を順に１秒間ずつ被験者に注視させた。なお、頭部の側屈の角度は、約３０°〜４５°の範囲であり、被験者毎に異なっている。

【0090】

図１３は、補正の前後での各被験者における注視点検出誤差を示す。縦軸は、注視点検出誤差（単位：°）である。特に被験者Ａ、Ｂにおいて、本実施形態の補正方法を行うことで、誤差の改善がみられた。被験者Ｃ、Ｄでは、本実施形態の補正方法による効果はあまり見られず、被験者Ｅ、Ｆでは、誤差が大きくなっている。

【0091】

図１４は、被験者Ａにおける、補正前後それぞれの注視点の分布を示す。頭部を側屈させた場合、補正前では、図１４（ａ）に示すように左右の注視点は一致しておらず、視標からずれた位置に注視点が検出されていた。これに対し、補正後では、図１４（ｂ）に示すように左右の注視点が一致している。上述した補正方法により、被験者Ａにおいては、注視点検出誤差を左眼で２８．２％低減でき、右眼で６１．２％低減することができた。なお、被験者Ｂにおいても同様に誤差を低減することができた。

【0092】

被験者Ｃ及びＤについては、回転補正前と回転補正後において、注視点検出誤差に大きな差は見られなかった。被験者Ｃにおいては、左右に頭部を側屈させているにもかかわらず、光軸と視対象平面との交点は側屈の有無によってあまり変わらず、大きく回転していなかった。この原因としては、ヒトが頭部を側屈させた際に、頭部の回転方向とは逆向きに、視軸回りの眼球回転である回旋運動が生じたことが考えられる。このような被験者Ｃにおいては、本実施形態の回転補正は不要であると考えられる。

【0093】

被験者Ｅ及びＦにおいては、回転補正前よりも補正後において誤差が大きくなっていた。本実施形態の補正方法では、両眼の視軸が画面上の注視点で一致すると仮定している。しかしながら、両被験者は、頭部が回転していない場合でも、両眼の視軸交点が注視点上で一致せず、回転角度γを正確に算出できなかった。このことが、誤差の増加した要因の一つであると考えられる。

【0094】

以上の結果から、両眼において光軸が視軸回りに同じだけ回転している、画面上で両眼の視軸交点が一致している、等の拘束条件を満たすと考えられる被験者においては、本実施形態の補正方法が有効であるといえる。

【0095】

本実施形態の回転角度算出方法及び回転角度算出装置によれば、まず、角膜反射点の座標及び瞳孔中心の座標に基づいて、対象者の眼球の光軸の方向が計算される。また、対象者が一の姿勢をとった時の光軸と視軸とのずれとして、原点補正ベクトルｒ_０が計算される。次に、原点補正ベクトルｒ_０の視軸回りの回転角が対象者の左眼と右眼とで同一であるという拘束条件に基づいて、原点補正ベクトルｒ_０の視軸回りの回転角度が算出される。このように、対象者の姿勢に応じて原点補正ベクトルｒ_０の視軸回りの回転角度が算出されるため、対象者の姿勢によらず高精度に原点補正ベクトルｒ_０の視軸回りの回転角度を算出することができる。

【0096】

また、回転角度算出ステップでは、対象者の左眼の瞳孔の中心と右眼の瞳孔の中心とを結ぶ直線に平行な方向を第一方向（ｘ＾軸方向）とし、第一方向及びカメラの光軸の両方に垂直な方向を第二方向（ｙ＾軸方向）として、第二方向の成分を用いて原点補正ベクトルｒ_０を計算してもよい。人間の眼の性質として、左眼と右眼の視線の方向は、第二方向に沿っては離れにくい。したがって、対象者の左眼と右眼の視線の方向が離れてしまった場合の回転角度算出の精度を向上させることができる。

【0097】

なお、上述した回転角度算出方法及び注視点検出方法は、コンピュータが回転角度算出プログラム又は注視点検出プログラムをメモリ上にダウンロードして当該プログラムを実行することによって、実行されてもよい。

【0098】

（情報入力方法）
上述した注視点検出方法によれば、対象者の頭部回転によらずに注視点を検出することができる。さらに式（２１）から未知数Ｘを計算することにより、左右の眼の注視点がどの程度離れているかを算出することもできる。そこで、上述した注視点検出方法に基づいて、以下のような情報入力方法を実施することができる。

【0099】

この情報入力方法を実施するための情報入力装置は、図１に示した注視点検出装置と概ね同様の構成を有する。画像処理装置７は、ディスプレイ装置８に、例えばマトリックス状に配列された複数の文字を表示させる。対象者は、ディスプレイ装置８に表示された複数の文字のうち１つの文字を注視することにより、当該注視された文字に対応する情報をパーソナルコンピュータ等の情報処理端末に入力する。この情報処理端末は、画像処理装置７と同一の情報処理端末であってもよいし、画像処理装置７とは別の情報処理端末であってもよい。

【0100】

次にこの情報入力方法の手順について説明する。まず、上述した手順により、対象者の両眼の注視点を検出する（両眼注視点検出ステップ）。これにより、対象者の両眼の注視点間の距離を検出することができる。

【0101】

続いて、対象者の両眼の注視点の間の距離及びこの距離が所定の範囲にある時間に基づいて、対象者による入力がなされたと判定する。一例として、対象者の両眼の注視点の間の距離が所定値（例えば８ｍｍ）以下である状態が所定時間（例えば０．５秒）以上続いた場合に、情報処理端末は、対象者による入力がなされたと判定する。そして、ディスプレイ装置８の画面上の、対象者の注視点に表示されている文字に対応する情報が情報処理端末に入力される。

【0102】

または、対象者の両眼の注視点の間の距離の絶対値の大きさに応じて重みづけ加点をフレーム毎にしてもよい。例えば、重みづけ値をｗ、所定値をＤｉｓとして、Ｄｉｓが８ｍｍ以下であるとき、ｗ＝８−Ｄｉｓで与える。そして注視点検出ごとに（例えば６０回／秒）加算する。この加算値が所定の値（例えば１００）を超えたときに情報を情報処理端末に入力されるようにする。ここで、Ｄｉｓが８ｍｍを超えたときは、加算値を零に戻す。

【0103】

なお、対象者の両眼の注視点の間の距離が短ければ短いほど、対象者による入力がなされたと情報処理端末が判定するまでの時間を短くしてもよい。

【0104】

この情報入力方法によれば、対象者の両眼の注視点を検出し、検出された両眼の注視点の間の距離及びこの距離が所定の範囲にある時間に基づいて、対象者による情報の入力がなされたと判定する。ここで、一般的に、人間が何らかの情報の入力をしようと考えているときには、両眼の注視点の間の距離が狭くなる傾向がある。一方、人間が何を入力しようかと迷っていたり、画面全体を見渡していたり、意識が散漫になっていたりするときには、両眼の注視点の間の距離は広くなる傾向がある。このため、上記の情報入力方法によれば、対象者が何らかの情報の入力をしようとしていることを適切に検出することができる。例えば、対象者がたまたまディスプレイ装置８の方を向いていた場合において、対象者が特に何らかの文字を入力する意図を有していないにもかかわらず、対象者の注視点（例えば両眼の注視点の中点）として検出された点に表示された文字が対象者の意図に反して入力されてしまう、といったことが抑制される。このため、対象者が効率よく入力操作を行うことができる。

【0105】

なお、上述した情報入力方法は、コンピュータが情報入力プログラムをメモリ上にダウンロードして当該プログラムを実行することによって、実行されてもよい。

【符号の説明】

【0106】

１…注視点検出装置、２ａ，２ｂ…ステレオカメラ（カメラ）、３ａ，３ｂ…光源、７…画像処理装置（画像処理部）、Ａ…対象者、Ｇ…角膜反射点、Ｐ…瞳孔中心、Ｑ…注視点、ｒ_０…原点補正ベクトル（ずれ）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】