特許 6014931 視線計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6014931

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】視線計測方法

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20161013BHJP

   G06F 3/01 20060101ALI20161013BHJP

   A61B 3/113 20060101ALI20161013BHJP

【ＦＩ】

   G06F3/0346 423

   G06F3/01 510

   A61B3/10 B

【請求項の数】1

【全頁数】17

(21)【出願番号】特願2012-195770(P2012-195770)

(22)【出願日】2012年9月6日

(65)【公開番号】特開2014-52758(P2014-52758A)

(43)【公開日】2014年3月20日

【審査請求日】2015年7月16日

(73)【特許権者】

【識別番号】510108951

【氏名又は名称】公立大学法人広島市立大学

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100109449

【弁理士】

【氏名又は名称】毛受 隆典

(74)【代理人】

【識別番号】100138955

【弁理士】

【氏名又は名称】末次 渉

(74)【代理人】

【識別番号】100162259

【弁理士】

【氏名又は名称】末富 孝典

(72)【発明者】

【氏名】疋田真一

【審査官】 山崎 慎一

(56)【参考文献】

【文献】 特開２００９−１０４４２６（ＪＰ，Ａ）

【文献】 特開２０１０−２５９６０５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０１

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

カメラと眼球間の距離および眼球形状に関する個人パラメータが未知という条件下で、１台のカメラで取得した瞳孔画像から視線と平面の注視点を推定する視線計測方法であって、
前記カメラにより眼球の画像を得る第１ステップ、
眼球から見た前記平面上の視標間の角度は既知か否かを判断する第２ステップ、
該第２ステップにて前記角度が既知ではないと判断されたとき、前記カメラによる眼球の画像の虹彩を用いて前記視標間の角度を決定する第３ステップ、
該第３ステップにより決定された前記視標間の角度、又は前記第２ステップにて既知と判断された前記視標間の角度から、前記平面上の３点以上の視標を順に注視したときの前記カメラによる画像の瞳孔中心位置から注視点推定に必要なパラメータである眼球回転中心位置を計測する第４ステップ、
前記眼球回転中心位置から求められる視線ベクトルを眼球座標系へ変換する回転行列を算出する第５ステップ、
前記視標をキャリブレーション点として選択することにより前記視線ベクトルの補正パラメータを算出する第６ステップ、
前記視標間の距離情報を用いて仮想的なターゲット平面を算出する第７ステップ、
前記第６ステップにて補正された視線と前記第7ステップで求められた平面を用いて注視点を決定する第８ステップ、
を含むことを特徴とする視線計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮った眼の画像から視線の方向を決定する視線計測方法に関する。

【背景技術】

【0002】

カメラを用いて簡単に視線の向きを知ることができれば、ウェブページにおける視覚的デザインの評価、ゲーム機器への入力やVR（Virtual
Reality）技術と組み合わせたアミューズメント用途、運動弱者のための視線インタフェースなど様々な場面で視線の応用が期待される（非特許文献１〜５）。このように幅広い分野で視線情報の利用を促進するためには、正確に視線を測定する方法に加えて、簡単な手順ですぐに使えること、導入が容易で低コストであることが求められる。

【0003】

カメラで瞳孔や近赤外光の角膜反射像を撮影する画像処理による視線計測のもっとも単純な方法は、画像上の特徴点の2次元位置と視線の水平、垂直角度を対応付けることであるが（非特許文献６）、そのためには視線計測前に多数の視標を注視する過程が必要となる。それに対してこのような面倒な手順を簡略化するため、角膜や眼球を真球としてモデル化し、眼球回転中心や角膜曲率中心と瞳孔中心を結ぶベクトルから視線を推定する方法が提案されている（非特許文献７〜１２）。

【0004】

1台のカメラで視線ベクトルを推定する場合、視線計測装置の小型化や低コスト化が容易となる利点はあるが、2次元の画像情報から3次元の特徴点位置を再構成する方法が問題となる。この問題に対して、カメラ−眼球間距離を計測し、眼球形状に関する個人パラメータを既知として与えることで瞳孔と角膜反射像から3次元の視線ベクトルを算出する方法（非特許文献７）や、特定の注視点を決めずにキョロキョロと目を動かしたときの見かけ上の瞳孔径の縦横比の変化から個人パラメータを算出する方法（非特許文献１０，１１）、3点の視標を注視したときの角膜反射像から眼球回転中心の位置を推定する方法（非特許文献１２）が提案されている。

【0005】

使用するカメラの内部パラメータ（画像中心、焦点距離、画素サイズ）を事前にカメラキャリブレーションによって決定する方法も知られている（非特許文献１３，１４）。
瞳孔中心位置を、2値化により抽出した瞳孔領域を楕円近似したときに得られる楕円の中心とする文献も知られている（非特許文献１５，１６）。

【0006】

パソコンのモニタやテレビのようなスクリーン上におけるユーザの注視位置を利用したアプリケーションを想定したとき、実用性の観点からはカメラと眼球間の距離情報のような環境パラメータや眼球形状に関する個人パラメータを事前に必要とせず、短時間のキャリブレーションですぐに使える注視点推定法が望まれる。

【0007】

また特開２０１２−２９９４０号公報（特許文献１）には、3点の視標注視により近赤外光の角膜反射像や眼球表面上の毛細血管の分岐点のような特徴点から眼球回転中心を決定する技術が開示されている。この発明は、視線方向を計算するという構造であり、角膜反射像の結像位置に依存して極端に視線計測精度が低下する、毛細血管の分岐点を用いる場合には画像処理による安定した特徴点抽出が困難、眼球形状の個人差による視線計測精度の低下、さらに眼球回転中心の決定には眼球と視標までの距離が必要という問題があった。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１２−２９９４０号公報

【非特許文献】

【0009】

【非特許文献1】R. Jacob,“The use of eye movements in human-computerinteraction techniques: What you look at is what you get,” ACM Transactions onInformation Systems, Vol. 9,No 3, 152-169, 1991.

【非特許文献2】久野悦章,八木透,藤井一幸,古賀一男,内川嘉樹,“EOGを用いた視線入力インタフェースの開発,”情報処理学会論文誌,Vol.39,No.5,pp.1455-1462, 1998.

【非特許文献3】J. H.Goldberg and X. P. Kotval, “Computer interfaceevaluation using eyemovements: Methods andconstructs,” International Journal of Industrial Ergonomics, Vol. 24, No. 6、 631-645, 1999.

【非特許文献4】A. T. Duchowski, “A breadth-first survey of eye-trackingapplications,” Behavior research methods instruments computers, Vol. 34, No. 4,455-470, 2002.

【非特許文献5】大野健彦,“視線を用いたインタフェース,”情報処理, Vol.44, No.7, pp.726-732, 2003.

【非特許文献6】J.Merchant, R. Morrissette, and J. L. Porterfield,“Remote measurement of eye direction allowing subject motion over one cubicfoot of space,” IEEE Trans. Biomed. Eng., vol. BME-21, pp. 309-317,1974.

【非特許文献7】大野健彦,武川直樹,吉川厚,“2点補正による簡易キャリブレーションを実現した視線測定システム,”情報処理学会論文誌,Vol.44, No.4,pp1136-1149, 2003。

【非特許文献8】S. Shihand J. Liu, “A novel approach to 3-D gaze tracking using stereo cameras,” IEEE Transactionson Systems, Man and Cybernetics B Cybernetics, Vol.34, No.1, pp.234-245, 2004.

【非特許文献9】E. D. Guestrin and M. Eizenman,“General theory of remote gaze estimation using the pupil center and cornealreflections,” IEEE Transactions on Biomedical Engineering, Vol.53, No.6,pp.1124-1133, 2006.

【非特許文献10】松田圭司,永見武司,“共通VideoAPI 対応視線位置計測システムの開発,”第15回生体生理工学シンポジウム論文集,pp.285-288, 2000.

【非特許文献11】竹上健,後藤敏行,大山玄,“視線方向検出におけるセルフキャリブレーションに関する研究,”信学論（D-II）,Vol.J84-D-II,No.8, pp. 1580-1588, 2001.

【非特許文献12】疋田真一,山田泰生,笠井健,竹田仰,小林康秀,齊藤充行,“角膜反射像を用いた眼球回転位置推定に基づく視線計測法,”信学論（D-II）,採録決定.

【非特許文献13】R. Y. Tsai, “Aversatile camera calibration technique for high-accuracy 3D machine visionmetrology using off-the-shelf TV cameras and lenses,” IEEE Journal of Roboticsand Automation, Vol. 3, No.4 pp.323-344, 1987.

【非特許文献14】Z. Zhang, “Aflexible new technique for camera calibration,” IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.

【非特許文献15】松田圭司,永見武司,山根茂,“高速楕円近似による汎用視線位置計測システム,”第10回生体生理工学シンポジウム論文集,pp.401-404, 1995.

【非特許文献16】坂下祐輔,藤吉弘亘,平田豊,高丸尚教,深谷直樹,“高速楕円検出に基づく眼球回旋運動の計測,” 第12回画像センシングシンポジウム予稿集, pp.558-565, 2006.

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、個人パラメータが不要で3点注視により眼球回転中心を推定する方法に基づき、視覚対象となる平面上の最少3点の視標を順に注視したときの瞳孔中心位置から注視点推定に必要なパラメータを決定する視線計測方法を提供する。

【課題を解決するための手段】

【0011】

本発明に係る視線計測方法は、カメラと眼球間の距離および眼球形状に関する個人パラメータが未知という条件下で、1台のカメラで取得した瞳孔画像から視線と平面の注視点を推定する視線計測方法であって、前記カメラにより眼球の画像を得る第１ステップ、眼球から見た前記平面上の視標間の角度は既知か否かを判断する第２ステップ、該第２ステップにて前記角度が既知ではないと判断されたとき、前記カメラによる眼球の画像の虹彩を用いて前記視標間の角度を決定する第３ステップ、該第３ステップにより決定された前記視標間の角度、又は前記第２ステップにて既知と判断された前記視標間の角度から、前記平面上の３点以上の視標を順に注視したときの前記カメラによる画像の瞳孔中心位置から注視点推定に必要なパラメータである眼球回転中心位置を計測する第４ステップ、前記眼球回転中心位置から求められる視線ベクトルを眼球座標系へ変換する回転行列を算出する第５ステップ、前記視標をキャリブレーション点として選択することにより前記視線ベクトルの補正パラメータを算出する第６ステップ、前記視標間の距離情報を用いて仮想的なターゲット平面を算出する第７ステップ、前記第６ステップの補正パラメータを用いて補正された視線と前記第7ステップで求められた平面を用いて注視点を決定する第８ステップ、を含むことを特徴とする。

【発明の効果】

【0012】

本発明によれば、1台のカメラで取得した瞳孔画像から視線と平面の注視点（交点）を推定するため、キャリブレーションとして最少3点の視覚目標を注視するという簡単な手順で、注視点推定に必要なパラメータ、すなわち眼球回転中心位置、カメラ座標系から眼球座標系への回転行列、ターゲット平面、視線ベクトルの補正パラメータを決定することができる。

【0013】

本発明方法の有効性を確認するため6名の被験者について注視点推定精度を調べたところ、角度換算値で水平±30[deg]、垂直±10[deg]の範囲における水平および垂直方向の平均誤差はそれぞれ0.51[deg]、0.63[deg]であった。

【0014】

本発明方法はカメラと眼球間の距離情報や眼球形状に関する個人パラメータが不要なため、迅速かつ簡便な視線計測が可能となる。

【0015】

また本発明によれば、前記眼球回転中心位置の算出に、前記カメラ画像における虹彩の情報を追加することにより、眼球とターゲット平面間の距離が不明で眼球から見た視標間の角度が未知の場合にも視線を計算することができる。

【図面の簡単な説明】

【0016】

【図1】本発明実施の形態に係る視線計測方法を説明するためのフローチャートである。

【図2】本発明実施の形態に係る視線計測方法において、平面上の注視点推定方法を説明するための概略図である。

【図3】3点の視標注視による眼球回転中心の決定方法を説明するための概略図である。

【図4】瞳孔領域の楕円近似による瞳孔中心位置の決定方法を説明するための図である。

【図5】21点の視標配置と5点キャリブレーションに用いた視標位置を示す図である。

【図6】カメラ座標系および眼球座標系における視線ベクトルのX、Z成分を示すグラフである。

【図7】カメラ座標系および眼球座標系における視線ベクトルのZ、Y成分を示すグラフである。

【図8】ターゲット平面上における注視点の水平・垂直位置を示す図である。

【図9】各被験者における注視点の推定精度を示すグラフである。

【図10】6名の被験者における水平および垂直方向の平均誤差を示すグラフである。

【図11】瞳孔と虹彩の楕円近似結果を示す眼の正面図である。

【図12】視標注視時の概略図である。

【図13】虹彩輪郭上の特徴点を用いた2点の視標注視による視角の推定を説明するための概略図である。

【図14】スクリーン上の視標配置を示す図である。

【図15】視線の水平角度を示すグラフである。

【図16】視線の垂直角度を示すグラフである。

【図17】視線角度推定精度を示すグラフである。

【図18】水平方向の平均誤差の精度を比較するグラフである。

【図19】垂直方向の平均誤差の精度を比較するグラフである。

【発明を実施するための形態】

【0017】

以下に、最初に瞳孔を用いた注視点推定方法について説明し、次に本発明方法の有効性を確認するため6名の被験者に対して実験を行った結果を述べ、最後に注視点の推定精度について説明する。

【0018】

本発明は、カメラと眼球間の距離および眼球形状に関する個人パラメータが未知という条件下で、1台のカメラで取得した瞳孔画像から視線と平面の注視点を推定する視線計測方法であって、図１に示す第１ステップS1〜第８ステップS8による処理がなされる。
S1: カメラにより眼球の画像を得る。すなわち１台のCCDカメラにより、平面上の３点以上の視標を順に注視したときの眼を撮影する。
S2: 眼球から見た前記平面上の視標間の角度は既知か否かを判断する。
S3: 前記角度が既知ではないと判断されたとき、前記カメラ画像の虹彩を用いて前記視標間の角度を決定する。
S4: 第３ステップS3により決定された前記視標間の角度、又は前記第２ステップS2にて既知と判断された前記視標間の角度から、前記平面上の３点以上の視標を順に注視したときの前記カメラによる画像の瞳孔中心位置から注視点推定に必要なパラメータである眼球回転中心位置を計測する。
S5: 前記眼球回転中心位置から求められる視線ベクトルを眼球座標系へ変換する回転行列を算出する。
S6: 前記視標をキャリブレーション点として選択することにより前記視線ベクトルの補正パラメータを算出する。
S7: 前記視標間の距離情報を用いて仮想的なターゲット平面を算出する。
S8: 前記第６ステップにて補正された視線と前記第7ステップで求められた平面を用いて注視点を決定する。

【0019】

以下、各ステップにおける処理について詳述する。

【0020】

[瞳孔中心を用いた注視点推定（図１中、第２ステップS2においてYESと判断されたとき）]
レンズの光学中心を原点とするカメラ座標系を図２に示す。本発明では、1台のカメラ（図示せず）で取得したCCD画像面上の瞳孔中心p (Pupil center)から眼球回転中心E (Center of eye-ball rotation)と瞳孔中心pを結ぶ直線として視線方向1を求め、視線方向１とターゲット平面２（平面、Screen）の交点（注視点Point of gaze）３を決定する。最初にターゲット平面２上の3点以上の視標を注視することにより、注視点３の推定に必要な眼球回転中心Eとターゲット平面２の位置、カメラ座標系から眼球座標系へ変換する行列および視線ベクトルの補正パラメータを計算する。

【0021】

本実施形態では、この手順をN点キャリブレーション（N≧3）と呼ぶ。本実施形態では、頭部はカメラに対して不動であること、眼球はある一点を中心に回転するものと仮定する。なお、使用するカメラの内部パラメータ（画像中心、焦点距離、画素サイズ）は、事前のカメラキャリブレーションにより既知とし、CCD画像面上に投影された瞳孔中心pの3次元位置が画像座標から求められる。

【0022】

[視線ベクトルの推定]
眼球回転中心Eは、平面上の視標N点を順に注視したときのCCD画像面上の瞳孔中心位置pから計算する。平面上のi番目の視標を注視したときの瞳孔中心位置P_iは、未知パラメータK_iとCCD画面上に投影された瞳孔中心位置p_iを用いて次式で表わされる。

【数1】

【0023】

次に眼球回転中心E−瞳孔中心p間距離Rで正規化された座標系を考え、数式１の両辺をRで割ることにより数式２を得る。

【数2】

【0024】

ある視標から別の視標に視線を切り替えたときの瞳孔中心pの移動距離は、眼球回転中心Eから見た視標間の角度θを用いて次の数式3で表わされる。

【数3】

【0025】

ただし、j<k でj= 1、 2、…、N-1、
k=2、…、N、l=1、…、_NC₂とする。N＝3のときの例を図３に示す。

【0026】

次に視角θを与えるため、新たに眼球回転中心Eを原点とする直交座標系を考える。図３において、眼球回転中心Eとターゲット平面2の距離が最小となる平面上の点TOと眼球回転中心Eを通る直線をZ軸とし、ターゲット平面2と平行になるようX軸とY軸をとる。この眼球座標系において平面上の視標位置Teyeは次式で表される。

【数4】

【0027】

ここでX,Yはシステムが与えるので既知、眼球回転中心Eからターゲット平面2までの距離Dも環境から与えられるものと仮定し既知とする。したがって、数式３の視角θは眼球座標系における2つの視標位置ベクトルTj、Tkの内積と外積の大きさから計算できる。

【数5】

【0028】

瞳孔中心位置P'iについて、N個の未知パラメータK'1 〜 K'Nに対して数式２，３から_NC₂個のスカラー方程式が得られるので、視標が3点以上（N≧3）であれば各視標を注視したときのP'iが求まる。眼球回転中心位置E'はP'iから等距離にあるので、次式よりE'が決定できる。

【数6】

【0029】

任意の視線方向における瞳孔中心位置P'は、眼球回転中心位置E'を中心とする半径1の球と瞳孔中心を通る直線との2つの交点のうちカメラにより近い点として求めることができる。最終的に視線ベクトルgCは、瞳孔中心と眼球回転中心の位置から次式により決定される。

【数7】

【0030】

[カメラ座標系から眼球座標系への変換]
瞳孔中心位置pから求まる視線ベクトルgCはカメラ座標系で表現される。一方、眼球座標系はターゲット平面2を基準として決定される。以下、カメラ座標系で与えられる視線ベクトルを眼球座標系へ変換する回転行列を求める方法について述べる。

【0031】

ある視標T_iを注視したときのカメラ座標系における視線ベクトルをgi=(xi yi zi)T、眼球座標系における視標T_iへの単位方向ベクトルをhi=(Xi Yi
D)Tとする。いま、眼球座標系において既知の位置にあるN点の視標を注視したとき、視標への方向ベクトルhi（i=1、2…、N）からなる3×N行列Hは、回転行列Rと視線ベクトルgiからなる3×N行列Gを用いて次式で表わされる。

【数8】

【0032】

回転行列Rは、||H-RG ||²が最小となるようGHTの特異値分解により次式で計算される。

【数9】

【0033】

【数10】

【0034】

ここで、U、Vは3×3の直交行列、Wは3×3の対角行列である。

【0035】

以上より、カメラ座標系における任意の視線ベクトルgCは回転行列Rにより眼球座標系における視線ベクトルgEに変換される。

【数11】

【0036】

[ターゲット平面の推定]
眼球回転中心の計算過程において、眼球から見た視標間の角度θを与えるために眼球からターゲット平面2までの距離Dを既知としたが、この距離Dに誤差が含まれる場合、注視点の推定精度が低下する。そこでシステムから得られる視標間の距離情報vを用いて仮想的なターゲット平面を推定し、この平面と視線との交点から注視点を決定することで推定精度の向上を図る。

【0037】

注視点を視線とターゲット平面の交点とすると、注視点Fi（i=1、2…、N）は視線ベクトルgiを定数αi倍した位置に存在する（数式１２）。2つの注視点FjとFkの間の距離は対応する視標間の距離v_lと等しくなることから数式１３式を得る。

【数12】

【0038】

【数13】

ただし、j<k でj= 1, 2,…,N-1, k=2,…,N,l=1,…,_NC₂とする。これらの式からαiを決定することで注視点の位置が求まる。ターゲット平面の方程式を数式１４で表わすと、平面のパラメータuは最小二乗法により各注視点の位置Fixi yi ziを用いて数式１６の連立方程式を解くことで与えられる。

【数14】

【0039】

【数15】

【0040】

【数16】

【0041】

以上より、任意の注視点位置Fは視線ベクトルgと数式１４〜１６で推定した平面の交点として次式により求めることができる。

【数17】

【0042】

【数18】

【0043】

【数19】

【0044】

[視線ベクトルの補正]
本実施形態法では瞳孔中心pが球面上を移動すると仮定して眼球回転中心Eを推定している。したがって、瞳孔中心pが回転楕円体のような非球面の曲面上を移動する場合、結果的に仮定した球面と実際の曲面との誤差を相殺する形で眼球回転中心Eの位置が決定されることになり、このことが視線推定の誤差の原因となりうる。実際に実験では、眼球座標系における視線ベクトルgEの水平方向の角度（X成分）が大きくなるにつれて、垂直方向（Y成分）の誤差が同じ方向に増大する傾向が確認された。

【0045】

そこでターゲット平面において直線上に位置する視標をキャリブレーション点として選択することにより、この誤差を補正する。具体的には、ターゲット平面において水平軸（X軸）上の視標を注視したときの視線ベクトルgEのY成分はゼロとなることを利用して視線ベクトルの垂直成分を補正する。

【0046】

眼球座標系の視線ベクトルgEは、カメラ座標系で得られた視線ベクトルgCと回転行列Rを用いて次式で表わされる。

【数20】

【0047】

次に、視線ベクトルgEのY成分を次式にしたがって補正する。

【数21】

【0048】

【数22】

【0049】

【数23】

【0050】

ここで数式２３のパラメータa、
bは、ターゲット平面の水平軸上に位置するM点の視標を注視したときの視線ベクトルgEi（i=1、2…、M）のZ-Y平面における回帰直線Y=aZ+bより決定される。この補正パラメータを決定する手順について、キャリブレーション点として水平軸上に位置する視標を含むように選択すれば、新たにユーザの負担が発生することはない。

【0051】

[注視点の推定]
本実施形態の有効性を確認するため、6名の被験者に対して注視点の推定実験を行った。以下、その方法と結果について述べる。

【0052】

[実験環境]
CCDカメラにマクロレンズを装着し、近赤外光による照明下で右眼の瞳孔を撮影した。毎秒30フレームで撮影された画像（解像度320×240）を画像処理用コンピュータに取り込み、瞳孔中心の位置を計算した。瞳孔中心位置は、2値化により抽出した瞳孔領域を楕円近似したときに得られる楕円の中心とした。この実験によって取得した画像と瞳孔中心の一例を図４に示す。

【0053】

[実験方法]
被験者は平均23±1.2歳（21〜24歳）の健常者6名（sub.1〜sub.6）であった。被験者の前方430[mm]の位置に視標ボードを取り付け、ボード上に21点の視標を配置した。視標の位置は、右眼正面方向を基準として左右方向に10[deg]間隔となるよう7通り（0[mm],±75.8[mm]、±156.5[mm],±248.2[mm]）、上下方向に3通り（0[mm],±75.8[mm]）の合計21点であった（図５）。なお、符号については被験者から見て右方向と上方向を正、左方向と下方向を負で表わす。

【0054】

被験者は頭部をあご台とバイトバーにより固定した状態でこれら21点の視標を3秒間隔で順に注視し、そのときの瞳孔中心の位置データをPCに記録した。各視標注視時において瞳孔中心位置データの分散が最小となる区間（7[frame]）の瞳孔中心位置の平均値を求め、注視点位置精度の評価に用いた。

【0055】

[注視点の推定結果]
最初に図５に示す5点の視標を用いたキャリブレーションにより注視点推定に必要なパラメータ（眼球回転中心位置、カメラ座標系から眼球座標系への回転行列、ターゲット平面、視線ベクトルの補正パラメータ）を決定した。眼球座標系における5点の視標位置はそれぞれ（0.0, 0.0, 430.0）,（±156.5, 0.0, 430.0）,（0.0, ±75.8, 430.0）であった。

【0056】

図６、７はそれぞれ21点の視標に対する視線ベクトルのX-ZおよびZ-Yプロットの1例（sub. 2）である。座標原点は眼球回転中心を表わす。最初にカメラ座標系で得られた視線ベクトルgC（●）は回転行列を施され眼球座標系の視線ベクトルgE（×）に変換される。注視点位置は、補正後の視線ベクトルgE'（○）を方向ベクトルとする直線と推定したターゲット平面との交点として計算される。なお、補正後の視線ベクトルgE'は比較のため単位ベクトルに規格化されて表示されている。

【0057】

図８は21点の視標を順に注視したとき注視点の時間推移の1例（sub.2）である。横軸は時間、縦軸はターゲット平面上の水平位置（図８上）と垂直位置（図８下）を表わす。
注視点の推定精度を評価するため、このようなデータから各視標注視時における注視点位置の平均値を求めた結果を図９に示す。図中の記号の形状は各被験者（sub.1〜6）を表わす。視標の水平位置が大きくなるにつれて推定した注視点位置の誤差が増加する傾向が見られたので、視標の水平位置が±75.8[mm]（±10[deg]）以内の9点、±156.5[mm] （±20[deg]）の6点、±248.2[mm]（±30[deg]）の6点についてそれぞれ平均誤差を求めた。

【0058】

図１０は被験者6名の平均誤差を水平位置に応じて比較したもので、エラーバーは標準誤差（SE）を表す。視標の水平位置±75.8[mm]以内の範囲における平均誤差±SEは、水平方向2.0±0.3[mm]、垂直方向1.8±0.3[mm]であった。水平位置±156.5[mm]における平均誤差は、水平方向3.1±0.7[mm]、垂直方向3.1±1.2[mm]であった。水平位置±248.2[mm]では、水平方向7.3±2.0[mm]、垂直方向10.0±1.9[mm]であった。また、すべての視標21点における平均誤差（All）は、水平方向3.9±0.8[mm]、垂直方向4.5±1.0[mm]であった。これらの平均誤差について、眼球と視標ボード間の距離430[mm]を基準として角度に換算した結果を表1に示す。

【表1】

【0059】

本発明においては、カメラと眼球間の距離及び眼球形状に関する個人パラメータが未知という条件下で、キャリブレーションとして５点の視標を注視したときの瞳孔中心位置に基いて平面状の注視点推定を行った６名の被験者に対して注視点の推定精度を調べたところ、水平±30[deg],垂直±10[deg]の範囲における平均誤差は、角度換算値にして水平方向0.51[deg],垂直方向0.60[deg]であった（表１）。これは、ステレオカメラを用いた個人パラメータ不要の方法とも比較し得る良好な結果である。

【0060】

以上説明した実施形態においては、眼球回転中心を計測する際に眼球からスクリーンまでの距離が明らかである必要がある。以下にこの距離値が明らかでなくとも眼球中心が計測できる方法を述べる。これは、図１における第２ステップS2において、NOと判断されたときに対応し、虹彩と瞳孔を用いた視線推定により行われる。この方法を付加することにより眼球とターゲット平面間の距離が不明で眼球から見た視標間の角度が未知の場合にも視線を計算することができる。

【0061】

[虹彩と瞳孔の抽出]
眼球に近赤外光を照射したときに得られる画像（元画像）を図１１左に示す。最初にこのような画像データを2値化することで瞳孔（黒目）領域だけを抽出する。次に、アウトライアを除去した瞳孔輪郭に対してTaubin法を用いて楕円近似することで瞳孔中心を得る。楕円の式を数式２４で表わすと、楕円のパラメータuは数式３の最小一般固有値λに対する一般固有ベクトルとして計算できる。

【数24】

【0062】

【数25】

【0063】

【数26】

【0064】

ここでWは、虹彩輪郭データを(xi
yi)から作られる6×6行列，VはTaubin法による重み行列である。

【0065】

次に、瞳孔中心を基準位置として輝度値の変化率を調べることで虹彩輪郭を抽出し、Taubin法を用いた楕円近似により虹彩中心と虹彩輪郭上の特徴点（楕円横軸と楕円の交点）を得る。以上の方法により得た瞳孔と虹彩の楕円近似結果を図１１右に示す。

【0066】

[瞳孔と虹彩を用いた視線推定]
レンズの光学中心を原点とするカメラ座標系を図１２に示す。視線方向１は、眼球回転中心Eと瞳孔中心pを結ぶ直線とする。最初にスクリーン2上の3点以上の視標3を順に注視したときの虹彩輪郭上の特徴点から眼球回転中心から見た視標間の角度（視角）を推定し、瞳孔中心位置pを用いて眼球回転中心位置Eを決定する。本発明ではこの手順をN点キャリブレーションと呼ぶ（N≧3）。ただし、頭部はカメラに対して不動であること、眼球は真球である一点を中心に回転するものと仮定する。

【0067】

[虹彩を用いた視標間の角度の決定]
スクリーン2上の視標を順に注視したとき、CCDに映る見かけの虹彩径は変化するが実際の虹彩径は不変であることから眼球回転中心EIを求める（図13）。スクリーン2上のi番目の視標を注視したときの虹彩輪郭上の2つの特徴点Qij（i =1, …, N, j = 1,2）は、未知パラメータαijとCCD面上に投影された虹彩輪郭上の特徴点qijを用いて以下のように表される。

【数27】

【0068】

次に数式２７の両辺を眼球半径で割り次式を得る。

【数28】

【0069】

特徴点Q'ijは眼球回転中心EIから半径1の球面上に位置することから次式を得る。

【数29】

【0070】

i番目の視標を注視したときの特徴点Q'i1とQ'i2の距離Diは次式で表わされる。

【数30】

【0071】

合計N点の視標を順に注視したときの虹彩輪郭間の距離の平均値は、

【数31】

【0072】

となる。評価関数Jを次のとおり表わすと、

【数32】

【0073】

眼球回転中心EIは、評価関数J≦ρかつ| EI |が最大となる位置として決定される。
眼球回転中心EIが求まると、数式２９により虹彩輪郭上の特徴点Q'ijが定まる。虹彩中心位置をQC'とすると、眼球回転中心と虹彩中心を結ぶ視線ベクトルgIは次式で表わされる。

【数33】

【0074】

眼球回転中心から見た視標間の角度θは、それぞれの視標を注視したときに得られる視線ベクトルgI同士のなす角によって与えられる。また、眼球とターゲット平面間の距離が必要な場合には、眼球回転中心から見た視標間の角度θと視標間の距離から容易に求めることができる。

【0075】

[瞳孔中心を用いた眼球回転中心の決定]
眼球回転中心は、N点の視標を順に注視したときのCCDに映った瞳孔中心の3次元位置piから算出する。
眼球回転中心−瞳孔中心間距離で正規化された座標系での瞳孔中心Pi'は、前述の数式２で表される。

【0076】

視標iから視標jに視線を切り替えたときの瞳孔中心の移動距離は、眼球回転中心から見た視標間の角度θを用いて前述の数式３で表される。これら数式を解くことで瞳孔中心Pi'が求まる。瞳孔中心Pi'は眼球回転中心EPから半径1の球面上にあるので、数式６によりEPが求まる。任意の視線方向における瞳孔中心P'は眼球回転中心EPを用いて数式６の関係から得られる。最終的に視線ベクトルgPは数式７により決定される。

【0077】

[視線の推定]
本発明の有効性を確認するため、視線の推定実験を行った。視標間の角度を未知として5点キャリブレーションにより虹彩と瞳孔を用いて視線推定を行い、視標間の角度を既知として視線推定した結果と比較した。以下、実験方法と結果について述べる。

【0078】

[実験方法]
被験者は顎台とバイトバーを用いて頭部を固定した状態で、右眼前方580[mm]に位置するスクリーン上の21点の視標を3秒間隔で順に注視した。視標間隔は右眼正面方向を基準として、上下左右100[mm]間隔とした。図１３に21点の視標配置とキャリブレーションに用いた5点の視標位置を示す。また、CCDカメラにマクロレンズを装着し、近赤外光による照明下で解像度320×240の画像を毎秒30フレームで撮影した。

【0079】

[実験結果]
視標を順次注視したときの視線の水平角度を図１４に、垂直角度を図１５に示す。これらの波形から水平角角度と垂直角度の平均をプロットしたもの図１６に示す。また、精度比較のため視角が既知の場合の結果も示している。また、符号については被験者から見て右方向と上方向を正、左方向と下方向を負で表す。図１７、図１８に視角が既知の場合と未知の場合での-10〜10[deg]の9点、±19[deg]の6点、±27[deg]の6点、21点についてそれぞれの平均誤差±標準誤差を比較したものを示す。水平方向について図１８、垂直方向について図１９に示す。

【0080】

図１７より、21点注視時での水平方向の平均誤差と標準誤差は視角が既知の場合では0.70±0.25 [deg]、視角が未知の場合では0.53±0.21 [deg]、図１８より、垂直方向の平均誤差は視角が既知の場合では0.51±0.07 [deg]、視角が未知の場合では0.52±0.08 [deg]となった。21点の視標を注視した場合の平均誤差は、1[deg]未満となった。

【産業上の利用可能性】

【0081】

本発明では、1台のカメラで瞳孔画像さえ取得できれば簡単な手順で注視点の推定が可能となるため既存の環境への導入が比較的容易である。四肢不自由者のための視線入力インタフェースをはじめとする注視点情報を用いた様々なシステムやアプリケーションの利用促進につながる。また神経科学における基礎研究、心理状態の変化、PC機器へのインターフェース等幅広い分野で利用可能である。

【符号の説明】

【0082】

E 眼球回転中心
p 瞳孔中心
１ 視線方向
２ ターゲット平面
３ 視標、注視点

【図3】

【図4】

【図11】

【図1】

【図2】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】