特許 6881755 視線検出校正方法、システム、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6881755

(24)【登録日】2021年5月10日

(45)【発行日】2021年6月2日

(54)【発明の名称】視線検出校正方法、システム、及びコンピュータプログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20210524BHJP

【ＦＩ】

   A61B3/113ZDM

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2017-229351(P2017-229351)

(22)【出願日】2017年11月29日

(65)【公開番号】特開2019-97675(P2019-97675A)

(43)【公開日】2019年6月24日

【審査請求日】2020年7月16日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度、国立研究開発法人新エネルギー・産業技術総合開発機構「次世代人工知能・ロボット中核技術開発／次世代人工知能技術分野／人間と相互理解できる次世代人工知能技術の研究開発」委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】松田 圭司

【審査官】 後藤 順也

(56)【参考文献】

【文献】 特開２００１−１３４３７１（ＪＰ，Ａ）

【文献】 特開平０６−１８９９０６（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０５１０１０（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０４３９２７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１８

(57)【特許請求の範囲】

【請求項1】

被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、
視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、
さらに、
第１の校正点のカメラ座標系の位置と、前記第１の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させることで、前記カメラ座標系と前記対象物座標系との水平方向および垂直方向における差分を算出するステップと、
前記算出された水平方向および垂直方向における前記差分に基づいて、前記視線情報を校正するステップと、
を備える視線検出校正方法。

【請求項2】

被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、
視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、
さらに、
第１の校正点のカメラ座標系の位置と、前記第１の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させ、かつ、第２の校正点のカメラ座標系の位置と、前記第２の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させるための前記カメラ座標系または前記対象物座標系の拡大率または縮小率と回転率とを算出するステップと、
前記算出された拡大率または縮小率と回転率とに基づいて、前記視線情報を校正するステップと、
を備える視線検出校正方法。

【請求項3】

請求項１または２に記載の視線検出校正方法を実行するコンピュータシステム。

【請求項4】

請求項１または２に記載の視線検出校正方法を、コンピュータシステムに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出における校正方法に関する。

【背景技術】

【0002】

従来、視線位置を計測することができる視線検出技術が知られており（例えば、特許文献１、２）、脳機能解明のために、無麻酔行動中のサルを実験動物に使う研究、人の視覚に関する心理学的研究、医療検査、マンマシンインターフェースへの応用研究などに用いられている。このような視線検出技術においては、人によって両目の位置や眼球の大きさ・形等が異なるため、視線検出を行う際に校正処理が必要になる。

【0003】

従来の校正方法としては、図１０に示されるような、例えば３×３の校正点をディスプレイに表示し、被験者にはこれらの校正点を順番に注視してもらい、その際の被験者の瞳孔をカメラで撮影する方法がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３７２６１２２号公報

【特許文献2】特許第３８３４６３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、図１０に示されるような従来の視線検出校正方法においては、直線上に位置しない３点以上の校正点を被験者に注視させる必要があった。例えば、図１０の破線矢印に示されるように、校正点を左から右に、かつ上から下に順番に被験者に見てもらう場合には、最低でも４番目の校正点まで被験者に見てもらうまで校正を行うことができなかった（通常の校正においては、５点から９点の視標を用いている）。

【0006】

このような課題に鑑み、本発明は、より少ない校正点で実行可能な視線検出校正方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の一態様は、被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、第１の校正点のカメラ座標系の位置と、前記第１の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させることで、前記カメラ座標系と前記対象物座標系との水平方向および垂直方向における差分を算出するステップと、前記算出された水平方向および垂直方向における前記差分に基づいて、前記視線情報を校正するステップと、を備える視線検出校正方法である。

【0008】

また、本発明の他の態様は、被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、第１の校正点のカメラ座標系の位置と、前記第１の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させ、かつ、第２の校正点のカメラ座標系の位置と、前記第２の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させるための前記カメラ座標系または前記対象物座標系の拡大率または縮小率と回転率とを算出するステップと、前記算出された拡大率または縮小率と回転率とに基づいて、前記視線情報を校正するステップと、を備える視線検出校正方法である。

【0009】

また、本発明の他の態様は、上記の視線検出校正方法を実行するコンピュータシステムである。

【0010】

また、本発明の他の態様は、上記の視線検出校正方法を、コンピュータシステムに実行させるためのコンピュータプログラムである。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る視線検出校正方法を実行する視線検出校正システムの構成の一例を示す図である。

【図2】本発明の一実施形態に係る視線検出校正方法において得られるパラメータを説明するための図である。

【図3】１つの校正点を用いる視線検出校正方法の一例を説明する図である。

【図4】１つの校正点を用いる視線検出校正方法の一例を説明する図である。

【図5】１つの校正点を用いる視線検出校正方法の一例を説明する図である。

【図6】２つの校正点を用いる視線検出校正方法の一例を説明する図である。

【図7】２つの校正点を用いる視線検出校正方法の一例を説明する図である。

【図8】本発明の一実施形態に係る視線検出校正方法の処理フロー図の一例を示す図である。

【図9】本発明の一実施形態に係る視線検出校正方法を実行するコンピュータ装置のハードウェア構成の一例を示す図である。

【図10】従来の視線検出校正方法の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、本実施形態に係る視線検出校正方法について説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。

【0013】

（視線検出校正システムの構成）
図１は、本実施形態に係る視線検出校正方法を実行する視線検出校正システムの構成の一例を示す図である。図１に示される視線検出校正システム１は、視線検出の校正を行うための校正点を提示するディスプレイ１０と、被験者５０の眼球５４に赤外線を照明する赤外線照明装置を兼ねた被験者５０の眼球５４の様子を撮影するカメラ２０と、ディスプレイ１０に校正点を表示するための表示データをディスプレイ１０に出力する校正点提示用コンピュータ装置１６と、カメラ２０で撮影された被験者５０の視線情報を取得する視線計測用コンピュータ装置１８とを含んで構成される。

【0014】

校正点提示用コンピュータ装置１６がディスプレイ１０に校正点を表示するための表示データを出力すると、ディスプレイ１０には校正点が表示される。また、被験者５０は、ディスプレイ１０の方向に向いた状態で頭部５２が固定される。また、被験者５０の瞳孔を暗く撮影するために赤外線照明装置（兼カメラ）２０による照明が行われる。被験者５０がディスプレイ１０に表示される校正点を目（眼球）５４で追うと、カメラ２０が眼球（瞳孔）５４の様子を撮影する。カメラ２０の撮影情報は、視線計測用コンピュータ装置１８に出力される。また、本実施形態においては、視線計測用コンピュータ装置１８は、校正点の提示位置データをあらかじめ保持しておくこととする。また、これ以降で説明される本実施形態に係る視線検出校正方法は、例えば視線計測用コンピュータ装置１８において実行されうる。

【0015】

（視線検出校正方法）
以下、本実施形態に係る視線検出校正方法について詳述する。

【0016】

図１に示されるような視線検出校正システム１においては、頭部５２（眼球５４）とカメラ２０との位置関係により、カメラ２０で計測（撮影）する視線位置と、実際に被験者５０が見ている位置との間に、水平方向と垂直方向とにおいてズレが生じうる。本実施形態に係る視線検出校正方法は、このようなズレを校正するための方法である。

【0017】

従来の視線検出校正方法においては、校正のために被験者５０の視線の計測を一時停止して校正を行う必要があった。これに対し、本実施形態に係る視線検出校正方法においては、１５Ｈｚ程度の周期で、校正のためのパラメータを計算する。視線計測の開始以降のデータ（例えば１０秒分）で被験者５０の瞳孔中心が一定以上の範囲で動いた時（位置の分散が一定値を超えた場合）かつ、例えば校正点が１点以下の場合に、パラメータ計算を行う。視線計測開始直後は、カメラ２０の調整や被験者５０の位置合わせ等により撮影条件が変わる（確定していない）可能性があるため、直近のデータのみを用いるのが好ましい。

【0018】

図２は、本実施形態に係る視線検出校正方法において得られるパラメータを説明するための図である。本実施形態に係る視線検出校正方法において得られるパラメータは、以下の２種類である
・反射点から角膜曲率中心を求めるためのＯｆｆｓｅｔ_x，Ｏｆｆｓｅｔ_y
・角膜曲率中心から瞳孔中心までの距離：Ｒｐｃ
当該パラメータについては、本願発明の発明者らによる論文“Matsuda K., Nagami T., Sugase Y., Takemura A., Kawano K. (2017) A Widely Applicable Real-Time Mono/Binocular Eye Tracking System Using a High Frame-Rate Digital Camera. In: Kurosu M. (eds) Human-Computer Interaction. User Interface Design, Development and Multimodality. HCI 2017. Lecture Notes in Computer Science, vol 10271. Springer, Cham”において詳述されている。より具体的には、被験者５０に、カメラ２０に向かって眼球５４を動かすようにしてもらうことで上記パラメータＯｆｆｓｅｔ_x，Ｏｆｆｓｅｔ_y，Ｒｐｃを取得することができる（詳細は当該文献を参照）。本実施形態に係る視線検出校正方法では、このようにして取得された各パラメータＯｆｆｓｅｔ_x，Ｏｆｆｓｅｔ_y，Ｒｐｃを用いて、以下に説明するようにして視線検出校正を行う。

【0019】

本実施形態の視線検出校正方法においては、カメラ２０の撮影面上の座標系であるカメラ座標系における視線ベクトルを得るために、図２に示される眼球モデルを採用する。このモデルでは、瞳孔の中心を通る瞳孔面の法線ベクトル（Ｃｘ，Ｃｙ，Ｃｚ）の延長線は、角膜曲率中心およびが眼球回転中心を通る。ベクトル（Ｃｘ，Ｃｙ，Ｃｚ）は、カメラ座標系における視線ベクトルである。本実施形態においては、カメラ２０の撮影画像における瞳孔の輪郭を楕円として近似する。

【0020】

ここで、瞳孔中心を（Ｘｐ，Ｙｐ）、短軸の長さをＳ、長軸の長さをＬ、短軸の傾きをａと定義する。また、角膜も球体（眼球）の一部であるので、この球体の中心を角膜曲率中心（Ｘｃ，Ｙｃ）とする。カメラ２０と眼球５４との間の距離が頭部５２の動きよりも十分に長い場合、反射の中心と角膜曲率中心との間の関係は一定である。よって、反射点重心を（Ｘｒ、Ｙｒ）とすると、角膜曲率中心（Ｘｃ，Ｙｃ）は、（Ｘｃ，Ｙｃ）＝（Ｘｒ−Ｏｆｆｓｅｔ_x，Ｙｒ−Ｏｆｆｓｅｔ_y）として記述することができる。

【0021】

以下の式（１）によって、瞳孔中心（Ｘｐ，Ｙｐ）と角膜曲率中心（Ｘｃ，Ｙｃ）とを結ぶベクトルから視線ベクトル（Ｃｘ，Ｃｙ，Ｃｚ）を算出する。視線ベクトル（Ｃｘ，Ｃｙ，Ｃｚ）は、瞳孔中心（Ｘｐ，Ｙｐ）と、眼の撮影画像中の反射点重心（Ｘｒ、Ｙｒ）とを測定した後に、式（１）を用いることによって算出されうる。

【0022】

【数1】

【0023】

そして、上述のように求められたカメラ座標系における視線ベクトル（Ｃｘ，Ｃｙ，Ｃｚ）から以下の式により、水平方向、垂直方向の視線角度（Ｃｈ，Ｃｖ）を求めることができる。

（Ｃｈ，Ｃｖ）＝（ａｒｃｔａｎ（Cｘ／Ｃｚ），ａｒｃｔａｎ（Ｃｙ／Ｃｚ））

【0024】

ここで、視線計測とは、被験者がどこを見ているのかを知るための技術である。例えば図１に示されるように被験者５０がディスプレイ１０を見ている場合、被験者５０がディスプレイ上のどこを見ているのかを検出することが目的である。よって、カメラ座標系（カメラ２０の撮影面上の座標系）で表現されている視線情報を、ディスプレイ上の座標系に変換する必要がある。本実施形態においては、このディスプレイ１０上の座標系を「対象物座標系」という。

【0025】

ところで、カメラ２０の配置によっては、ディスプレイ１０の画面上の座標系である対象物座標系と異なる方向に、（撮影した）視線が移動する場合がある。これは、カメラ２０の天地の設定や、本実施形態においては採用していないが眼球５４を撮影する際に赤外線のみを反射するミラーを用いる場合には当該ミラーによる反転などに起因する。ここで、カメラ２０の水平と視標座標系の水平とを合わせることを前提とすると、カメラ座標系と対象物座標系との方向の関係は、以下の４つのパターンに分類される。
（１）水平・垂直とも反対方向
（２）水平のみ反対方向
（３）垂直のみ反対方向
（４）水平・垂直とも同一方向

【0026】

カメラ２０の配置等によって上記の４つのパターンのうち、いずれのパターンになるかはあらかじめ判断できるため、例えば、視線検出校正方法をコンピュータ装置にて実行するためのプログラムに水平反転スイッチおよび垂直反転スイッチの機能を付加しておくようになっていてもよい。そして、プログラムを実行させる際に各スイッチのいずれか、または両方が有効になるよう設定するようになっていてもよい。

【0027】

（校正例１）
以下、１つのみの校正点を用いる視線検出校正方法の一例について説明する。図３〜図５は、１つの校正点を用いる視線検出校正方法の一例を説明する図である。

【0028】

図３（ａ）は、被験者５０がディスプレイ１０に表示された各校正点を見た際の、カメラ２０が撮影した被験者５０の視線の位置をカメラ座標系（カメラ２０の撮影面上の座標系）にて×マークのプロットで示したグラフである。また、図３（ｂ）は、ディスプレイ１０に表示された各校正点（本例では２５個の校正点）の対象物座標系（ディスプレイ１０の画面上の座標系）における位置を●マークのプロットで示したグラフである。両方のグラフとも縦軸が垂直方向、横軸が水平方向を示す。

【0029】

ここで、図４に、本例におけるディスプレイ１０と、カメラ２０と、被験者５０（眼球５４）との位置関係を示す。図３（ｂ）に示される対象物座標系はディスプレイ１０の画面上の座標系である。また、図３（ａ）に示されるカメラ座標系はカメラ２０の撮影面上の座標系であり、カメラ２０から被験者５０の眼球（瞳孔）５４を撮影するときの座標系である。カメラ座標系は、図４に示されるように、垂直方向においては、上方向がマイナスであり下方向がプラスとなっている。すなわち、本例におけるカメラ座標系と対象物座標系との関係は、上述したパターンのうち、（１）水平・垂直とも反対方向のパターンとなる。

【0030】

図３に戻り、例えば被験者５０がディスプレイ１０の一番左上の校正点を見たとき、図３（ａ）のカメラ座標系ではプロット１０１が、図３（ｂ）の対象物座標系ではプロット１２１が、被験者が当該校正点を見ているときの視線の位置となる。本例においては、一例として、この校正点を用いて視線検出校正を行うこととする。

【0031】

図５は、当該校正点を用いてカメラ座標系と対象物座標系との位置合わせを行なった状態を示す図である。図５においては、両グラフの関係が（１）のパターンであるため、両座標系における視線の位置１０１と位置１２１とを重ねるために、カメラ座標系のグラフが左右と上下とを逆にして対象物座標系のグラフと重ねられている。このように、視線計測前にあらかじめカメラ座標系の水平と対象物座標系の水平とを合わせておき、かつ、１点の校正点について両座標系における視線の位置を合わせることで、両者のズレを検出し、視線検出の校正を行うことができる。

【0032】

なお、本例においては一番左上の校正点を校正のために使用したが、中央の校正点（図５の位置１０５および位置１２５）を、両座標系を合わせるために使用すると、誤差の最大値がより小さくなる。

【0033】

以下、本例の校正方法ための数式について説明する。

【0034】

カメラ座標系における位置１０１を被験者５０が注視しているときの水平角度および垂直角度を（Ｃｈ１，Ｃｖ１）とする。校正に用いる校正点の対象物座標系における位置１２１の水平角度および垂直角度を（Ｏｈ１，Ｏｖ１）とする。Ｃｈ１、Ｃｖ１は計測値を、Ｏｈ１、Ｏｖ１はディスプレイ１０への出力時に設定した値を用いることで、下記の関係式におけるＨ＿ｏｆｆｓｅｔ、Ｖ＿ｏｆｆｓｅｔを求めることができる。

【0035】

【数2】

【0036】

また、上述したように、カメラ２０の水平と視標座標系の水平とを合わせると、カメラ座標系と対象物座標系との関係は、（１）水平・垂直とも反対方向、（２）水平のみ反対方向、（３）垂直のみ反対方向、（４）水平・垂直とも同一方向、の４つのパターンに分類される。この（１）〜（４）のパターンによって、関係式はそれぞれ以下のように異なる。

【0037】

【数3】

【0038】

また、任意の校正点についての対象物座標系の角度（Ｏｈ，Ｏｖ）は、カメラ座標系における視線角度（Ｃｈ，Ｃｖ）から以下の式より求めることができる。

【0039】

【数4】

【0040】

なお、これについても、カメラ座標系と対象物座標系との関係のパターン（１）〜（４）によって、関係式はそれぞれ以下のように異なる。

【0041】

【数5】

【0042】

（校正例２）
次に、２つの校正点を用いる視線検出校正方法の一例について説明する。図６および図７は、２つの校正点を用いる視線検出校正方法の一例を説明する図である。

【0043】

図６（ａ）は、被験者５０がディスプレイ１０に表示された各校正点を見た際の、カメラ２０が撮影した被験者５０の視線の位置をカメラ座標系にて×マークのプロットで示したグラフである。また、図６（ｂ）は、ディスプレイ１０に表示された各校正点（本例では２５個の校正点）の対象物座標系における位置を●マークのプロットで示したグラフである。両方のグラフとも縦軸が垂直方向、横軸が水平方向を示す。なお、本例におけるディスプレイ１０と、カメラ２０と、被験者５０（眼球５４）との位置関係は、前述した１つの校正点を用いた視線検出校正方法の例と同様とする（図４参照）。すなわち、本例においても、カメラ座標系と対象物座標系との関係は、上述したパターンのうち、（１）水平・垂直とも反対方向のパターンである。

【0044】

例えば被験者５０がディスプレイ１０の一番左上の校正点を見たとき、図６（ａ）のカメラ座標系ではプロット１０１が、図６（ｂ）の対象物座標系ではプロット１２１が、被験者が当該校正点を見ているときの視線の位置となる。また、被験者５０がディスプレイ１０の一番上の列の左から２つ目の校正点を見たとき、図６（ａ）のカメラ座標系ではプロット１０２が、図６（ｂ）の対象物座標系ではプロット１２２が、被験者が当該校正点を見ているときの視線の位置となる。本例においては、一例として、この２点の校正点を用いて視線検出校正を行うこととする。

【0045】

図７は、当該２つの校正点を用いてカメラ座標系と対象物座標系との位置合わせを行なった状態を示す図である。図７においては、両座標系における視線の位置１０１と位置１２１、および位置１０２と位置１２２とを重ねるために、カメラ座標系のグラフが左右と上下とを逆にして、対象物座標系のグラフと重ねられている。このとき、位置１０１と位置１０２との間の距離が、位置１２１と位置１２２との間の距離と等しくなるように、カメラ座標系（または対象物座標系）を拡大あるいは縮小する（このときの拡大率または縮小率をαとする）。また、位置１０１と位置１２１、および位置１０２と位置１２２とが重なるようにカメラ座標系（または対象物座標系）を回転させる（このときの回転角をθとする）。このように、視線計測前にあらかじめカメラ座標系の水平と対象物座標系の水平とを合わせておき、かつ、２点の校正点について両座標系における２点の校正点についての視線の位置を合わせることで、両者のズレを検出し、視線検出の校正を行うことができる。また、この校正方法によれば、２つの校正点を用いているため、より精度の高い校正を行うことができる。

【0046】

なお、本例においては一番左上とその右隣の２つの校正点を校正のために使用したが、他の２点の校正点を用いて校正を行うことも可能である。

【0047】

以下、本例の校正方法ための数式について説明する。

【0048】

カメラ座標系における位置１０１および位置１０２を被験者５０が注視しているときの水平角度および垂直角度をそれぞれ、（Ｃｈ１，Ｃｖ１）、（Ｃｈ２，Ｃｖ２）とする。また、校正に用いる対象物座標系における位置１２１および位置１２２の水平角度および垂直角度をそれぞれ、（Ｏｈ１，Ｏｖ１）、（Ｏｈ２，Ｏｖ２）とする。（Ｃｈ１，Ｃｖ１）および（Ｃｈ２，Ｃｖ２）は計測値を、（Ｏｈ１，Ｏｖ１）および（Ｏｈ２，Ｏｖ２）はディスプレイ１０への出力時に設定した値を用いることで、下記の関係式におけるａおよびｂを含む行列を求めることができる。

【0049】

なお、以下の式におけるａおよびｂを含む行列は、回転角度シータに対応する回転行列と拡大率αを掛け合わせたものである。ａおよびｂを求めることで、カメラ座標系から対象物座標系への変換が可能になる。

【0050】

【数6】

【0051】

なお、上記の式におけるａおよびｂを含む行列は、回転角度θの回転行列と拡大率αを掛け合わせたものである。ａおよびｂを求めることで、カメラ座標系から対象物座標系への変換が可能になる。

【0052】

【数7】

【0053】

また、上述したように、カメラ２０の水平と視標座標系の水平とを合わせると、カメラ座標系と対象物座標系との関係は、（１）水平・垂直とも反対方向、（２）水平のみ反対方向、（３）垂直のみ反対方向、（４）水平・垂直とも同一方向、の４つのパターンに分類される。この（１）〜（４）のパターンによって、関係式はそれぞれ以下のように異なる。

【0054】

【数8】

【0055】

また、任意の校正点についての対象物座標系の角度（Ｏｈ，Ｏｖ）は、カメラ座標系における視線角度（Ｃｈ，Ｃｖ）から以下の式より求めることができる。

【0056】

【数9】

【0057】

なお、これについても、カメラ座標系と対象物座標系との関係のパターン（１）〜（４）によって、関係式はそれぞれ以下のように異なる。

【0058】

【数10】

【0059】

（処理フロー）
図８は、本実施形態に係る視線検出校正方法の処理フロー図の一例を示す図である。

【0060】

まず、校正点の提示位置データ（座標データ）を視線計測用コンピュータ装置１８に登録しておく（ステップＳ１０２）。

【0061】

次に、被験者５０の眼球運動を計測することで、カメラ座標系にて計測するための各パラメータＯｆｆｓｅｔ_x，Ｏｆｆｓｅｔ_y，Ｒｐｃを取得する（ステップＳ１０４）。具体的には、被験者５０に、カメラ２０に向かって眼球５４を動かすようにしてもらうことで上記パラメータＯｆｆｓｅｔ_x，Ｏｆｆｓｅｔ_y，Ｒｐｃを取得する。

【0062】

次に、１点目の校正点を注視するように被験者５０に指示し、この時の被験者５０の眼球５４の撮影情報（視線情報）を取得する（ステップＳ１０６）。取得された撮影情報はカメラ２０から視線計測用コンピュータ装置１８に出力される。なお、被験者５０が校正点を注視しているときに、例えばキーボードやマウスにて入力操作を行うことで、校正点を注視していることを視線計測用コンピュータ装置１８に通知するようになっていてもよい。

【0063】

１点の校正点のみで校正処理を実行する場合には（ステップＳ１０８：Ｎｏ）、視線計測用コンピュータ装置１８において上記校正例１にて説明したように、１点の校正点を用いた視線検出校正を実行して対象物座標系で視線情報を出力して（ステップＳ１１０）、処理を終了する。

【0064】

さらなる校正点を用いて校正を続ける場合には（ステップＳ１０８：Ｙｅｓ）、２点目の校正点を注視するように被験者５０に指示し、この時の被験者５０の眼球５４の撮影情報（視線情報）を取得する（ステップＳ１１２）。取得された撮影情報はカメラ２０から視線計測用コンピュータ装置１８に出力される。なお、この時、２点目の校正に１点の校正点を用いた校正処理の結果を利用することができる。すなわち、被験者が２点目の校正点付近を注視してるのかを１点の校正点を用いた校正処理結果を用いて確認することができる。また、１点目の校正点の場合と同様に、被験者５０が校正点を注視しているときにキーボードやマウスにて入力操作を行うことで、校正点を注視しているタイミングを視線計測用コンピュータ装置１８に通知するようになっていてもよい。

【0065】

当該２点の校正点のみで校正処理を実行する場合には（ステップＳ１１４：Ｎｏ）、１点目と２点目の校正点の撮影情報を用いて、視線計測用コンピュータ装置１８において上記校正例２にて説明したように、２点の校正点を用いた視線検出校正を実行して対象物座標系で視線情報を出力する（ステップＳ１１６）。

【0066】

さらなる校正点を用いて校正を続ける場合には（ステップＳ１１４：Ｙｅｓ）、さらに３点目以降の各校正点を注視するように被験者５０に指示して各校正点を注視している時の被験者５０の眼球５４の撮影情報（視線情報）を取得して（ステップＳ１１８、ステップＳ１２０）、従来の視線検出校正法を利用して対象物座標系で視線情報を出力する（ステップＳ１２２）ことが可能である。この時、ｎ（ｎ：３以上の整数）点目の校正にｎ−１点の校正点を用いた校正処理の結果を利用することができる。すなわち、被験者がｎ点目の校正点付近を注視してるのかをｎ−１の校正点を用いた校正処理結果を用いて確認することができる。

【0067】

（ハードウェア構成）
本実施形態に係る視線検出校正方法を実行するコンピュータ装置（例えば視線計測用コンピュータ装置１８）は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。図９は、本実施形態に係る視線検出校正方法を実行するコンピュータ装置のハードウェア構成の一例を示す図である。図９に示されるコンピュータ装置３は、一例として、プロセッサ３１と、ＲＡＭ３２と、ＲＯＭ３３と、内蔵のハードディスク装置３４と、外付けハードディスク装置、ＣＤ、ＤＶＤ、ＵＳＢメモリ、メモリスティック、ＳＤカード等のリムーバブルメモリ３５と、他のコンピュータ装置と通信する通信インタフェース３６と、ディスプレイ／タッチパネル３７と、スピーカ３８と、キーボード／キーパット３９とを備える。上記説明された本実施形態の視線検出校正方法における各処理は、例えば、プロセッサ３１が、ハードディスク装置３４やＲＯＭ３３、リムーバブルメモリ３５等にあらかじめ格納されたプログラムをＲＡＭ３２等のメモリに読み出して実行することで実行されうる。なお、図９に示されるハードウェア構成はあくまで一例であって、これに限定されるものではない。

【0068】

また、上記説明した本実施形態の視線検出校正システム１は、視線検出校正のための校正点を表示する表示部と、被験者の眼球を撮影することによって当該校正点の表示中における被験者の視線の動きを表す視線情報を取得する視線情報取得部と、を備え、表示部の画面上における座標系である対象物座標系の水平軸と、被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、表示部に表示された第１の校正点のカメラ座標系の位置と、視線情報取得部にて取得された前記第１の校正点に対する被験者の視線の対象物座標系における位置と、を合致させることで、カメラ座標系における第１の校正点の位置と対象物座標系における第１の校正点の位置との水平方向および垂直方向における差分を算出する差分算出部と、差分算出部において算出された水平方向および垂直方向における当該差分に基づいて、視線情報を校正する校正部と、を備える視線検出校正システムであるとも言える。

【0069】

また、上記説明した本実施形態の視線検出校正システム１は、視線検出校正のための校正点を表示する表示部と、被験者の眼球を撮影することによって当該校正点の表示中における被験者の視線の動きを表す視線情報を取得する視線情報取得部と、を備え、表示部の画面上における座標系である対象物座標系の水平軸と、被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、表示部に表示された第１の校正点のカメラ座標系の位置と、第１の校正点に対する被験者の視線の前記対象物座標系における位置と、を合致させ、かつ、表示部に表示された第２の校正点のカメラ座標系の位置と、第２の校正点に対する被験者の視線の対象物座標系における位置と、を合致させるためのカメラ座標系または対象物座標系の拡大率または縮小率と回転率とを算出する差分算出部と、算出された拡大率または縮小率と回転率とに基づいて、視線情報を校正する校正部と、を備える視線検出校正システムであるとも言える。

【0070】

ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。

【0071】

例えば、上述した実施形態においては、一例として、校正点提示用コンピュータ装置１６に校正点を表示することとしたが、これに限定されるものではない。視線計測用コンピュータ装置１８が校正点の提示位置データを保持することができれば、例えば、視線検出を行う部屋の壁にマグネット磁石のようなものを貼り付けてこれを校正点としてもよいし、紙に書かれた校正点を壁に貼り付ける等としてもよい。なお、この時の対象物座標系は、壁の表面上の座標系が該当する。

【0072】

本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

【符号の説明】

【0073】

１ 視線検出校正システム
１０ ディスプレイ
１６ 校正点提示用コンピュータ装置
１８ 視線計測用コンピュータ装置
２０ 赤外線照明装置兼カメラ
５０ 被験者
５２ 頭部
５４ 眼球

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】