特許 6780161 視線検出装置及び視線検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6780161

(24)【登録日】2020年10月19日

(45)【発行日】2020年11月4日

(54)【発明の名称】視線検出装置及び視線検出方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20201026BHJP

   G06T 7/00 20170101ALI20201026BHJP

   A61B 3/113 20060101ALI20201026BHJP

【ＦＩ】

   G06T7/70 B

   G06T7/00 660A

   A61B3/113

【請求項の数】5

【全頁数】23

(21)【出願番号】特願2015-235889(P2015-235889)

(22)【出願日】2015年12月2日

(65)【公開番号】特開2017-102731(P2017-102731A)

(43)【公開日】2017年6月8日

【審査請求日】2018年11月13日

(73)【特許権者】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(72)【発明者】

【氏名】海老澤 嘉伸

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００７−１３６０００（ＪＰ，Ａ）

【文献】 特開２００５−１８５４３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０２７９５９０（ＵＳ，Ａ１）

【文献】 海老澤 嘉伸 外4名，頭部移動を許容するステレオカメラによる較正容易な注視点検出装置，ＦＩＴ２０１０ 第９回情報科学技術フォーラム 講演論文集 第３分冊 査読付き論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション＆インタラクション 教育工学・福祉工学・マルチメディア応用，日本，社団法人電子情報通信学会，一般社団法人情報処理学会，２０１０年 ８月２０日，pp. 589-591

【文献】 遠西 昭和，海老澤 嘉伸，ステレオ広角カメラと狭角カメラによる視線検出，映像情報メディア学会 ２００５年年次大会講演予稿集 ［ＣＤ−ＲＯＭ］，日本，社団法人映像情報メディア学会，２００５年 ８月２６日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００

Ａ６１Ｂ ３／１０

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

対象者の眼を撮像することで前記眼の３次元位置を検出する３次元位置検出手段と、
前記対象者の眼を撮像する少なくも１台のカメラと、
前記対象者に向けられた異なる位置に配置された第１及び第２の光源と、
前記カメラによって撮像された前記眼の画像を基に、前記対象者の瞳孔の前記画像上の座標と、前記第１及び第２の光源による第１及び第２の角膜反射の前記画像上の座標とを検出し、前記瞳孔の前記座標と前記第１の角膜反射及び前記第２の角膜反射のうちの少なくとも１つの前記座標とを基に前記対象者の視線の方向を算出する視線算出手段とを備え、
前記視線算出手段は、前記眼の前記３次元位置と既知の前記第１及び第２の光源の３次元位置とから、前記眼における前記第１及び第２の角膜反射の間の実寸距離を算出し、前記第１の角膜反射の前記座標と前記第２の角膜反射の前記座標との間の画像上距離を算出し、前記画像上距離と前記実寸距離とを基に前記カメラによる画像の拡大率を算出し、前記拡大率を基に前記視線の方向を算出する、
視線検出装置。

【請求項2】

前記視線算出手段は、前記画像上距離と前記実寸距離との比を計算することにより、前記カメラによる画像の拡大率を算出する、
請求項１記載の視線検出装置。

【請求項3】

前記視線算出手段は、前記第１の角膜反射又は前記第２の角膜反射のいずれかの前記座標から前記瞳孔の前記座標までの角膜反射−瞳孔ベクトルを算出し、前記角膜反射−瞳孔ベクトルに前記拡大率を乗ずることで、前記カメラと前記瞳孔を結ぶ線からの前記視線の方向のなす角度を算出する、
請求項１又は２に記載の視線検出装置。

【請求項4】

前記第１及び第２の光源は、前記第１及び第２の光源を結ぶ線が前記カメラを通るように配置されている、
請求項１〜３のいずれか１項に記載の視線検出装置。

【請求項5】

対象者の眼を撮像する少なくも１台のカメラと、前記対象者に向けられた異なる位置に配置された第１及び第２の光源と、前記対象者の視線の方向を算出する視線検出手段と、を備える視線検出装置が、対象者の眼を撮像することで前記眼の３次元位置を検出する３次元位置検出ステップと、
前記視線検出装置が、前記カメラによって撮像された前記眼の画像を基に、前記対象者の瞳孔の前記画像上の座標と、前記第１及び第２の光源による第１及び第２の角膜反射の前記画像上の座標とを検出し、前記瞳孔の前記座標と前記第１の角膜反射及び前記第２の角膜反射のうちの少なくとも１つの前記座標とを基に前記対象者の視線の方向を算出する視線算出ステップとを備え、
前記視線算出ステップでは、前記眼の前記３次元位置と既知の前記第１及び第２の光源の３次元位置とから、前記眼における前記第１及び第２の角膜反射の間の実寸距離を算出し、前記第１の角膜反射の前記座標と前記第２の角膜反射の前記座標との間の画像上距離を算出し、前記画像上距離と前記実寸距離とを基に前記カメラによる画像の拡大率を算出し、前記拡大率を基に前記視線の方向を算出する、
視線検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の画像から視線を検出する視線検出装置及び視線検出方法に関する。

【背景技術】

【0002】

近年、近赤外光源等の光源とビデオカメラを使用した視線検出装置が普及しつつある。このような視線検出装置では、ビデオカメラに対する被験者の視線方向の角度の変化によりビデオカメラで得られる画像中の瞳孔と角膜反射との位置関係が変化することを用いて、視線方向を検出する方法である。具体的には、瞳孔の中心と角膜反射との間のベクトルと、そのベクトルのビデオカメラの座標系の座標軸に対する角度とを取得し、これらから視線方向を検出する（下記特許文献１）。また、眼の凝視方向を検出する装置であって、ディスプレイの周囲に配置されたフォトセンサ及び複数の光源と、計算・制御ユニットとを備えるものも知られている（下記特許文献２）。

【0003】

ここで、デジタルサイネージ等の公共空間に設置された表示画面上の視線を検出する場合には、視線検出装置と対象者との間の距離が様々変化するため、精度良く視線を検出するためには、視線検出装置にはズーム機構やオートフォーカス機能を備えるカメラが要求される。そのようなカメラを備える視線検出装置には、ズーム機能による画像の倍率値（ズーム値）を基に検出値をキャリブレーションする機能が具備されている（下記特許文献３）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−１８５４３１号公報

【特許文献2】米国特許２００６／０２３８７０７号公報

【特許文献3】特開２０１４−６４７８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した特許文献３に記載の装置では、ズーム機能を備えたカメラから出力されたズーム値を基に被験者と対象物との距離を算出し、その距離を基に対象物上の被験者の視線の移動量を算出する。しかしながら、カメラのズーム機能の制御には遅延や誤差が存在するため、画像の各フレームにおける実際の倍率とカメラから出力されたズーム値との間に誤差が生じやすい。その結果、検出する視線に誤差が生じる場合があった。

【0006】

本発明は、上記課題に鑑みて為されたものであり、ズーム機能を備えたカメラを用いた際に視線方向を精度よく検出することが可能な視線検出装置及び視線検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一形態にかかる視線検出装置は、対象者の眼を撮像することで眼の３次元位置を検出する３次元位置検出手段と、対象者の眼を撮像する少なくも１台のカメラと、対象者に向けられた異なる位置に配置された第１及び第２の光源と、カメラによって撮像された眼の画像を基に、対象者の瞳孔の画像上の座標と、第１及び第２の光源による第１及び第２の角膜反射の画像上の座標とを検出し、瞳孔の座標と第１角膜反射及び第２の角膜反射のうちの少なくとも１つの座標とを基に対象者の視線の方向を算出する視線算出手段とを備え、視線算出手段は、第１の角膜反射の座標と第２の角膜反射の座標と眼の３次元位置とを基にカメラによる画像の拡大率を算出し、拡大率を基に視線の方向を算出する。

【0008】

或いは、本発明の他の形態にかかる視線検出方法は、対象者の眼を撮像する少なくも１台のカメラと、対象者に向けられた異なる位置に配置された第１及び第２の光源と、対象者の視線の方向を算出する視線検出手段と、を備える視線検出装置が、対象者の眼を撮像することで眼の３次元位置を検出する３次元位置検出ステップと、視線検出装置が、カメラによって撮像された眼の画像を基に、対象者の瞳孔の画像上の座標と、第１及び第２の光源による第１及び第２の角膜反射の画像上の座標とを検出し、瞳孔の座標と第１角膜反射及び第２の角膜反射のうちの少なくとも１つの座標とを基に対象者の視線の方向を算出する視線算出ステップとを備え、視線算出ステップでは、第１の角膜反射の座標と第２の角膜反射の座標と眼の３次元位置とを基にカメラによる画像の拡大率を算出し、拡大率を基に視線の方向を算出する。

【0009】

上記形態の視線検出装置或いは視線検出方法によれば、カメラによって撮像された対象者の眼の画像を基に、第１及び第２の光源による第１及び第２の角膜反射の画像上の座標が検出され、それらの画像上の座標と、別途検出された対象者の眼の３次元座標とを基にカメラの画像による拡大率が算出される。そして、算出した拡大率と、対象者の瞳孔の画像上の座標と、第１の角膜反射及び第２の角膜反射のうちの少なくとも１つの画像上の座標とを基に対象者の視線の方向が算出される。これにより、カメラによって画像が取得された際の画像の拡大率を正確に計算することができ、その画像と拡大率を用いることで精度よく対象者の視線の方向を算出することができる。その結果、ズーム機能を備えたカメラを用いた際に視線方向を精度よく検出することができる。

【0010】

ここで、視線算出手段は、第１の角膜反射の座標と第２の角膜反射の座標との間の画像上距離を算出し、当該画像上距離と眼の３次元位置とを基にカメラによる画像の拡大率を算出する、こととしてもよい。この場合、画像上における２つの光源によって生じる角膜反射の間の距離を用いて、カメラによって画像が取得された際の画像の拡大率を正確に計算することができる。

【0011】

また、視線算出手段は、画像上距離と、第１及び第２の光源の位置と眼の３次元位置とから計算される第１の角膜反射から第２の角膜反射までの実寸距離との比を計算することにより、カメラによる画像の拡大率を算出する、こととしてもよい。この場合には、画像上における２つの光源によって生じる角膜反射の間の距離と実寸の距離との比を用いて、カメラによって画像が取得された際の画像の拡大率を正確に計算することができる。

【0012】

また、視線算出手段は、第１角膜反射又は第２の角膜反射のいずれかの座標から瞳孔の座標までの角膜反射−瞳孔ベクトルを算出し、角膜反射−瞳孔ベクトルに拡大率を乗ずることで、カメラと瞳孔を結ぶ線からの視線の方向のなす角度を算出する、こととしてもよい。この場合には、算出した拡大率を基にカメラと瞳孔を結ぶ線からの視線の方向のなす角度を精度よく算出することができる。

【0013】

また、第１及び第２の光源は、第１及び第２の光源を結ぶ線がカメラを通るように配置されていてもよい。この場合には、第１及び第２の角膜反射の画像上の座標と対象者の眼の３次元座標とを用いた拡大率の計算が単純化され、拡大率の正確性も向上させることができる。

【発明の効果】

【0014】

本発明によれば、ズーム機能を備えたカメラを用いた際に視線方向を精度よく検出することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る視線検出装置を示す正面図である。

【図2】実施形態に係る画像処理装置のハードウェア構成を示す図である。

【図3】実施形態に係る画像処理装置の機能構成を示すブロック図である。

【図4】実施形態に係る視線検出装置の動作を示すフローチャートである。

【図5】図３のカメラ／光源制御部４１によって制御された各カメラの露光タイミング及び各光源の点灯タイミングを示すタイミングチャートである。

【図6】図３の拡大率算出部４４による拡大率の算出原理を説明するための概念図である。

【図7】図３の注視点算出部４５による視線方向の検出原理を説明するための概念図である。

【図8】本実施形態及び変形例に関して、複数のフレーム毎に連続して検出された注視点の座標の検出値を示すグラフである。

【図9】本実施形態及び変形例に関して、注視点の座標の標準偏差の平均を示すグラフである。

【図10】光源の配置の変形例を示す図である。

【図11】光源の配置の変形例を示す図である。

【図12】光源の配置の変形例を示す図である。

【図13】光源の配置の変形例を示す図である。

【図14】光源の配置の変形例を示す図である。

【図15】光源の配置の変形例を示す図である。

【図16】狭視野カメラ及び光源の配置の変形例を示す図である。

【図17】狭視野カメラ及び光源の配置の変形例を示す図である。

【図18】図１６及び図１７の配置例を採用した場合の画像の拡大率の算出原理を説明するための概念図である。

【図19】狭視野カメラ及び光源の配置の変形例を示す図である。

【図20】変形例において画像の拡大率の算出原理を説明するための概念図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しつつ本発明に係る視線検出装置及び視線検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0017】

［視線検出装置の構成］
まず、図１〜３を用いて、実施形態に係る視線検出装置１の構成を説明する。視線検出装置１は、対象者の眼を撮像することで対象者の視線方向を検出するコンピュータシステムであり、この装置により、本実施形態に係る視線検出方法が実施される。対象者とは、視線方向を検出する対象となる人であり、被験者ともいうことができる。視線検出装置１および視線検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者の眠気の検出、運転者のサイドミラーやルームミラーの安全確認動作の確認、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに視線検出装置１を利用することができる。特に、本実施形態に係る視線検出装置１は、公共の場所に設置されたデジタルサイネージ等の対象物に対する対象者の視線方向を検出する装置、商品の陳列棚においてどの商品を見ているかを検出する装置等、対象者と装置との間の距離が変動する状況下での使用に適している。ただし、このような状況下での使用に限定されるものではない。

【0018】

図１に模式的に示すように、視線検出装置１は、ステレオカメラとして機能する一対の広視野カメラ１０と、対象者の頭部の３次元位置を検出する対象者検出装置２０と、対象者の眼を撮像する２台の狭視野カメラ３０と、画像処理装置４０とを備える。以下では、必要に応じて、一対の広視野カメラ１０を、対象者の左側にあるカメラ１０_Ｌと、対象者の右側にあるカメラ１０_Ｒとに区別する。同様に、必要に応じて、２台の狭視野カメラ３０を対象者の左側にあるカメラ３０_Ｌと、対象者の右側にあるカメラ３０_Ｒとに区別する。本実施形態では、視線検出装置１は、対象者が見る対象であるディスプレイ装置５０をさらに備えるが、視線検出装置１の利用目的は上記のように限定されないので、対象者の視線の先にある物はディスプレイ装置５０に限定されず、例えば自動車のフロントガラス等でもあり得る。したがって、ディスプレイ装置５０は視線検出装置１における必須の要素ではない。それぞれの広視野カメラ１０、それぞれの狭視野カメラ３０、及び対象者検出装置２０は、画像処理装置４０と無線または有線により接続され、互いに各種のデータまたは命令を送受信可能とされる。各広視野カメラ１０、及び各狭視野カメラ３０に対しては予めカメラ較正が行われる。

【0019】

対象者検出装置２０は、ＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラと、演算部とを内蔵し、ＴＯＦカメラによって取得された距離画像から対象者の頭部らしき物体を認識し、その認識結果を基に頭部の３次元座標を所定の周期で出力する装置である。対象者検出装置２０は、赤外線プロジェクターと赤外線カメラとを内蔵し、赤外線カメラで取得された画像上における赤外線プロジェクターによって照射された赤外線のパターンの歪みを検出し、その歪みを基に距離を認識することで距離画像を取得する装置であってもよい。この対象者検出装置２０は、狭視野カメラ３０の姿勢を対象者の頭部の３次元位置に合わせて制御するために設けられる。

【0020】

広視野カメラ１０は対象者の眼を含む周辺を広視野角で撮影する撮像装置であり、対象者の眼の３次元位置を検出するための３次元位置検出手段として用いられる。広視野カメラ１０には、固定焦点レンズが内蔵され、その視野角が、例えば、対象者の上半身が含まれるような角度に予め設定される。一対の広視野カメラ１０は、ディスプレイ装置５０の上部に水平方向に沿って所定の間隔をおいて配される。例えば、一対の広視野カメラ１０は、それらの水平方向の間隔が430.0mmに設定される。個々の広視野カメラ１０に対しては予めカメラ較正が行われる。

【0021】

本実施形態では、広視野カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。広視野カメラ１０は、画像処理装置４０からの命令に応じて対象者を撮像し、画像データを画像処理装置４０に出力する。

【0022】

この広視野カメラ１０は、レンズが収容された開口部１２の外側に取り付けられた光源１３を含んでいる。光源１３は、対象者の眼に向けて照明光を照射するための機器であり、複数の発光素子１３ａと複数の発光素子１３ｂとから成る。発光素子１３ａは、出力光の中心波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の中心波長が９４０ｎｍの半導体発光素子であり、発光素子１３ａの外側に等間隔でリング状に配される。したがって、広視野カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、広視野カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は図１に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。光源１３は、画像処理装置４０からの命令に応じたタイミングで照明光を出射する。

【0023】

狭視野カメラ３０は、対象者の眼を含む周辺を狭視野角で撮影する撮像装置であり、対象者の眼に含まれる瞳孔中心の位置と、対象者の眼において後述する光源３３によって生じる角膜反射の位置を検出するために設けられる。この狭視野カメラ３０には、電動ズームレンズが内蔵され、外部からの制御によりズーム値（画像の拡大率）を調整するズーム調整機能と、自動で電動ズームレンズの焦点距離を対象者に焦点が合うように調整するオートフォーカス機能とを有している。狭視野カメラ３０のズーム調整機能により設定可能な視野角の範囲は、例えば、対象者の顔全体が含まれるような角度を含むように設定される。２台の狭視野カメラ３０は、ディスプレイ装置５０の下部に水平方向に沿って所定の間隔をおいて配される。例えば、２台の狭視野カメラ３０は、それらの水平方向の間隔が954.0mmに設定される。個々の狭視野カメラ３０に対しては予めカメラ較正が行われる。

【0024】

本実施形態では、狭視野カメラ３０は、広視野カメラ１０と同様に、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。狭視野カメラ３０は、画像処理装置４０からの命令に応じて対象者を撮像し、画像データを画像処理装置４０に出力する。

【0025】

また、この狭視野カメラ３０のそれぞれには、外部からの制御により狭視野カメラ３０の姿勢を調整するパンチルト機構３１が取り付けられている。パンチルト機構３１は、狭視野カメラ３０の光軸を水平方向及び垂直方向のそれぞれに振るように狭視野カメラ３０を回転駆動する。

【0026】

さらに、狭視野カメラ３０は、レンズが収容された開口部３２の外側に取り付けられた光源３３を含んでいる。光源３３は、対象者の眼に向けて照明光を照射するための機器であり、複数の発光素子３３ａと複数の発光素子３３ｂとから成る。発光素子３３ａは、出力光の中心波長が８１０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部３２の縁に沿って等間隔でリング状に配される。発光素子３３ｂは、出力光の中心波長が８１０ｎｍの半導体発光素子であり、狭視野カメラ３０の開口部３２の上部に発光素子３３ａから離れて配される。この複数の発光素子３３ｂは等間隔でリング状に配置される。

【0027】

したがって、狭視野カメラ３０の光軸から発光素子３３ｂまでの距離は、該光軸から発光素子３３ａまでの距離よりも大きい。それぞれの発光素子３３ａ，３３ｂは、狭視野カメラ３０の光軸に沿って照明光を出射するように設けられる。また、２つの光源３３は、それぞれ、狭視野カメラ３０_Ｌ，３０_Ｒの開口部３２の近傍の互いに離れた（異なる）位置に配置されているので、狭視野カメラ３０_Ｌの発光素子３３ａの中心と狭視野カメラ３０_Ｒの発光素子３３ａの中心とを結ぶ線は両方の狭視野カメラ３０_Ｌ，３０_Ｒの開口部３２の近傍を水平方向に通過することになる。同様に、狭視野カメラ３０_Ｌの発光素子３３ｂの中心と狭視野カメラ３０_Ｒの発光素子３３ｂの中心とを結ぶ線は両方の狭視野カメラ３０_Ｌ，３０_Ｒの開口部３２の近傍を水平方向に通過することになる。

【0028】

なお、光源３３の配置は図１に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。例えば、光源３３の配置は光源１３と同様であってもよい。光源３３は、画像処理装置４０からの命令に応じたタイミングで照明光を出射する。

【0029】

画像処理装置４０は、広視野カメラ１０、狭視野カメラ３０、及び対象者検出装置２０の制御と、対象者の視線方向の検出とを実行するコンピュータである。画像処理装置４０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置４０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

【0030】

画像処理装置４０の一般的なハードウェア構成を図２に示す。画像処理装置４０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。

【0031】

後述する画像処理装置４０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

【0032】

図３に示すように、画像処理装置４０は機能的構成要素としてカメラ／光源制御部４１、瞳孔座標算出部（３次元位置検出手段）４２、瞳孔／角膜反射座標算出部４３、拡大率算出部４４、及び注視点算出部４５を備える。これらの瞳孔／角膜反射座標算出部４３、拡大率算出部４４、及び注視点算出部４５は、対象者の視線の方向を算出する視線算出手段として機能する。

【0033】

カメラ／光源制御部４１は、広視野カメラ１０及び狭視野カメラ３０の撮影タイミングと、光源１３及び光源３３の点灯タイミングを制御する。また、カメラ／光源制御部４１は、対象者検出装置２０から出力された対象者の頭部の３次元座標を基に、２台の狭視野カメラ３０の姿勢、及び２台の狭視野カメラ３０のズーム値を調整するように制御する。具体的には、カメラ／光源制御部４１は、２台の狭視野カメラ３０の光軸が対象者の頭部を向くようにパンチルト機構３１を駆動制御するとともに、狭視野カメラ３０から対象者の頭部までの距離に応じて対象者の頭部全体が視野に入るようにズーム値を調整する。瞳孔座標算出部４２は、一対の広視野カメラ１０から取得された画像データを処理することで対象者の瞳孔中心の３次元座標を算出する。瞳孔／角膜反射座標算出部４３は、狭視野カメラ３０から取得された画像データを処理することにより、対象者の瞳孔中心の画像上の座標と、光源３３によって生じる角膜反射の画像上の座標とを算出する。拡大率算出部４４は、瞳孔／角膜反射座標算出部４３によって算出された画像上の座標と、瞳孔座標算出部４２によって算出された瞳孔中心の３次元座標とを基に、狭視野カメラ３０における画像の拡大率を算出する。注視点算出部４５は、瞳孔／角膜反射座標算出部４３によって算出された画像上の座標と、拡大率算出部４４によって算出された拡大率とを用いて視線ベクトルを計算し、その視線ベクトルに基づいて対象者の視線方向を検出する。視線とは、対象者の瞳孔中心と該対象者の注視点（対象者が見ている点）とを結ぶ線である。なお、「視線」という用語は、起点、終点、および方向の意味（概念）を含む。また、「視線ベクトル」とは、対象者の視線の方向をベクトルで表したもので、「視線方向」を表す一形態である。画像処理装置４０の検出結果の視線方向の出力先は何ら限定されない。例えば、画像処理装置４０は判定結果を画像、図形、またはテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

【0034】

［視線検出方法］
次に、図４〜７を用いて、視線検出装置１の動作について説明するとともに、本実施形態に係る視線検出方法について説明する。

【0035】

（処理の概要）
視線検出方法の概要を図４に示す。視線検出装置１による視線検出処理は外部からのユーザの指示入力に応じて開始され、まず、対象者検出装置２０によって対象者の頭部の３次元座標が取得され、その３次元座標が画像処理装置４０に出力される（ステップＳ０１）。そして、画像処理装置４０のカメラ／光源制御部４１によって、狭視野カメラ３０の姿勢及びズーム値が調整されるとともに、狭視野カメラ３０のオートフォーカス機能が起動される。それと同時に、カメラ／光源制御部４１によって、広視野カメラ１０及び狭視野カメラ３０の撮影タイミングと、光源１３及び光源３３の点灯タイミングとが制御される（ステップＳ０２）。その後、画像処理装置４０の瞳孔座標算出部４２により、一対の広視野カメラ１０から出力された画像データを基に、対象者の瞳孔中心の３次元座標が検出される（ステップＳ０３）。次に、画像処理装置４０の瞳孔／角膜反射座標算出部４３により、狭視野カメラ３０から出力された画像データを対象に、瞳孔中心の画像上の座標が検出される（ステップＳ０４）。それとともに、瞳孔／角膜反射座標算出部４３により、狭視野カメラ３０から出力された画像データを対象に、２つの光源３３による２つの角膜反射の画像上の座標が検出される（ステップＳ０５）。その後、画像処理装置４０の拡大率算出部４４により、対象者の瞳孔中心の３次元座標と、２つの角膜反射の画像上の座標とを基に、狭視野カメラ３０による画像の拡大率が算出される（ステップＳ０６）。さらに、画像処理装置４０の注視点算出部４５によって、算出された拡大率と、瞳孔中心の画像上の座標と、２つの角膜反射のうちの少なくとも１つの角膜反射の画像上の座標とを基に、対象者の視線ベクトルが算出され、その視線ベクトルを基に対象者のディスプレイ装置５０の表示画面上の注視点が検出および出力される（ステップＳ０７）。

【0036】

上記のステップＳ０１〜Ｓ０２の処理は、所定の周期で繰り返し実行され、ステップＳ０３〜Ｓ０７の処理は、１フレーム毎に繰り返し実行される。そして、上記のステップＳ０１〜Ｓ０７の処理は、外部から処理終了の指示入力が受け付けられるまで、繰り返し実行される（ステップＳ０８）。

【0037】

以下、視線検出処理について詳細に説明する。

【0038】

（瞳孔像の取得）
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。

【0039】

本実施形態では、カメラ／光源制御部４１は、広視野カメラ１０の奇数フィールドに合わせて発光素子１３ａを点灯させて明瞳孔画像を撮影し、広視野カメラ１０の偶数フィールドに合わせて発光素子１３ｂを点灯させて暗瞳孔画像を撮影する。さらに、カメラ／光源制御部４１は２つの広視野カメラ１０の間で作動タイミングをわずかにずらし、個々の広視野カメラ１０の露光時間はそのずらし時間以下に設定される。カメラ／光源制御部４１は、各広視野カメラ１０の露光時間中に、対応する発光素子１３ａおよび発光素子１３ｂを交互に発光させることで、一方の広視野カメラ１０の光源１３からの光が他方の広視野カメラ１０の画像に影響を与えないようにする（クロストークが起こらないようにする）。

【0040】

同様に、カメラ／光源制御部４１は、狭視野カメラ３０の奇数フィールドに合わせてその狭視野カメラ３０に取り付けられた発光素子３３ａを点灯させて明瞳孔画像を撮影し、狭視野カメラ３０の偶数フィールドに合わせてその狭視野カメラ３０に取り付けられた発光素子３３ｂを点灯させて暗瞳孔画像を撮影する。さらに、カメラ／光源制御部４１は、２つの狭視野カメラ３０の間で作動タイミングを同期させるとともに、２つの狭視野カメラ３０の露光時間中に、対応する発光素子３３ａおよび発光素子３３ｂを交互に発光させる。すなわち、２つの狭視野カメラ３０に取り付けられた２つの発光素子３３ａは、発光が同期するように制御され、２つの狭視野カメラ３０に取り付けられた２つの発光素子３３ｂは、発光が同期するように制御される。このとき、２つの狭視野カメラ３０による明瞳孔画像の露光タイミングは、２台の広視野カメラ１０の明瞳孔画像の露光タイミングからわずかにずらされ、２つの狭視野カメラ３０による暗瞳孔画像の露光タイミングは、２台の広視野カメラ１０の暗瞳孔画像の露光タイミングからわずかにずらされる。これにより、広視野カメラ１０の光源１３からの光が狭視野カメラ３０の画像に影響を与えないようにする（クロストークが起こらないようにする）。

【0041】

図５は、カメラ／光源制御部４１によって制御された各カメラの露光タイミング及び各光源の点灯タイミングを示すタイミングチャートである。図５において、（ａ）は、広視野カメラ１０_Ｌの露光タイミング、（ｂ）は、広視野カメラ１０_Ｌの発光素子１３ａの点灯タイミング、（ｃ）は、広視野カメラ１０_Ｌの発光素子１３ｂの点灯タイミング、（ｄ）は、広視野カメラ１０_Ｒの露光タイミング、（ｅ）は、広視野カメラ１０_Ｒの発光素子１３ａの点灯タイミング、（ｆ）は、広視野カメラ１０_Ｒの発光素子１３ｂの点灯タイミング、（ｇ）は、２台の狭視野カメラ３０の露光タイミング、（ｈ）は、２台の狭視野カメラ３０の発光素子３３ａの点灯タイミング、（ｉ）は、２台の狭視野カメラ３０の発光素子３３ｂの点灯タイミングをそれぞれ示している。

【0042】

（瞳孔の３次元座標の検出）
瞳孔座標算出部４２は、一対の広視野カメラ１０から、上記の一連の制御により得られる明瞳孔画像および暗瞳孔画像を取得する。得られる画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、瞳孔座標算出部４２は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像または暗瞳孔画像を生成する。

【0043】

続いて、瞳孔座標算出部４２は、１フレーム内の明瞳孔画像と暗瞳孔画像とから差分画像を生成する。次に、瞳孔座標算出部４２は差分画像から瞳孔中心位置を特定する。具体的には、瞳孔座標算出部４２は、前フレームと輝度が大きく変化しないことを利用して、前フレームで検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を２値化し、ラベリングを行う。続いて、瞳孔座標算出部４２は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔を選択し、瞳孔中心の座標（位置）を算出する。

【0044】

続いて、瞳孔座標算出部４２は瞳孔中心の３次元座標を求める。具体的には、瞳孔座標算出部４２はステレオ法を用いて、２つの広視野カメラ１０から取得した明瞳孔画像及び暗瞳孔画像を用いて算出した２つの瞳孔中心の座標から瞳孔中心の３次元位置を計算する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。具体的には、瞳孔座標算出部４２は、２台の広視野カメラ１０からの画像データを基に検出した画像座標系における瞳孔中心の座標と、３次元空間内の世界座標系における瞳孔中心の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、瞳孔座標算出部４２は、関係式から世界座標系における対象者の瞳孔中心の３次元座標を求める。

【0045】

（角膜反射の位置の検出）
瞳孔／角膜反射座標算出部４３は、広視野カメラ１０からの画像データの取得と同様にして、狭視野カメラ３０から１フレーム毎に明瞳孔画像及び暗瞳孔画像を取得する。瞳孔／角膜反射座標算出部４３は、入力された明瞳孔画像および暗瞳孔画像のそれぞれから、２つの光源３３によって生じる２つの角膜反射を検出する。明瞳孔画像からは２つの発光素子３３ａによって生じる２つの角膜反射を検出し、暗瞳孔画像からは２つの発光素子３３ｂによって生じる２つの角膜反射を検出する。具体的には、瞳孔／角膜反射座標算出部４３は、１枚の画像に対してＰタイル法による２値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から２つの角膜反射を選択する。このとき、２つの光源３３の配置関係から２つの角膜反射は画像上で水平方向に並ぶと予測されるので、その幾何学的特徴を利用して角膜反射の候補位置から２つの角膜反射の位置を選択する。さらに、瞳孔／角膜反射座標算出部４３は、選択された２つの角膜反射のうち、処理対象の画像が取得された狭視野カメラ３０に取り付けられた光源３３に対応する１つの角膜反射の位置に基づいて明瞳孔画像と暗瞳孔画像との間での角膜反射の移動量を位置補正量として計算する。続いて、瞳孔／角膜反射座標算出部４３はそれらの画像間で角膜反射の位置が一致するように、前フィールド（ｉ番目のフィールド）の画像を、次フィールド（（ｉ＋１）番目のフィールド）の画像に位置補正量だけずらした上で、これら２画像から差分画像を生成する。そして、瞳孔／角膜反射座標算出部４３は一致させた画像上の２つの角膜反射の座標（位置）を取得する。

【0046】

このような処理により、瞳孔／角膜反射座標算出部４３は明瞳孔画像と暗瞳孔画像との差分画像から、２つの角膜反射の画像座標系における座標（画像上の座標）を得る。さらに、瞳孔／角膜反射座標算出部４３は、瞳孔座標算出部４２の上述した処理と同様にして、狭視野カメラ３０から得られた１フレーム毎の明瞳孔画像と暗瞳孔画像との差分画像を基に、瞳孔中心の画像上の座標を算出する。

【0047】

（画像の拡大率の算出）
続いて、拡大率算出部４４は、瞳孔／角膜反射座標算出部４３によって算出された瞳孔中心の画像上の座標及び２つの角膜反射の画像上の座標を基に、狭視野カメラ３０の画像の拡大率を算出する。図６は、拡大率算出部４４による拡大率の算出原理を説明するための概念図である。このような拡大率の算出は、狭視野カメラ３０_Ｌから取得された画像データを基にした差分画像Ｇ_Ｌ１上の瞳孔中心Ｃ_Ｐの座標及び２つの角膜反射Ｇ_１，Ｇ_２の座標と、瞳孔座標算出部４２によって算出された瞳孔中心の３次元座標とを用いて実行される一方で、狭視野カメラ３０_Ｒから取得された画像データを基にした差分画像Ｇ_Ｒ１上の瞳孔中心Ｃ_Ｐの座標及び２つの角膜反射Ｇ_１，Ｇ_２の座標と、瞳孔座標算出部４２によって算出された瞳孔中心の３次元座標とを用いても実行される。以下では、差分画像Ｇ_Ｌ１を用いた処理方法のみ説明する。

【0048】

まず、拡大率算出部４４は、瞳孔中心の３次元座標から対象者の角膜球中心の３次元座標Ｃを推定し、既知である２つの光源１３の３次元座標Ｎ_１，Ｎ_２を特定する。例えば、角膜球中心の３次元座標Ｃを瞳孔中心の３次元座標に近似し、２つの光源１３の３次元座標Ｎ_１，Ｎ_２を補助記憶部１０３（図２）等から読み出す。ここで、対象者の眼球ＥＢ及び角膜球ＣＢが２つの狭視野カメラ３０から等距離に位置していると仮定し、||ＣＮ_１||が||ＣＮ_２||に等しいとすると、対称性から明らかなように、角膜球ＣＢ上の一方の角膜反射Ｒ_２は∠Ｎ_１ＣＮ_２の２等分線上に存在することが分かる。以下の説明では、||Ｚ||は、ベクトルＺの大きさを示すものとする。

【0049】

そのような幾何学的性質を利用すべく、拡大率算出部４４は、上記２等分線の方向の単位ベクトルｎを下記式（１）；

【数1】

により計算する。さらに、拡大率算出部４４は、角膜球ＣＢ上の一方の角膜反射Ｒ_２の３次元座標を示す位置ベクトルを下記式（２）；

【数2】

により計算する。ここで、ｄは角膜球ＣＢの半径であり既知の値として与えられる。例えば、標準的な角膜球ＣＢの半径としてｄ＝7.7mmが設定される。

【0050】

一方、角膜球ＣＢ上の他方の角膜反射Ｒ_１は３次元座標Ｎ_１の位置に配置された光源１３によるものであり、角膜球中心Ｃ、角膜反射Ｒ_１、及び３次元座標Ｎ_１は同一直線上に存在する。よって、拡大率算出部４４は、下記式（３）；

【数3】

により、他方の角膜反射Ｒ_１の３次元座標を示す位置ベクトルを計算することができる。そして、拡大率算出部４４は、２つの角膜反射の位置ベクトルＲ_１，Ｒ_２を基に、下記式（４）；

【数4】

を用いて、２つの角膜反射Ｒ_１，Ｒ_２の３次元座標間の距離（実寸距離）を算出する。

【0051】

次に、拡大率算出部４４は、差分画像Ｇ_Ｌ１上の２つの角膜反射Ｇ_１，Ｇ_２の座標を基に、２つの角膜反射Ｇ_１，Ｇ_２の間の画像上距離||Ｇ_１Ｇ_２||を算出する。そして、拡大率算出部４４は、算出した実寸距離と、算出した画像上距離との比を計算することにより、下記式（５）；
ｅ＝||Ｒ_２−Ｒ_１||／||Ｇ_１Ｇ_２|| (5)
により、狭視野カメラ３０による画像の拡大率ｅを算出する。なお、予め角膜球半径ｄの値を7.7ｍｍと与えたが、上記式(5)から分かるように、上記式(4)中のｄ（角膜球半径）の誤差はｅで補償されるため，結果的にｄは任意の正の値に設定されていても良いことになる。

【0052】

（視線方向の検出）
注視点算出部４５は、瞳孔／角膜反射座標算出部４３によって算出された瞳孔中心の画像上の座標及び２つの角膜反射のうちの少なくとも１つの角膜反射の画像上の座標と、拡大率算出部４４によって算出された拡大率ｅとを基に、対象者の視線方向を検出する。一例として、注視点算出部４５は、瞳孔中心の画像上の座標、及び２つの角膜反射のうち処理対象の画像データが取得された狭視野カメラ３０に取り付けられた光源３３に対応する角膜反射の画像上の座標を用いて、視線方向を検出する。他の例として、注視点算出部４５は、瞳孔中心の画像上の座標、及び２つの角膜反射の画像上の座標を用いて、視線方向を検出することもできる。図７は、注視点算出部４５による１つの角膜反射を用いた視線方向の検出原理を説明するための概念図である。このような視線方向の算出は、狭視野カメラ３０_Ｌから取得された画像データを基にした差分画像を対象に実行される一方で、狭視野カメラ３０_Ｒから取得された画像データを基にした差分画像を対象にも実行される。図７に示すように、瞳孔中心の３次元位置Ｐに基づいて、狭視野カメラ３０の開口部３２の中心を原点Ｏとし、その原点Ｏと瞳孔中心Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’−Ｙ’を考える。ここで、Ｘ’軸は、世界座標系のＸ_Ｗ−Ｚ_Ｗ平面と仮想視点平面との交線に相当する。

【0053】

詳細には、注視点算出部４５は、画像面Ｓ_Ｇにおける角膜反射Ｇから瞳孔中心Ｐまでの角膜反射−瞳孔ベクトルｒ_Ｇを算出する。このとき、２つの角膜反射Ｇ_１，Ｇ_２のうちから処理対象の狭視野カメラ３０に取り付けられている光源３３によるものを選択し、選択した角膜反射の画像上の位置を角膜反射Ｇの位置とする。そして、注視点算出部４５は、その角膜反射−瞳孔ベクトルｒ_Ｇに、拡大率算出部４４によって算出された拡大率ｅを乗ずることにより、カメラの画像拡大率に対応して実寸に換算された角膜反射−瞳孔ベクトルｒに変換する。このとき、各狭視野カメラ３０をピンホールモデルと考え、角膜反射Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’−Ｙ’と平行な平面上にあると仮定する。つまり、注視点算出部４５は、仮想視点平面Ｘ’−Ｙ’と平行であって瞳孔中心Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標を角膜反射−瞳孔ベクトルｒとして算出し、この角膜反射−瞳孔ベクトルｒは角膜反射点Ｇから瞳孔中心Ｐまでの実距離を表す。

【0054】

続いて、注視点算出部４５は、対象者Ａの仮想視点平面上の注視点Ｔに関して、直線ＯＴの水平軸Ｘ’に対する傾きφが、角膜反射−瞳孔ベクトルｒの画像面上の水平軸Ｘ_Ｇに対する傾きφ’と等しいと仮定する。さらに、注視点算出部４５は、対象者Ａの視線ベクトル、すなわち、瞳孔中心Ｐと注視点Ｔとを結ぶベクトルＰＴと、基準線ＯＰとの成す角θを、ゲイン値ｋを含むパラメータを使った下記式（６）により計算する。
θ＝ｆ_１（ｒ）＝ｋ×｜ｒ−ｒ_０｜ (6)

【0055】

このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上の角膜反射−瞳孔ベクトルｒを仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われる。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離｜ｒ−ｒ_０｜との間で線形関係を有すると仮定する。ここで、ｒ_０は、予め設定された原点補正ベクトルである。一般に人の視軸（瞳孔中心および中心窩を通る軸）と光軸（角膜からレンズの中心へと延びる法線）とはずれかあり、カメラを注視した際にも角膜反射と瞳孔中心とは一致しない。原点補正ベクトルｒ_０は、角膜反射−瞳孔ベクトルｒにおけるそのようなずれを補正するために用いられる。

【0056】

角度θと距離｜ｒ−ｒ_０｜とは線形近似できるという仮定、および二つの傾きφ，φ’が等しいという仮定を利用することで、（θ，φ）と（｜ｒ−ｒ_０｜，φ’）とを１対１に対応させることができる。さらに、注視点算出部４５は、狭視野カメラ３０の開口部３２の中心に設定された原点Ｏと、仮想視点平面上の注視点Ｔとを結ぶベクトルＯＴを角度φ，θを用いて計算する。最後に、注視点算出部４５は視線ベクトルＰＴと視対象平面（ディスプレイ装置５０の表示面）との交点である注視点Ｑを次式（７）で求める。
Ｑ＝αＰＴ＋Ｐ (7)

【0057】

以上説明した視線検出装置１、及びそれを用いた視線検出方法によれば、狭視野カメラ３０によって撮像された対象者の眼の画像を基に、２つの光源３３による２つの角膜反射の画像上の座標が検出され、それらの画像上の座標と、別途検出された対象者の瞳孔中心の３次元座標とを基に、狭視野カメラ３０による画像の拡大率ｅが算出される。そして、算出した拡大率ｅと、対象者の瞳孔中心の画像上の座標と、２つの角膜反射のうちの少なくとも１つの角膜反射の画像上の座標とを基に対象者の視線の方向が算出される。これにより、狭視野カメラ３０によって画像が取得された際の画像の拡大率を正確に計算することができ、その画像と拡大率を用いることで精度よく対象者の視線の方向を算出することができる。その結果、ズーム機能を備えたカメラを用いた際に視線方向を精度よく検出することができる。

【0058】

ズーム調整機能及びオートフォーカス機能を備えたカメラを用いて視線方向を検出する場合には、ズーム調整機能及びオートフォーカス機能を制御する２つの制御電圧とズームレンズの拡大率との関係を予め測定しておく方法もある。そして、２つの制御電圧をモニタして予め測定した関係を用いることでズームレンズの拡大率を測定することもできる。しかし、この方法を用いた場合は、画像取得時刻と制御電圧の測定タイミングとの間に時間的ずれが生じ、その結果、測定した拡大率に誤差が生じる。また、２つの機能は別々に動作しているため、２つの制御電圧によって測定したズームレンズの拡大率は実際とは異なり誤差を生じる場合がある。さらに、仮にズーム調整機能の制御電圧の時間的ずれを無くすことができても、オートフォーカス機能の制御電圧の時間的ずれがあれば、正確な拡大率を測定することはできない。その結果、注視点検出の精度が低下してしまう傾向にある。これに対して、本実施形態では、注視点の検出処理の対象となる画像を取得したタイミングでの画像の拡大率を正確に算出することができるので、高精度の注視点検出を実現することができる。

【0059】

ここで、本実施形態では、画像処理装置４０は、２つの角膜反射の座標の間の画像上距離と、２つの光源３３の位置と対象者の瞳孔中心の３次元座標とから計算される実寸距離との比を計算することにより、狭視野カメラ３０による画像の拡大率を算出する。このようにすることで、狭視野カメラ３０によって画像が取得された際の画像の拡大率を正確に計算することができる。

【0060】

また、本実施形態では、２つの光源３３は、２つの光源３３を結ぶ線が狭視野カメラ３０を通るように配置されているので、２つの角膜反射の画像上の座標と対象者の瞳孔中心の３次元座標とを用いた拡大率の計算が単純化される。その結果、算出される画像の拡大率の正確性を向上させることができる。

【0061】

次に、本実施形態の視線検出装置１による注視点の検出結果を比較例と比較しつつ示す。図８は、複数のフレーム毎に連続して検出された注視点のＸ軸方向（水平方向）の座標の検出値を示しており、本実施形態による検出値と、拡大率の検出のために制御電圧を用いた比較例による検出値とを示している。図８（ａ）には、被験者Ａを対象にした検出値を示し、図８（ｂ）には、被験者Ｂを対象にした検出値を示している。また、図９には、被験者Ａ，Ｂを対象にして９点を注視させた際の、注視点のＸ軸方向（水平方向）座標の標準偏差の平均と、注視点のＹ軸方向（垂直方向）座標の標準偏差の平均とを、本実施形態及び比較例に関して示している。

【0062】

これらの検出結果に示すように、被験者Ａの検出値は、比較例では注視点座標が中期的に大きく振動しているのに対して、本実施形態では注視点座標の振動が小さく抑えられている。被験者Ｂの検出値に関しては、本実施形態と比較例との間で振動状態に大きな差は無かったが、本実施形態における検出値がより安定して一定の座標を示していることが分かった。また、本実施形態では比較例に比較して検出値の標準偏差が小さく抑えられていることもわかった。

【0063】

カメラの電動ズームレンズが常に動作している場合は、そのカメラから取り込んだ画像は対象者が前後に頭部の移動を繰り返しているように映る。これは、ズームの制御電圧及びフォーカスの制御電圧が理想的な電圧値に対して誤差がある状態で停止したり、理想的な電圧値を超えて停止したりするからである。また、電動ズームレンズのズームの制御電圧及びフォーカスの制御電圧と画像の拡大率との関係が常に適切な関係になっているとは限らず、フォーカスが変わってしまうことで拡大率も変化してしまうことも考えられる。比較例では、画像から得られる拡大率ではなく、制御電圧から誤差のある拡大率を求めてしまうことで、注視点座標の振動及び標準偏差が大きくなったと予想される。これに対して、本実施形態では、画像から得られる情報から拡大率を求めているため、振動及び標準偏差を小さくすることができると考えられる。

【0064】

本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。

【0065】

例えば、視線検出装置１は、対象者検出装置２０を除いた構成が採用されてもよい。この場合は、画像処理装置４０は、広視野カメラ１０によって検出された瞳孔中心の３次元座標から対象者の頭部の３次元座標を求めてもよい。

【0066】

また、視線検出装置１は、広視野カメラ１０を除いた構成が採用されてもよい。その場合は、対象者の瞳孔中心の３次元座標を検出するためのステレオカメラとして狭視野カメラ３０が代用されてもよい。その場合、カメラの方向を、高速かつ高精度に検出できる角度センサがあればよい。

【0067】

また、視線検出装置１は、狭視野カメラ３０を２台備える必要は無く１台のみ備えていてもよい。この場合は、狭視野カメラ３０の開口部３２近傍に設けられた一方の光源３３と、狭視野カメラの開口部３２から水平方向に離れて配置された他方の光源３３とを備えていれば、狭視野カメラ３０による画像の拡大率を算出することができる。この他方の光源３３は、２つの発光素子３３ａ，３３ｂのうちいずれかにより構成されていればよい。

【0068】

さらに、視線検出装置１においては、２つの光源３３及び狭視野カメラ３０が水平方向に並んで配置される構成には限定されず、垂直方向に並んで配置されていてもよいし、斜めに並んで配置されてもよい。この場合も、２つの角膜反射の画像上の座標と対象者の瞳孔中心の３次元座標とを用いた拡大率の計算が単純化される。図１０〜１５には、光源の配置の変形例を示している。

【0069】

図１０に示す配置例では、光源３３が取り付けられた２台のカメラ３０の下方の両カメラ３０から等距離の位置に補助光源３３ｃが設けられる。このような補助光源３３ｃを光源３３と同時に点灯させてカメラ３０で画像を取得するように制御する。このようにすることによって、仮に一方のカメラ３０の画像において他方のカメラ３０に取り付けた光源３３の角膜反射が検出できなくても、補助光源３３ｃの角膜反射と一方のカメラ３０自体に取り付けた光源３３の角膜反射との間の距離を利用することで、画像の拡大率ｅが算出できる。カメラ３０が１台の場合もこのような補助光源３３ｃを利用することで画像の拡大率ｅが算出できる。特に、正面から対象者の顔を写す場合には、まつげが角膜反射に重なることが多いため、一つの角膜反射が検出できなくても、別の角膜反射が検出できれば、拡大率ｅを検出できる。従って、このように光源の数を増やすことは有効である。図１０に示すように、光源３３を取り付けたカメラ３０どうしの距離と、カメラ３０と別途設けた補助光源３３ｃとの間の距離は、異なっていてもよい。

【0070】

また、図１１に示すように、光源３３を取り付けた２台のカメラ３０と同一直線上に、任意の数の補助光源３３ｄ，３３ｅを配置してもよい。この場合も、カメラ３０に取り付けた光源といずれかの補助光源３３ｄ，３３ｅとを同時に点灯させ、その際に撮像された画像上の２つの角膜反射間の距離を利用すればよい。

【0071】

さらに、図１２〜１５に示すように２台のカメラ３０に対する補助光源３３ｆ〜３３ｑの配置は様々な態様を取りうるし、補助光源の個数は様々変更され得る。また、カメラ３０の台数も２台以上であってもよい。

【0072】

また、視線検出装置１においては、狭視野カメラ３０に取り付けられた光源３３は必須ではなく、狭視野カメラ３０に離れて配置された２以上の光源を備えていてもよい。図１６及び図１７には、狭視野カメラ３０及び光源の配置の変形例を示している。図１６に示すように、２つの光源１３３ａ，１３３ｂを結ぶ直線上に、具体的には、２つの光源１３３ａ，１３３ｂの中点の位置に狭視野カメラ３０の光軸が通るように配置されている。また、図１７に示すように、光源１３３ｃ，１３３ｄの組、及び光源１３３ｅ，１３３ｆの組が、それらを結ぶ直線が斜めに狭視野カメラ３０の光軸を通るように、より具体的にはそれらの中点が狭視野カメラ３０の光軸を通るように配置されていてもよい。このような光源１３３ｃ，１３３ｄの組、及び光源１３３ｅ，１３３ｆの組は、それらの組の２つの光源間の距離が異なるように配置されていてもよい。

【0073】

上記の光源の配置例を採用した場合においても、画像処理装置４０の拡大率算出部４４は、画像の拡大率ｅを算出することができる。図１８に示すように、狭視野カメラ３０の光軸から等距離の位置に２つの光源Ｎ_３，Ｎ_４が配置されているとする。２つの光源Ｎ_３，Ｎ_４の組は、図１６の２つの光源１３３ａ，１３３ｂの組、図１７の光源１３３ｃ，１３３ｄの組、又は光源１３３ｅ，１３３ｆの組に相当する。

【0074】

狭視野カメラ３０から見た光源Ｎ_３と光源Ｎ_４の角膜反射の位置をそれぞれＲ_３とＲ_４とすると、角膜反射Ｒ_３は狭視野カメラ３０と角膜球中心Ｃを通る直線と光源Ｎ_３と角膜球中心Ｃを通る直線の二等分線上に存在する。同様に、角膜反射Ｒ_４は狭視野カメラ３０と角膜球中心Ｃを通る直線と光源Ｎ_４と角膜球中心Ｃを通る直線の二等分線上に存在する。ただし、狭視野カメラ３０と対象者との距離がある程度大きく、||ＣＮ_３||=||ＣＭ||、かつ||ＣＮ_４||=||ＣＭ||の関係が成立するとする。Ｍは、狭視野カメラ３０の３次元位置である。このとき、それら二等分線の単位方向ベクトルをそれぞれ、ｎ_３及びｎ_４とすると、角膜反射Ｒ_３，Ｒ_４は、下記式（８）、（９）
Ｒ_３＝Ｃ＋ｄ・ｎ_３ (8)
Ｒ_４＝Ｃ＋ｄ・ｎ_４ (9)
と表せる。

【0075】

拡大率算出部４４は、式（１）と同様にして、下記式（１０）、（１１）を用いて単位方向ベクトルｎ_３，ｎ_４を算出する。

【数5】

【数6】

そして、||ＣＮ_３||=||ＣＮ_４||とみなすことにより、拡大率算出部４４は、下記式（１２）を用いて、２つの角膜反射間の距離を算出することができ、この距離を基に画像の拡大率ｅを計算できる。

【数7】

ここで、狭視野カメラ３０が角度的に光源Ｎ_３もしくは光源Ｎ_４に近いときも同様に計算できる。つまり、狭視野カメラ３０の光軸が2つの光源を結ぶ直線上のどこにあったとしても、２つの角膜反射の間の距離は式（１２）で与えられることに変わりはない。

【0076】

さらに、図１６及び図１７の光源の配置例を採用した場合にも、画像処理装置４０の注視点算出部４５は、視線方向を検出することができる。すなわち、光源Ｎ_３，Ｎ_４による２つの角膜反射の画像上の座標を基に、狭視野カメラ３０に取り付けられたと仮定した光源の座標を推定することができる。詳細には、光源Ｎ_３，Ｎ_４による２つの角膜反射の中点座標を狭視野カメラ３０に取り付けられたと仮定した光源の座標として推定することができる。そして、注視点算出部４５は、推定した光源の座標を用いて、上述した視線方向の検出方法と同様にして、視線方向を検出することができる。ここでは、瞳孔を暗瞳孔画像から検出する方法が採用された場合に、２つの角膜反射も暗瞳孔画像から検出される。従って、狭視野カメラ３０に取り付ける光源が不要になるだけでなく、狭視野カメラ３０から離れた位置に光源を配置することで強い暗瞳孔効果が得られ瞳孔が検出しやすくなる。

【0077】

さらに、図１９には、光源の取り付けていない狭視野カメラ３０を２台使用する場合の光源の配置の他の変形例を示した。すなわち、２個の光源１３３ｇ、１３３ｈを結ぶ直線上に２台の狭視野カメラ３０が配置されている。この場合にも、視線を検出するためには、各狭視野カメラ３０毎に得られた画像から、各狭視野カメラ３０に光源が取り付けてあると仮定したときのその光源による角膜反射の出現位置を推定して、その位置を利用して視線を検出する。図１９の場合は、対象者から向かって左から、光源１３３ｇ、狭視野カメラ３０_Ｌ、狭視野カメラ３０_Ｒ、光源１３３ｈが等間隔に並べられている。例えば、左の狭視野カメラ３０_Ｌは２つの光源１３３ｇ，１３３ｈの間を１：２の比で分割した位置に配置されているため、検出される２つの角膜反射の間を２：１に内分する位置を画像上で求め、その位置を利用して視線検出に利用する。なお、狭視野カメラ３０はパンチルト機構３１に取り付けられており、その位置が変動する。画像処理装置４０の注視点算出部４５は、そのことを考慮して、視線を計算する際の狭視野カメラ３０の位置を求め、その位置に基づいた内分比を計算することにより、より高い精度で視線方向が得られる。

【0078】

また、図２０には、２つの光源Ｎ_３，Ｎ_４を結ぶ直線上に狭視野カメラ３０の光軸が存在するが、その光軸が２つの光源Ｎ_３，Ｎ_４の間から外側に位置している場合を図示している。この場合も、図１８の場合と同様に、上記式（１２）によって２つの角膜反射間の距離が算出できる。

【符号の説明】

【0079】

１…視線検出装置、１０，１０_Ｌ，１０_Ｒ…広視野カメラ、１２…開口部、１３…光源、３０，３０_Ｌ，３０_Ｒ…狭視野カメラ、３２…開口部、３３…光源、４０…画像処理装置、４１…カメラ／光源制御部、４２…瞳孔座標算出部（３次元位置検出手段）、４３…瞳孔／角膜反射座標算出部（視線算出手段）、４４…拡大率算出部（視線算出手段）、４５…注視点算出部（視線算出手段）、５０…ディスプレイ装置、Ａ…対象者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】