特許 7423005 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-19

(45)【発行日】2024-01-29

(54)【発明の名称】瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置

(51)【国際特許分類】

   G06F 3/038 20130101AFI20240122BHJP

【ＦＩ】

G06F3/038 310A

【請求項の数】 17

(21)【出願番号】P 2020084816

(22)【出願日】2020-05-13

(65)【公開番号】P2021179815

(43)【公開日】2021-11-18

【審査請求日】2023-03-02

【新規性喪失の例外の表示】特許法第３０条第２項適用 刊行物名 ヒューマンインタフェース学会研究報告集Ｖｏｌ．２２ Ｎｏ．３ 発行日 ２０２０年５月７日 発行所 ＮＰＯ法人ヒューマンインタフェース学会

(73)【特許権者】

【識別番号】504150450

【氏名又は名称】国立大学法人神戸大学

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】110000822

【氏名又は名称】弁理士法人グローバル知財

(72)【発明者】

【氏名】長松 隆

(72)【発明者】

【氏名】満永 彰吾

(72)【発明者】

【氏名】廣江 葵

(72)【発明者】

【氏名】梅田 民樹

(72)【発明者】

【氏名】陳 昌昊

(72)【発明者】

【氏名】中山 実

【審査官】酒井 優一

(56)【参考文献】

【文献】特開平０７－０２０９８７（ＪＰ，Ａ）

【文献】特開２０１９－２１５６８８（ＪＰ，Ａ）

【文献】特開２００６－３２３６１１（ＪＰ，Ａ）

【文献】特開２０１３－２４０４６９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０３５５８１５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３８

(57)【特許請求の範囲】

【請求項1】

眼球の光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度変化と瞳孔径変化との類似度合いから、実際に計測した瞳孔径変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、注視点を特定することを特徴とする視線計測用キャリブレーション方法。

【請求項2】

表示パネルに画像を表示するステップと、
眼球の光軸を計測するステップと、
眼球の瞳孔径を計測するステップと、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像の輝度の変化と、瞳孔径の変化との類似度合いから、注視点を特定し、前記交点に対する注視点の相対位置を算出するステップと、
算出した前記注視点の相対位置を用いて、眼球の視軸と光軸のカッパ角を算出するステップ、
を備える請求項１の視線計測用キャリブレーション方法。

【請求項3】

前記注視点の相対位置を算出するステップにおいて、
前記探索範囲内の画像の輝度の変化に基づき、瞳孔径の変化をシミュレートするステップを更に備え、
シミュレートした瞳孔径の変化と、計測した瞳孔径の変化との類似度合いから、注視点を特定することを特徴とする請求項２の視線計測用キャリブレーション方法。

【請求項4】

前記瞳孔径の変化をシミュレートするステップは、瞳孔筋系モデルを用いて輝度の変化に対する瞳孔径の変化をシミュレートすることを特徴とする請求項３の視線計測用キャリブレーション方法。

【請求項5】

前記注視点の相対位置を算出するステップにおいて、
前記類似度合いは、最大値と最小値で正規化した輝度の時系列データ及び瞳孔径の時系列データを動的時間伸縮法により算出することを特徴とする請求項２～４の何れかの視線計測用キャリブレーション方法。

【請求項6】

前記注視点の相対位置を算出するステップにおいて、
前記注視点の特定は、前記類似度合いが大きい順に前記注視点を１つ以上選定し、複数選定の場合には重み付け平均によって相対位置を算出することを特徴とする請求項２～５の何れかの視線計測用キャリブレーション方法。

【請求項7】

前記注視点の相対位置を算出するステップにおいて、
前記探索範囲内の画像は、眼球座標系における角膜曲率中心位置を基準として、前記交点から人のカッパ角の統計的な平均値に基づいて算出した範囲に存在する表示パネルの画像を、眼球の光軸が正面方向であるとして長方形の画像に変換したものであることを特徴とする請求項２～６の何れかの視線計測用キャリブレーション方法。

【請求項8】

前記カッパ角を算出するステップは、角膜曲率中心位置と前記交点の位置と前記注視点の相対位置とから、前記カッパ角を算出することを特徴とする請求項２～７の何れかの視線計測用キャリブレーション方法。

【請求項9】

前記眼球の光軸を計測するステップは、
ユーザの眼球を撮影するために配置されたカメラ手段と光源手段を用いて、眼球の光軸を計測し、
前記表示パネルと前記カメラ手段と前記光源手段との位置関係が既知であることを特徴
とする請求項２～８の何れかの視線計測用キャリブレーション方法。

【請求項10】

請求項２の視線計測用キャリブレーション方法の各ステップを、コンピュータに実行させるための視線計測用キャリブレーションプログラム。

【請求項11】

請求項１０の視線計測用キャリブレーションプログラムを実行するコンピュータが搭載された携帯端末。

【請求項12】

請求項１０の視線計測用キャリブレーションプログラムを実行するコンピュータが搭載されたカメラ装置。

【請求項13】

表示パネルに画像を表示する画像表示手段と、
眼球の光軸を計測する光軸計測手段と、
眼球の瞳孔径を計測する瞳孔径計測手段と、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度の変化と、瞳孔径の変化との類似度合いから、実際に計測した瞳孔径の変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、注視点を特定し、前記交点に対する注視点の相対位置を算出する注視点位置算出手段と、
算出した前記注視点の相対位置を用いて、眼球の視軸と光軸のカッパ角を算出するカッパ角算出手段、
を備える視線計測用キャリブレーション装置。

【請求項14】

請求項１３の視線計測用キャリブレーション装置を備える視線計測装置であって、
前記カッパ角を用いて眼球の光軸から視軸を算出して、前記表示パネルの表示画像における注視点を特定することを特徴とする視線計測装置。

【請求項15】

表示パネルに画像を表示する画像表示手段と、
眼球の光軸を計測する光軸計測手段と、
眼球の瞳孔径を計測する瞳孔径計測手段と、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度の変化と、瞳孔径の変化との類似度合いから、実際に計測した瞳孔径の変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、前記表示パネルの表示画像における注視点を特定する注視点特定手段、
を備えることを特徴とする視線計測装置。

【請求項16】

請求項１３の視線計測用キャリブレーション装置を備えるカメラであって、
前記表示パネルは、カメラ内部の表示素子又はペンタミラーもしくはペンタプリズムの最終反射面であり、
前記表示パネルの画像は、前記表示素子に表示又はペンタミラーもしくはペンタプリズムに反射されるファインダ内視野像であり、
前記光軸計測手段は、ファインダの内側に設けられる眼球用撮像素子を備え、
前記カッパ角を用いて眼球の光軸から視軸を算出して、ファインダを覗く眼球の視線の先にあるファインダ内視野像における注視点を特定することを特徴とするカメラ装置。

【請求項17】

カメラであって、
カメラレンズで撮影した画像を、ファインダ内視野像として表示する表示素子、又は、複数回反射させファインダ内視野像とするペンタミラーもしくはペンタプリズムと、
カメラのファインダの内側に設けられる眼球用撮像素子を用いて眼球の光軸を計測する光軸計測手段と、
前記眼球用撮像素子を用いて眼球の瞳孔径を計測する瞳孔径計測手段と、
計測した光軸と前記表示素子又はペンタミラーもしくはペンタプリズムの最終反射面との交点の周囲で注視点が存在する可能性のある探索範囲内のファインダ内視野像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度の変化と、瞳孔径の変化との類似度合いから、実際に計測した瞳孔径の変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、前記ファインダ内視野像における注視点を特定する注視点特定手段、
を備えることを特徴とするカメラ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の輝度変化と瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、画像の輝度変化と瞳孔径変化を用いて自動キャリブレーションを行う視線計測装置及びカメラ装置に関するものである。

【背景技術】

【0002】

視線計測技術は、眼球の動きから人がどこを見ているかを推定する技術であり、コンピュータを操作するためのインタフェースの一種として非接触型の次世代ヒューマンインタフェースとして注目を集めている。視線計測技術を用いたヒューマンインタフェースが実現されると、ユーザの視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するといった、より直感的な機械の操作が可能になり、体の不自由な人でも視線を用いて機械を操作できるようになる。

【0003】

視線計測技術では、カメラと光源を用いて、ユーザの眼球に赤外線などの光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データをユーザの推定視線データとして検出する。かかる技術により算出される推定視線データと、実際のユーザの実視線データとの間には、ユーザごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、中心窩の位置に関する個人差など様々な要素がある。そこで、実視線データに対する推定視線データの誤差を補正するために、ユーザ毎の補正用パラメタを予め算出しておき、算出された推定視線データをこの補正用パラメタで補正するキャリブレーションと呼ばれる処理が行われる。キャリブレーションは、予め定められた複数のマーカをユーザに順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から補正用パラメタを算出する。

【0004】

従来の視線計測装置は、使用前にユーザが数点を意図的に注視するキャリブレーションが必要であるが、近年、３次元の眼球モデルを使用することにより、キャリブレーション時に意図的に注視する点を１点にまで減少させることができるようになっている（例えば、特許文献１を参照。）。しかしながら、依然として、通りすがりの人の視線や多人数の視線を計測するには、意図的注視を伴う各人のキャリブレーションを行わなければならず、利用が困難であった。キャリブレーションを自動化・簡略化することができれば、広告や商品の陳列棚における不特定多数の視線計測や幼児や動物のようにキャリブレーションをさせることが難しい対象の視線計測といった、より多くの場面で視線計測技術を活用することが期待できる。キャリブレーション時の意図的な１点の注視を無くし、キャリブレーションの自動化が求められているのである。

【0005】

本発明者である長松は、両眼の光軸を計測し、ディスプレイ画面上で左右の眼球の視軸が交差するという拘束条件を付加することにより、ユーザにマーカを注視させる必要がない、すなわち、キャリブレーションが不要（キャリブレーションフリー）な自動キャリブレーションの視線計測装置を提案した（特許文献２を参照）。
特許文献２に開示された視線計測装置は、ディスプレイ画面を見ているユーザについて、光源からの光が反射した眼球画像をカメラで取得し、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、光軸と視軸との間のずれに基づき、光軸から視軸を求め、ユーザの画面上での注視点を、画面と視軸の交点として算出する。

【0006】

また、本発明者である長松と廣江は、表示パネルの画像においてユーザが注意を向ける可能性が高いものを注視しているとする仮定を設け、眼球の光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を注視点として、カッパ角を自動的に計測する自動キャリブレーションの視線計測装置を提案した（特許文献３を参照）。
特許文献３に開示された視線計測装置は、ディスプレイ上の特定の場所を見ているという仮定を設けていないので、その仮定が間違ってしまう場合でも、正しく計算できるといった利点を有するものである。

【0007】

一方で、視線計測機能を有するカメラ装置において、被写体を精度よく認識しつつ、かつ注視位置のキャリブレーションの自動化が図られた装置が知られている（特許文献４を参照）。特許文献４に開示された装置では、ユーザに通常の撮像動作以外の特定の意図的注視の動作を行わせることなく、カメラが自動的に推定注視点と実際の注視点の位置の差異を判断し、自動キャリブレーションを行う。特許文献４に開示された自動キャリブレーションでは、ユーザの撮像動作中のユーザの注視点の特定については、動く被写体を撮像する場合に、表示素子上に表示される被写体の動きをユーザが視線で追っているか否かを判定し、追っていると判定されれば、実際の注視点は被写体であると特定するものである。そして、視線で動く被写体を追っているか否かの判定は、被写体の動きベクトルと眼球画像から得られる推定注視点の移動ベクトルを比較し、一致度合いを判定することにより行う。
特許文献４に開示された装置では、動く被写体を撮像する場合にキャリブレーションが可能であるといった制約があり、景色や静止した物などの被写体を撮像する場合には、自動キャリブレーションが行えないといった問題がある。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２００７－１３６０００号公報

【文献】特開２００９－２９７３２３号公報

【文献】特開２０１９－２１５６８８号公報

【文献】特開２０１９－１２９４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

上述のとおり、視線計測において、キャリブレーション時の意図的な１点の注視を無くし、特に他の制約がなく、自動キャリブレーションが行える技術が求められている。
かかる状況に鑑みて、本発明は、ユーザによる意図的注視が必要なく、ユーザがどこかを注視しなくても自動的にキャリブレーションを行うことができる視線計測用キャリブレーション方法、自動キャリブレーションを備えた視線計測装置およびカメラ装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決すべく、本発明の視線計測用キャリブレーション方法は、眼球の光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像の輝度変化と瞳孔径変化との類似度合いから注視点を特定することを特徴とする。
具体的には、本発明の視線計測用キャリブレーション方法は、表示パネルに画像を表示するステップと、眼球の光軸を計測するステップと、眼球の瞳孔径を計測するステップと、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像の輝度の変化と、瞳孔径の変化との類似度合いから、注視点を特定し、上記の交点に対する注視点の相対位置を算出するステップと、算出した注視点の相対位置を用いて、眼球の視軸と光軸のカッパ角を算出するステップを備える。

【0011】

本発明によれば、ユーザによる意図的注視が必要なく、また、表示パネルの画像においてユーザが注意を向ける可能性が高いものを注視しているとする仮定を用いることなく、瞳孔径が注視対象の明るさに応じて変化することを用いて自動キャリブレーションを可能にする。すなわち、本発明では、上記のような仮定を設けるのではなく、実際に計測した瞳孔径の変化と相関がある輝度変化を行う画像を探索することにより、注視点を求め、眼球の視軸と光軸のズレ角であるカッパ（κ）角を算出し、自動的にキャリブレーションを行う。

【0012】

眼球の光軸を計測するステップは、既に知られた眼球の光軸計測手法を用いることができる。例えば、ユーザの前面に２台のカメラと２つの光源を設置し、左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径と、角膜曲率中心と瞳孔中心との距離を取得することにより、角膜曲率中心位置と瞳孔中心位置を算出して光軸を計測することができる。
画像を表示するステップは、ユーザの前面にある表示パネルに画像を表示するものであり、表示画像は、ユーザに意図的に注視させるマーカである必要はなく、建造物や人や動物の写真、イラストの画像であり、静止画や動画でもよい。自動キャリブレーションでありながら、１つの画像からユーザ固有のカッパ角を算出できるだけではなく、複数の画像や時間経過に伴う複数の探索範囲を用いてカッパ角を算出することができるため、ノイズに対してロバスト性がある。

【0013】

本発明の視線計測用キャリブレーション方法の上記注視点の相対位置を算出するステップにおいて、探索範囲内の画像の輝度の変化に基づき、瞳孔径の変化をシミュレートするステップを更に備え、シミュレートした瞳孔径の変化と、計測した瞳孔径の変化との類似度合いから、注視点を特定することでもよい。ここで、瞳孔径の変化をシミュレートするステップは、瞳孔筋系モデルを用いて輝度の変化に対する瞳孔径の変化をシミュレートする。瞳孔筋系モデルとは、瞳孔制御に関連する瞳孔筋系の動力学モデルであり、例えば、平田らが提唱する瞳孔筋系を形成する２種の拮抗筋（縮瞳筋、散瞳筋）の非線形動力学モデルを適用できる。平田らが提唱する瞳孔筋系モデルについては、後述する。

【0014】

本発明の視線計測用キャリブレーション方法の上記注視点の相対位置を算出するステップにおいて、類似度合いは、最大値と最小値で正規化した輝度の時系列データ及び瞳孔径の時系列データを動的時間伸縮法（Dynamic Time Warping；DTW）により算出することが好ましい。ＤＴＷは、時系列データのペアに関する非類似度計算法であり（ここで、ＤＴＷの値が小さいものほど類似している場合は、非類似度という）、時系列データにおける１点のデータをもう片方の時系列データにおける複数点のデータに対応付けることができるため、時間方向の非線形な伸縮を許容できる。したがって、ＤＴＷを類似度合いの計測に用いることにより、計測値数が異なる時系列データ同士にも適用でき、結果がより人間の直観に合致する。また、ＤＴＷは、時間のズレを許容できるため、瞳孔径の変化が画像の輝度変化に遅れることにも対応できるといった点で優れている。

【0015】

なお、類似度合いの算出法としては、ＤＴＷの他に、ユークリッド距離や自己回帰係数距離（ＡＲ距離）やEdit Distance on Real sequences（ＥＤＲ距離）を用いることもできる。ユークリッド距離を採用する場合、ユークリッド距離は同じ時刻の値を比較するので、輝度変化に遅れて瞳孔径が変化することを考慮し、瞳孔径の時系列データは所定の時間遅延させたデータ値を用いることが好ましい。ＥＤＲ距離は、ＤＴＷに編集距離の考え方を取り入れており、ノイズに強く、２点間に定義された尺度がある閾値以上の場合に距離が１増加するような距離関数を定義している。但し、ＥＤＲは、ＤＴＷと異なり詳細な距離の差を考慮できない。

【0016】

本発明の視線計測用キャリブレーション方法の上記注視点の相対位置を算出するステップにおいて、注視点の特定は、類似度合いが大きい順に、注視点を１つ以上選定する。複数選定の場合には、重み付け平均によって相対位置を算出する。

【0017】

本発明の視線計測用キャリブレーション方法の上記注視点の相対位置を算出するステップにおいて、探索範囲内の画像は、眼球座標系における角膜曲率中心位置を基準として、交点から人のカッパ角の統計的な平均値に基づいて算出した範囲に存在する表示パネルの画像を、眼球の光軸が正面方向であるとして長方形の画像に変換したものであることが好ましい。
日本人の典型的な成人の場合、視軸（眼球の中心窩と注視点を結ぶ軸）は、眼球の光軸から、鼻に向かって水平方向に約４～５°、垂直方向に約１．５°下にずれていることが統計的な平均値として知られている。そのため、水平方向は、右眼が－７～３°の範囲、左眼が－３～７°の範囲とし、垂直方向は、右眼と左眼の双方共に－３～３°の範囲とし、探索範囲として設定することができる。探索範囲は、左右それぞれの眼の計測した光軸と表示パネルとの交点を取り囲み、光軸に垂直な面で矩形の範囲で、縦横の長さは眼球と表示パネルの距離と上記の角度範囲から決定される。

【0018】

本発明の視線計測用キャリブレーション方法の上記カッパ角を算出するステップは、角膜曲率中心位置と、光軸と表示パネルとの交点の位置と、注視点の相対位置とから、カッパ角を算出する。それぞれの位置の３次元座標としては、眼球座標系、カメラ座標系などの３次元座標系を用いる。

【0019】

本発明の視線計測用キャリブレーション方法の上記眼球の光軸を計測するステップは、ユーザの眼球を撮影するために配置されたカメラ手段と光源手段を用いて、眼球の光軸を計測する。ここで、表示パネルとカメラ手段と光源手段との位置関係が既知である。例えば、矩形のディスプレイやタブレット端末のような表示パネルの周縁部に、光軸計測のためのカメラと光源が設けられる場合は、表示パネルとカメラ手段と光源手段との位置関係が既知であるといえる。

【0020】

また、表示パネルは、ユーザの顔に取り付けるゴーグル型の表示パネル、メガネレンズに相当する部分に表示パネルを設けたメガネ型の表示パネルでもよい。ゴーグル型やメガネ型の表示パネルの場合、表示パネルの周縁部に、光軸計測のためのカメラと光源が設けられる。

【0021】

光軸を計算するためには、実空間における３次元的な光源位置と、眼球画像上での光源の反射像であるプルキニエ像の位置を対応付ける必要があるが、光源手段が複数存在する場合、光源手段が角膜に複数反射しているが、このような場合は、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。例えば、光源の照射光の形状を光源毎にユニークなものにより光源手段を判別する。また、光の色（可視光波長のみならず赤外線波長も含む）によって光源手段を判別することでもよい。

【0022】

本発明の視線計測用キャリブレーションプログラムは、上述した本発明の視線計測用キャリブレーション方法の各ステップを、コンピュータに実行させるためのものである。
本発明の視線計測用キャリブレーションプログラムを実行するコンピュータは、スマートフォンやタブレット端末、カメラ付きノート型ＰＣ端末などの携帯端末、並びに、デジタルカメラや一眼レフカメラなどのカメラ装置に搭載できる。

【0023】

本発明の視線計測用キャリブレーション装置は、表示パネルに画像を表示する画像表示手段と、眼球の光軸を計測する光軸計測手段と、眼球の瞳孔径を計測する瞳孔径計測手段と、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像の輝度の変化と、瞳孔径の変化との類似度合いから、注視点を特定し、前記交点に対する注視点の相対位置を算出する注視点位置算出手段と、算出した前記注視点の相対位置を用いて、眼球の視軸と光軸のカッパ角を算出するカッパ角算出手段、を備える。上記注視点位置算出手段において、類似度合いは、最大値と最小値で正規化した輝度の時系列データ及び瞳孔径の時系列データを動的時間伸縮法により算出することが好ましい。

【0024】

本発明の第１の観点の視線計測装置は、本発明の視線計測用キャリブレーション装置を備え、算出されたカッパ角を用いて眼球の光軸から視軸を算出して、表示パネルの表示画像における注視点を特定する。

【0025】

本発明の第２の観点の視線計測装置は、表示パネルに画像を表示する画像表示手段と、眼球の光軸を計測する光軸計測手段と、眼球の瞳孔径を計測する瞳孔径計測手段と、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像の輝度の変化と、瞳孔径の変化との類似度合いから、表示パネルの表示画像における注視点を特定する注視点特定手段を備える。

【0026】

本発明の第１の観点のカメラ装置は、本発明の視線計測用キャリブレーション装置を備えるカメラであって、表示パネルは、カメラ内部の表示素子又はペンタミラーもしくはペンタプリズムの最終反射面であり、表示パネルの画像は、カメラ内部の表示素子に表示又はペンタミラーもしくはペンタプリズムに反射されるファインダ内視野像であり、光軸計測手段は、ファインダの内側に設けられる眼球用撮像素子を備え、算出したカッパ角を用いて眼球の光軸から視軸を算出して、ファインダを覗く眼球の視線の先にあるファインダ内視野像における注視点を特定する。
ここで、ファインダ内視野像とは、カメラレンズによる撮影画像を、カメラ内部の表示素子に表示した像の内、ファインダ内視野に入る像をいう。或いは、カメラレンズによる撮影画像を、ミラーを介してペンタミラー又はペンタプリズムで複数回反射させ、最終反射面の反射像の内、ファインダ内視野に入る像をいう。
ファインダ内視野像の輝度は、表示素子の場合は表示画像の輝度から求めることができ、またペンタミラー又はペンタプリズムの場合は、カメラレンズによる撮影画像の輝度から求めることができる。

【0027】

本発明の第２の観点のカメラ装置は、カメラであって、カメラレンズで撮影した画像を、ファインダ内視野像として表示する表示素子、又は、複数回反射させファインダ内視野像とするペンタミラーもしくはペンタプリズムと、カメラのファインダの内側に設けられる眼球用撮像素子を用いて眼球の光軸を計測する光軸計測手段と、眼球用撮像素子を用いて眼球の瞳孔径を計測する瞳孔径計測手段と、計測した光軸と表示素子又はペンタミラーもしくはペンタプリズムの最終反射面との交点の周囲で注視点が存在する可能性のある探索範囲内のファインダ内視野像の輝度の変化と、瞳孔径の変化との類似度合いから、ファインダ内視野像における注視点を特定する注視点特定手段を備える。ファインダ内視野像とその輝度については、第１の観点のカメラ装置と同様である。

【発明の効果】

【0028】

本発明の視線計測用キャリブレーション方法及び装置によれば、ユーザによる意図的注視が必要なく、ユーザがどこかを注視しなくても自動的にキャリブレーションを行うことができるといった効果がある。
本発明の視線計測装置によれば、ユーザによる意図的注視を必要とせず、表示パネルの表示画像における注視点を特定することができる。また、本発明のカメラ装置によれば、ユーザによる意図的注視を必要とせず、ファインダ内視野像における注視点を特定することができる。

【図面の簡単な説明】

【0029】

【図1】視線計測用キャリブレーション方法の処理フロー図

【図2】注視点特定ステップのフロー図

【図3】視線計測用キャリブレーション装置の機能ブロック図

【図4】注視点位置算出手段の機能ブロック図

【図5】表示パネルの周囲に設けられた２つのＬＥＤ素子と２台のカメラのイメージ図

【図6】眼球の３次元モデルの説明図

【図7】探索範囲の説明図

【図8】リスティングの法則の説明図

【図9】ホモグラフィ変換の説明図

【図10】瞳孔径と画像輝度の時系列データの比較の概念図

【図11】探索範囲の画像変換・サイズ縮小化の説明図

【図12】探索範囲の各画素輝度と瞳孔径の時系列データとの比較の概念図

【図13】動的時間伸縮法（ＤＴＷ）の説明図

【図14】カッパ角の算出精度の実験結果のグラフ

【図15】探索範囲の各画素輝度から瞳孔径の変化をシミュレートした時系列データと計測された瞳孔径の時系列データとの比較の概念図（実施例２）

【図16】実施例２の注視点特定ステップのフロー図

【図17】実施例３のカメラ装置の概略構成図

【発明を実施するための最良の形態】

【0030】

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

【実施例1】

【0031】

本発明の視線計測用キャリブレーション方法と装置の一実施態様について、処理フロー（図１及び図２）、機能ブロック（図３及び図４）を参照して説明する。
本発明の視線計測用キャリブレーション方法は、図１のフローに示すとおり、表示パネルに画像を表示し（画像表示ステップＳ０１）、眼球の光軸を計測し（光軸計測ステップＳ０２）、眼球の瞳孔径を計測し（瞳孔径計測ステップＳ０３）、光軸と表示パネルとの交点の周囲の探索範囲内の画像を取得する（探索範囲内画像取得ステップＳ０４）。なお、Ｓ０２とＳ０３のステップでは、計測用のカメラを共通化でき、またステップ順序が入れ替わってもよい。
そして、ステップＳ０２～ステップＳ０４を繰り返し行い、探索範囲内画像の時系列データと瞳孔径の時系列データを取得する（時系列データ取得ステップＳ０５）。ある一定時間が経過するか、或いは、瞳孔径の変動があるまで繰り返す。繰り返しの後、取得した探索範囲内画像の輝度と瞳孔径の時系列データを比較し、輝度の変化と瞳孔径の変化との類似度合いから注視点を特定する（注視点特定ステップＳ０６）。その後、光軸と表示パネルとの交点に対する注視点の相対位置を算出し（注視点位置算出ステップＳ０７）、注視点の相対位置を用いて眼球の視軸と光軸のカッパ角を算出する（カッバ角算出ステップＳ０８）。

【0032】

（光軸計測ステップＳ０２）
光軸計測ステップＳ０２では、図５に示すように、表示パネルの周囲に設けられた２つのＬＥＤ光源（１１ａ，１１ｂ）と２台のカメラ（１０ａ，１０ｂ）を用いて計測を行う。なお、眼球の光軸を計測できれば、１つのＬＥＤ光源と１台のカメラであっても構わない。眼球の光軸は、図６に示すような角膜３ａを球面に近似した眼球の３次元モデルを用いるモデルベースの光軸計測技術が知られている。モデルベースの光軸計測技術によれば、位置が既知であるカメラ２台と光源２を用いて眼球の幾何学的な中心軸である眼球の光軸２をキャリブレーション無しで算出することができる。このモデルベースの光軸計測技術については、上述の特許文献３（特開２０１９－２１５６８８号公報）の段落００３７～００６２に詳述しているので、本明細書での説明は割愛する。

【0033】

（瞳孔径計測ステップＳ０３）
瞳孔径計測ステップＳ０３では、ＬＥＤ素子は不要であり、２台以上のカメラを用いたステレオ計測により瞳孔径を計測する。画像表示ステップＳ０１において、表示パネルに表示される画像は特に限定されないが、表示画像において暗い部分と明るい部分が混在する画像を用いるのがよい。なお、表示画像は、動画像であっても静止画像であってもよい。
瞳孔径の時系列データを取得することにより、瞳孔径の変化を捉えることができる。なお、瞳孔径は注視している対象の明るさ（画像輝度）だけでなく、精神的な要因によっても変化するが、本発明では、瞳孔径の変化は、明るさ（画像輝度）にのみ起因するものとしている。

【0034】

（探索範囲内画像取得ステップＳ０４）
探索範囲内画像取得ステップＳ０４では、眼球の光軸と表示パネルとの交点の周囲の探索範囲内の画像を切り出して取得する。眼球の視軸は、眼球の光軸から限られた範囲内に存在する。図６に示すように、探索範囲７は、表示パネル５に表示された画像と光軸２との交点６の周囲で注視点９（視軸８と表示パネル５との交点）が存在する可能性のある範囲の画像である。図７に示す複数の動物（猫）の画像が表示パネルに表示された場合を例に挙げて、注視点の探索範囲について説明する。図７の猫の画像上に、時間ｉにおける眼球の光軸と表示パネルとの交点（図中、十字マーカ）、時間ｉにおける眼球の光軸周りの注視点の探索範囲（図中、矩形枠）、時間ｉから眼球が回転した後の時間ｊにおける眼球の光軸と表示パネルとの交点、時間ｊにおける眼球の光軸周りの注視点の探索範囲を表す。眼球の光軸は、モデルベースの光軸計測技術により求めることができるので、探索範囲内の眼球の視軸と表示パネルとの交点（注視点）となる位置を求めることができれば、カッパ角を算出することができる。探索範囲内の画像は、眼球の３次元モデルにおける角膜曲率中心位置を基準として、交点から垂直方向について上下に３°、交点から水平方向について鼻側に７°及び耳側に３°の範囲に存在する表示パネルの画像を切り出す。
図７における時間ｉとｊのそれぞれの探索範囲から、時間ｉでは、ユーザが黒い猫を見ていたが、時間ｊでは、白い猫を見ていたことが予測できる。そして、時間ｉでは、ユーザが黒い猫を見ていたならば瞳孔が拡がり、一方、時間ｊでは、ユーザが白い猫をみていたならば瞳孔が縮小したことがわかる。

【0035】

ユーザの正面に配置された表示パネルから、探索範囲を長方形で切り出すと、実際に人間が見たものと異なる画像になってしまう。正確には透視投影された画像を人は見るが、斜め方向を見たときは、眼球はリスティングの法則に従って回転を行うということが知られている。リスティングの法則とは、眼球を回転させる場合、眼球が正面を向いている時の視軸に垂直な平面内の１軸を中心にして、視線は回転するという法則である。Ｖを視軸ベクトル、Ａを光軸ベクトル、カッパ角の水平方向成分をα、垂直方向成分をβとすると、光軸が正面を向いている時の視軸を計算する式は下記式１となる。推定するカッパ角の範囲の設定としてα、βにそれぞれ－７°または３°、±３°を代入し、光軸周りの切り出し範囲の４つの頂点の座標を算出する。

【0036】

【数1】

【0037】

図８に探索範囲にリスティングの法則を適用させた場合の様子を示す。光軸が表示パネルの正面を向いている状態（すなわち、光軸が表示パネルに対して垂直である状態）で、上記式１に、（α, β）＝（－７,３）、（３，３）、（３，－３）、（－７,－３）を代入したのが、図８中の長方形の４点（ａ，ｂ，ｃ，ｄ）である。この４点（ａ，ｂ，ｃ，ｄ）をリスティングの法則にしたがって回転させることにより、探索範囲の４頂点（ａ´，ｂ´，ｃ´，ｄ´）を求めることができる。なお、リスティングの法則は、視軸が正面を向いているときに成り立つ法則であるが、計算を簡略化するため光軸が正面を向いている場合で近似する。

【0038】

このように、光軸と表示パネルとの交点の周辺画像の４頂点を結んだ四角形は、図９の４頂点（ａ´，ｂ´，ｃ´，ｄ´）で表されるように長方形にはならないため、射影変換を用いてある平面を別の平面に射影するホモグラフィ変換（Homography Transform）を用いて、表示パネル上の四角形の画像（ａ´，ｂ´，ｃ´，ｄ´）を、光軸が表示パネルの正面であるときの光軸周辺の長方形（ａ，ｂ，ｃ，ｄ）の画像に変換する。

【0039】

（時系列データ取得ステップＳ０５）
時系列データ取得ステップＳ０５は、ステップＳ０２～ステップＳ０４を繰り返した後、探索範囲内画像の時系列データと瞳孔径の時系列データを取得する。瞳孔径計測ステップＳ０３により計測された瞳孔径は、時系列に並べられ、時系列データとして記憶される。また、探索範囲内画像取得ステップＳ０４により取得された探索範囲内の長方形の画像についても、時系列に並べられ、時系列データとして記憶される。
図１０に示すように、瞳孔径の時系列データと探索範囲内画像の時系列データを比較して、探索範囲内のその辺りの画像の輝度変化が、瞳孔径の輝度変化と一致するかを求めることにより、注視点の位置を推測するが、ここで、探索範囲内の長方形の画像は、計算を簡易化するため、それらの画像を図１１のようにｘ×ｙ（１０×６ピクセル）の大きさに縮小する。眼球が動き、光軸の向きが変わり、光軸と表示パネルとの交点位置が動く。眼球が動いたときの探索範囲内の画像の輝度の時系列データは、図１２に示すように画素毎に時系列データが存在し、下記式２により求められる。ここで、ｂ(ｘ，ｙ)_ｎは、時間ｎにおける画素（ｘ，ｙ）の輝度を表す。

【0040】

【数2】

【0041】

本実施例では、光軸周りを切り出した画像を１０×６ピクセルの大きさに縮小するが、この場合、１ピクセルは１°の視野角に相当することになる。図５に示すとおり、眼球の撮影は、２台のカメラによって２つの眼球画像を取得することから、瞳孔径はカメラ１０ｂ（表示パネルを見た場合における右カメラ)の時系列データＰ及びカメラ１０ａ（表示パネルを見た場合における左カメラ)の時系列データＱとして画像から取得できる。これらは下記式３で表すことができる。ここで、ｐ_ｎ、ｑ_ｎは、時間ｎにおける瞳孔径（直径）を表す。

【0042】

【数3】

【0043】

（注視点特定ステップＳ０６）
注視点特定ステップＳ０６について、図２のフローを参照して説明する。図２に示すとおり、注視点特定ステップＳ０６では、時系列データ取得ステップＳ０５で取得した探索範囲内の画像の時系列データから、画素ブロック毎の輝度の時系列データを取得する（ステップＳ６０１）。画素ブロックは、画素単位でもよいし、複数の画素で構成される矩形領域でもよい。本実施例では、上述のとおり、光軸周りを切り出した画像を１０×６ピクセルの大きさに縮小しており、画素ブロックは画素単位とし、１画素が１°の視野角に相当するようにしている。
そして、輝度の時系列データと瞳孔径の時系列データの各時系列データを正規化する（ステップＳ６０２）。データ中の変化のみに注目するため、それぞれの最大値が１、最小値が０になるように各時系列データを正規化する。

【0044】

注視点特定ステップＳ０６では、次に、輝度の時系列データと瞳孔径の時系列データとを比較し、輝度の変化と瞳孔径の変化との類似度合いについて、動的時間伸縮法（ＤＴＷ）によって数値化する（ステップＳ６０３）。本実施例では、類似度合いを求めるために、ＤＴＷ距離を用いる。ＤＴＷ距離を用いて類似度合いの数値化を行う場合、距離が小さいほど類似度合いが大きいことになる。上述したとおり、ＤＴＷでは、時間のズレを許容でき、瞳孔径の変化が画像の輝度変化に遅れることに対応できる。瞳孔径の変化は、輝度の変化に対してリアルタイムに反応するものではなく、変化に遅れが生じる。明るいところでは瞳孔が縮小し、暗いところでは瞳孔が拡大するが、瞳孔が縮小する方が拡大するよりも反応が速い。瞳孔の縮小の反応の遅れは、明るくなってから０．２秒ぐらいの遅れである。すなわち、瞳孔径は、注視している画像の輝度によって変化するが、瞳孔径の時系列データは、輝度の時系列データに多少の遅れがあることになる。

【0045】

ＤＴＷでは、非類似度を計算する２つの時系列データＣ，Ｅを、Ｃ＝ｃ_１，ｃ_２，・・・，ｃ_ｉ，・・・，ｃ_I、Ｅ＝ｅ_１，ｅ_２，・・・，ｅ_ｊ，・・・，ｅ_Jとし、これらの対応付け（Warping Pathという）は、図１３に示すように、Ｉ×Ｊ平面上に格子点 ｆ_ｋ＝（ｉ_ｋ，ｊ_ｋ）の系列Ｆ（＝ｆ_１，ｆ_２，・・・，ｆ_ｋ，・・・，ｆ_Ｋ）で示される。
図１３において、水平または垂直方向の線分ｆ_ｉｆ_ｉ＋１は、片方の時系列データの１点がもう片方の時系列データの２点に対応することを表し、斜め方向の線分ｆ_ｊｆ_ｊ＋１は、片方の時系列データの２点がもう片方の時系列データの２点に対応することを表す。格子点ｆ_ｋ＝（ｉ_ｋ，ｊ_ｋ）における時系列データＣ，Ｅの計測値に対する２つの距離をδ(ｆ_ｋ)と表すと、Ｆの評価値関数Δ(Ｆ)は下記式４で表される。ここで、ω_ｋはｆ_ｋに関する正の重みであり、Δ(Ｆ)の値が小さいほどＣ，Ｅの対応付けが良いことを示すものである。以下では、ＤＴＷが小さいとは、Ｆの評価値関数の値が小さいことを意味する。

【0046】

【数4】

【0047】

そして、輝度の変化と瞳孔径の変化との類似度合いの数値から、注視点を特定する（ステップＳ６０４）。注視点の特定は、類似度合いが最も大きい（ＤＴＷが最小）注視点を１つ選定することでもよいし、類似度合いが大きい順（ＤＴＷが小さい順）に複数の注視点を選定して、それらを重み付け平均によって注視点を特定してもよい。

【0048】

（注視点位置算出ステップＳ０７）
注視点位置算出ステップは、光軸と表示パネルとの交点に対する注視点の相対位置を算出する。本実施例では、ＤＴＷを全ての画素の輝度の時系列データに対して、瞳孔径の時系列データとの距離を計算し、評価値関数の値を求めた後、小さい順に５つ画素を選び、選んだ５つの画素を下記式５で示す重み付け平均をとることにより、注視点（ａ，ｂ）を求める。ここで、ｄ_ｉは ｉ番目に小さいＤＴＷの値、(ｘ_ｉ，ｙ_ｉ)はｉ番目に小さいＤＴＷが算出された画素の光軸を中心とした眼球座標系でのｘ座標、ｙ座標を表す。

【0049】

【数5】

【0050】

（カッバ角算出ステップＳ０８）
カッバ角算出ステップは、注視点の相対位置を用いて眼球の視軸と光軸のカッパ角を算出する。注視点位置算出ステップＳ０７で算出された眼球座標系での注視点（ａ，ｂ）と角膜曲率中心を結ぶ線が視軸となるため、図６で示したとおり、視軸８と光軸２とのなす角がカッパ角としてｘ軸方向成分、ｙ軸方向成分としてそれぞれ求められる。

【0051】

次に、上述の視線計測用キャリブレーション方法を行う視線計測用キャリブレーション装置について、図３と図４を参照して説明する。
視線計測用キャリブレーション装置１は、光軸計測手段／瞳孔径計測手段１２と、画像表示手段１４と、注視点位置算出手段１６と、カッパ角算出手段１８を備える。光軸計測手段／瞳孔径計測手段１２は、撮像素子１２ａとＬＥＤ素子１２ｂと瞳孔径計測ユニット１２ｃと光軸計測ユニット１２ｄから構成される。光軸計測ユニット１２ｄでは、実空間における３次元的なＬＥＤ素子１２ｂの位置情報と、撮像素子１２ａにより撮影されたプルキニエ像（眼球画像上での反射像）の位置を対応付けして光軸を算出する。光軸計測ユニット１２ｄから注視点位置算出手段１６へ光軸データが送られる。ＬＥＤ素子１２ｂは、具体的には赤外線ＬＥＤを用い、撮像素子１２ａは赤外線撮像素子を用いる。撮像素子１２ａは、ユーザの眼球を撮影できるように配置される。

【0052】

画像表示手段１４は、表示パネル１４ａと画像表示コントローラ１４ｂから構成される。画像表示コントローラ１４ｂから表示パネル１４ａに画像データが送られ、表示パネル１４ａに画像が表示される。画像表示コントローラ１４ｂから注視点位置算出手段１６へ画像データが伝達される。表示パネルが眼球の光軸に垂直であると仮定すると、眼球から画像データまでの距離は、眼球から表示パネルまでの距離と等しくなり、予め表示パネルの画像表示面のサイズがわかっていると、表示パネルに表示された画像データについて、眼球を基準とした３次元位置を算出することができる。表示パネルが眼球の光軸と垂直であると仮定しなくても、例えば、カメラ２台、ＬＥＤ２個を用いることにより、角膜曲率中心位置と光軸の向きが求まるため、表示パネルとの姿勢と距離がわかれば、表示パネルの画像の位置は計算できる。なお、表示パネルの表示面が平面ではなく若干湾曲している場合や、表示パネルの表示面が光軸に垂直でない場合には、画像データが眼球の光軸に垂直な平面になるように補正することでもよい。又は、探索範囲の矩形を表示面に合せて変形補正してもよい。

【0053】

注視点位置算出手段１６には、瞳孔径計測ユニット１２ｃから瞳孔径データが、光軸計測ユニット１２ｄから光軸データが、画像表示手段１４から画像データがそれぞれ送られる。注視点位置算出手段１６は、図４の機能ブロック図に示すように、表示パネルに表示された画像における探索範囲を、光軸データと画像データとを用いて算出する（１６１）。すなわち、光軸と表示パネルの交点の周囲画像を探索範囲の画像とする。そして、探索範囲の画像における画素ブロック毎の輝度を計測する（１６２）。さらに、画素ブロック毎の輝度の時系列データを取得する（１６３）。また、瞳孔径データから瞳孔径の時系列データを取得する（１６４）。
そして、輝度の変化と瞳孔径の変化との類似度合いに基づいて注視点を特定し（１６５）、光軸と表示パネルとの交点に対する注視点の相対位置を算出する（１６６）。

【0054】

カッパ角算出手段１８は、注視点位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出する。カッパ角の算出は、左眼と右眼のそれぞれ行う。カッパ角を算出することにより、光軸から視軸を求めることができる。

【0055】

（カッパ角の算出精度について）
上述の視線計測用キャリブレーション方法を用いて、カッパ角を算出し、その精度の評価を行った結果について説明する。評価は、前述の特許文献１（特開２００７－１３６０００号公報）の開示された１点キャリブレーションにより算出したカッパ角と比較することにより行った。
視線計測用キャリブレーション方法は、頭部を動かしても機能するが、画像処理での問題を軽減すべく、被験者用の表示パネルから５１２ｍｍ離れた位置に設置したあご台を用いて被験者の頭部を固定することにした。被験者は３名（全員２０代男性で、内２名は裸眼で、１名はソフトコンタクトレンズを着用）で、表示パネルに猫（cats）、群衆（crowd）、城（castle）の３種類の画像を表示して行った。実験は、１点キャリブレーション時のカッパ角を取得するために、１点を注視させた後、表示パネルに表示される３種類の画像における好きな場所を６秒間毎に注視するように指示し、そのときの光軸周辺を切り出した画像を取得した。
実験結果を図１４に示す。図１４（１）～（３）は、それぞれ被験者Ａ，Ｂ，Ｃの推定されたカッパ角をグラフ化したものである。星印マーカが１点キャリブレーション時のカッパ角（one-point）、十字マーカが表示パネル右側のカメラで得られた各画像（cats、crowd、castle）を見ている間の眼球画像を用いて算出したカッパ角（cats0、crowd0、castle0）とパネル左側のカメラで得られた各画像を見ている間の眼球画像を用いて算出したカッパ角（cats1、crowd1、castle1）を表す。横軸はカッパ角の水平方向成分αであり、縦軸はカッパ角の垂直方向成分βを示す。被験者Ａ～Ｃの１点キャリブレーション時のカッパ角と、全ての実験結果のα、βについて平均値を求め、下記表１に纏めた。

【0056】

【表1】

【0057】

被験者Ａについては、群衆（crowd）と城（castle）の画像を用いた場合、推定されたカッパ角は１点キャリブレーション時のカッパ角に近いものが推定でき、被験者Ｂについては、推定値がまばらに算出され、被験者Ｃについては、推定値のばらつきは小さかったものの、１点キャリブレーションで求められた値とは離れた結果となった。しかしながら、何れの推定値も１点キャリブレーション時の値から約３°以内の範囲に存在し、被験者毎に平均した推定値は１点キャリブレーション時の値から２．５°以内の範囲に存在するため、瞳孔径の変化からカッパ角を推定できることがわかる。

【実施例2】

【0058】

実施例２では、実施例１における注視点特定ステップＳ０６が異なる。
実施例２の注視点特定ステップＳ０６では、図１５の概念図及び図１６のフロー図に示すように、画素ブロック毎の輝度の時系列データを取得し（ステップＳ６１１）、輝度の時系列データと瞳孔径の時系列データの各時系列データを正規化（ステップＳ６１２）した後、輝度の時系列変化に基づき、瞳孔径の変化をシミュレートする（ステップＳ６１３）。
そして、シミュレートした瞳孔径の変化と、計測した瞳孔径の時系列データとの類似度合いについて、動的時間伸縮法（ＤＴＷ）によって数値化して（ステップＳ６１４）、シミュレートした瞳孔径の変化と、計測した瞳孔径の時系列データとの類似度合いの数値から注視点を特定する（ステップＳ６１５）。
前述したように、瞳孔径の変化は、画像の輝度変化に対して遅れ、また画像が明るくなる場合と暗くなる場合とで遅れ具合が異なる。また瞳孔径の変化は、瞳孔の動き方にも影響する。しかしながら、実施例１の実験においては、このような時間遅れや瞳孔の動きは考慮されていない。瞳孔の動きは、例えば、瞳孔筋系モデル（縮瞳筋、散瞳筋モデル）を適用することにより微分方程式として表現できる。
本実施例は、注視点特定ステップにおいて、瞳孔筋系モデルを適用し、画像輝度の時系列変化に基づき、瞳孔径の変化をシミュレートし、シミュレートした瞳孔径の変化と計測した瞳孔径の時系列データとの類似度合いの数値から注視点を特定することにしたものである。瞳孔筋系モデルを瞳孔径の時系列データの類似度合いの計算に組み込むことにより、さらなるカッパ角の算出精度の向上が期待できる。なお、瞳孔筋系モデルに関する詳細については、論文（平田豊，臼井支朗，“瞳孔筋系の非線形動力学モデル”，電子情報通信学会論文誌Vol.77，No.1, pp.170-180, 1994）及び論文（S.Usui et al., “Estimation of Autonomic Nervous Activity Using the Inverse Dynamic Model of the Pupil Muscle Plant” Annals of Biomedical Engineering, Vol.23, pp.375-387,1995）を参照する。

【実施例3】

【0059】

（カメラ装置）
本実施例では、上述の実施例で示した視線計測用キャリブレーション装置を備えるカメラ装置について説明する。図１７は、本発明のカメラ装置の一実施形態の概略構成図を示している。
カメラ装置２０は、撮影レンズ（２２ａ，２２ｂ）とそのピント調節機構２２と、レンズの結像面に配置された撮像素子２３と、カメラ装置を制御するカメラ制御部２４と、撮像素子２３が撮像した画像を記憶するメモリ２５と、撮像画像を表示する表示パネル２６と、ファインダ２１を介して表示パネル２６に表示された画像を見るための接眼レンズ２７と、ファインダ２１を覗く眼球３を照明するためのＬＥＤ素子（２８ａ，２８ｂ）と、眼球用撮像素子３１と、眼球撮影用の光スプリッタ２９と集光レンズ３０とを含む構成を備える。
ＬＥＤ素子（２８ａ，２８ｂ）と、眼球用撮像素子３１と、光スプリッタ２９と集光レンズ３０とによって、ＬＥＤ素子からの照明の角膜上の反射による反射像を撮像し、また、眼球の瞳孔を撮像し、瞳孔径と光軸を計測するための画像を取得する。上述した視線計測用キャリブレーション装置における表示パネルの画像は、カメラ装置内部の表示パネル２６に表示されるファインダ内視野像である。また、ファインダ２１の内側に設けられ２つのＬＥＤ素子（２８ａ，２８ｂ）と眼球用撮像素子３１が、視線計測用キャリブレーション装置における光軸計測手段の一部を構成する。また、眼球用撮像素子３１が、視線計測用キャリブレーション装置における瞳孔径計測手段の一部を構成する。

【0060】

カメラ制御部２４では、ＬＥＤ素子（２８ａ，２８ｂ）と、眼球用撮像素子３１と、光スプリッタ２９と集光レンズ３０とによって得られた眼球の画像データ（３４）から、光軸計測ユニットと瞳孔径計測ユニットにより、それぞれ眼球の光軸と瞳孔径を算出し、表示パネル２６に表示された画像データ（３３）とから、実施例１で説明したように、注視点位置算出手段によって、注視点位置を算出する。そして、カッパ角を算出し、算出したカッパ角を用いて眼球の光軸から視軸を算出し、ファインダを覗く眼球の視線の先にあるファインダ内視野像における注視点を特定する。

【0061】

（その他の実施例）
（１）上述した実施例３のカメラ装置では、表示パネル２６がカメラレンズで撮影した画像を表示し、ファインダ２１を介して表示画像を覗いているが、表示パネル２６を用いる替わりに、ペンタミラー又はペンタプリズムを設け、レンズ光軸３２上にミラー（撮影時はミラーが光軸から外れるように可動）を設けて、カメラレンズで撮影した画像を反射させ、ペンタミラー又はペンタプリズムで複数回反射させて、最終反射面による反射像をファインダ２１から覗くものでもよい。この場合も、ＬＥＤ素子（２８ａ，２８ｂ）と、眼球用撮像素子３１と、光スプリッタ２９と集光レンズ３０とによって、眼球の瞳孔を撮像し、瞳孔径と光軸を計測するための画像を取得する。ファインダ内視野像の輝度は、カメラレンズによる撮影画像の輝度から求める。

【産業上の利用可能性】

【0062】

本発明は、コンピュータ入力や、車などの運転者の注意分析のための視線計測装置、オートフォーカス機能を有するカメラ装置に用いることができる。

【符号の説明】

【0063】

１ 視線計測用キャリブレーション装置
２ 光軸
３ 眼球
３ａ 角膜
３ｂ 瞳孔
３ｃ 眼球回転中心
５ 表示パネル
６ 交点
７ 探索範囲
８ 視軸
９ 注視点
１０ａ，１０ｂ カメラ
１１ａ，１１ｂ ＬＥＤ光源
１２ 光軸計測手段／瞳孔径計測手段
１２ａ 撮像素子（カメラ）
１２ｂ ＬＥＤ素子（ＬＥＤ光源）
１２ｃ 瞳孔径計測ユニット
１２ｄ 光源計測ユニット
１４ 画像表示手段
１４ａ 表示パネル
１４ｂ 画像表示コントローラ
１６ 注視点位置算出手段
１８ カッパ角算出手段
２０ カメラ装置
２１ ファインダ
２２ ピント調節機構
２２ａ，２２ｂ 撮影レンズ
２３，３１ 撮像素子
２４ コントローラ
２５ メモリ
２６ 表示素子
２７ 接眼レンズ
２８ａ，２８ｂ ＬＥＤ素子
２９ 光スプリッタ
３０ 集光レンズ
３１，３２ レンズ光軸
３３～３５ データ信号線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】