▶ アイシン精機株式会社の特許一覧 ▶ トヨタ自動車株式会社の特許一覧
特許7198023眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-20
(45)【発行日】2022-12-28
(54)【発明の名称】眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム
(51)【国際特許分類】
A61B 3/113 20060101AFI20221221BHJP
【ＦＩ】
A61B3/113
A61B3/113 ZDM
【請求項の数】
6
(21)【出願番号】P 2018182507
(22)【出願日】2018-09-27
(65)【公開番号】P2020048971
(43)【公開日】2020-04-02
【審査請求日】2021-08-06
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山田 祐也
(72)【発明者】
【氏名】加藤 隆志
(72)【発明者】
【氏名】宝田 浩延
(72)【発明者】
【氏名】松村 健
【審査官】北島 拓馬
(56)【参考文献】
【文献】特開２０１８－１０１２１１（ＪＰ，Ａ）
【文献】特開２０１８－０９９１７４（ＪＰ，Ａ）
【文献】特開２００５－２５２７３２（ＪＰ，Ａ）
【文献】特開２０１７－１８２７３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００ － ３／１８
(57)【特許請求の範囲】
【請求項1】
対象者の眼の瞳孔と、前記対象者の眼の角膜表面における光源のプルキニエ像と、を含みうる画像を取得する取得部と、前記瞳孔の中心位置と前記プルキニエ像の位置を検出する検出部と、
前記瞳孔の中心位置と前記プルキニエ像の位置に基づいて前記対象者の眼の視線角度を算出する第１の視線角度算出処理と、前記瞳孔の中心位置と記憶部から読み出される前記対象者に対応する眼の眼球中心位置とに基づいて前記対象者の眼の視線角度を算出する第２の視線角度算出処理とのいずれを実行するかを選択する選択部と、
前記第１の視線角度算出処理が選択された場合に、少なくとも前記瞳孔である確からしさを示す瞳孔信頼度が所定の第１の瞳孔閾値より高く、かつ前記プルキニエ像である確からしさを示すプルキニエ信頼度が所定の第１のプルキニエ閾値より高い場合に、前記視線角度に基づいて決定される３次元顔モデルに基づき、前記対象者の眼の眼球中心位置の推定を行い、前記記憶部の前記眼球中心位置の更新を実行する処理部と、
を備える、眼球情報推定装置。
【請求項2】
前記処理部は、前記眼球中心位置の更新を実行する条件として、さらに、前記対象者の眼である確からしさを示す眼信頼度が所定の眼閾値より高いこと、前記対象者の顔の特徴点の３次元フィッティングの信頼度が所定のフィッティング閾値より高いこと、前記第１の視線角度算出処理で算出した前記視線角度の前回処理で算出した視線角度に対する変化量が所定の角度変化閾値未満であること、前記対象者の顔の位置が前記画像の所定領域内であること、前記対象者の顔の向きが前記画像において所定方向を向いていること、のうち少なくとも一つの条件を加える、請求項１に記載の眼球情報推定装置。
【請求項3】
前記選択部は、前記取得部が取得する前記画像における前記瞳孔の前記瞳孔信頼度が前記第１の瞳孔閾値より低い第２の瞳孔閾値以下の場合、前記第１の視線角度算出処理と前記第２の視線角度算出処理とのいずれも実行しない、請求項１または請求項２に記載の眼球情報推定装置。
【請求項4】
前記選択部は、前記取得部が取得する前記画像における前記プルキニエ像の前記プルキニエ信頼度が前記第１のプルキニエ閾値より低い第２のプルキニエ閾値より高い場合、前記第１の視線角度算出処理を選択し、前記プルキニエ信頼度が前記第２のプルキニエ閾値以下の場合、前記第２の視線角度算出処理を選択する、請求項１から請求項３のいずれか１項に記載の眼球情報推定装置。
【請求項5】
対象者の眼の瞳孔と、前記対象者の眼の角膜表面における光源のプルキニエ像と、を含みうる画像を取得する取得ステップと、前記瞳孔の中心位置と前記プルキニエ像の位置を検出する検出ステップと、
前記瞳孔の中心位置と前記プルキニエ像の位置に基づいて前記対象者の眼の視線角度を算出する第１の視線角度算出処理と、前記瞳孔の中心位置と記憶部から読み出される前記対象者に対応する眼の眼球中心位置とに基づいて前記対象者の眼の視線角度を算出する第２の視線角度算出処理とのいずれを実行するかを選択する選択ステップと、
前記第１の視線角度算出処理が選択された場合に、少なくとも前記瞳孔である確からしさを示す瞳孔信頼度が所定の第１の瞳孔閾値より高く、かつ前記プルキニエ像である確からしさを示すプルキニエ信頼度が所定の第１のプルキニエ閾値より高い場合に、前記視線角度に基づいて決定される３次元顔モデルに基づき、前記対象者の眼の眼球中心位置の推定を行い、前記記憶部の前記眼球中心位置の更新を実行する処理ステップと、
を備える、眼球情報推定方法。
【請求項6】
コンピュータに、対象者の眼の瞳孔と、前記対象者の眼の角膜表面における光源のプルキニエ像と、を含みうる画像を取得する取得ステップと、
前記瞳孔の中心位置と前記プルキニエ像の位置を検出する検出ステップと、
前記瞳孔の中心位置と前記プルキニエ像の位置に基づいて前記対象者の眼の視線角度を算出する第１の視線角度算出処理と、前記瞳孔の中心位置と記憶部から読み出される前記対象者に対応する眼の眼球中心位置とに基づいて前記対象者の眼の視線角度を算出する第２の視線角度算出処理とのいずれを実行するかを選択する選択ステップと、
前記第１の視線角度算出処理が選択された場合に、少なくとも前記瞳孔である確からしさを示す瞳孔信頼度が所定の第１の瞳孔閾値より高く、かつ前記プルキニエ像である確からしさを示すプルキニエ信頼度が所定の第１のプルキニエ閾値より高い場合に、前記視線角度に基づいて決定される３次元顔モデルに基づき、前記対象者の眼の眼球中心位置の推定を行い、前記記憶部の前記眼球中心位置の更新を実行する処理ステップと、
を実行させる眼球情報推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラムに関する。
【背景技術】
【0002】
従来、撮像された画像（静止画または動画）に含まれる顔の眼（眼球）の３次元位置を推定する技術が提案されている。推定された眼球中心位置は、例えば、視線角度（視線方向）の算出等に利用することができる。眼球中心位置は対象者毎の骨格や輪郭によって異なるため、精度のより眼球中心位置を推定するためには、事前のキャリブレーションが必要であったため処理が煩雑であった。そこで、眼球中心の３次元位置を、キャリブレーションを行うことなく精度よく推定する推定装置が提案されている。この推定装置は、例えば、推定された顔の３次元の位置姿勢および検出された顔画像上の瞳孔中心の２次元位置に基づいて、左右の眼の各々について、予め定められた統計的な眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算している。そして、左右の眼の各々の３次元の視線ベクトルの時系列に基づいて、例えば、左右の眼の各々の視対象の３次元位置の誤差が最小となるように、顔モデル座標系における左右の眼の各々の眼球中心の３次元位置の最適値を推定するようにしている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－２５２３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、例えば、視線角度（視線方向）を利用するような状況において、眼球中心位置を推定する対象者は、長時間じっとしている可能性は低く、顔の向きを不規則に変えることがある。そのため、瞳孔中心の２次元位置や３次元の顔モデルの座標系等の検出が不安定になる場合がある。このような場合に、そのまま眼球中心の位置を推定すると、瞳孔中心の２次元位置や３次元の顔モデルの座標系等で生じている誤差がそのまま、推定する眼球中心の３次元位置に反映されて精度が低下してしまうという問題がある。その結果として、視線角度（視線方向）が正確に算出できない場合があった。したがって、眼球中心位置の推定精度の低下を抑制できる眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラムが提供できれば、眼球中心位置を用いた種々の処理、例えば、視線角度の算出等の高精度化が図れて有意義である。
【課題を解決するための手段】
【0005】
本発明の実施形態にかかる眼球情報推定装置は、例えば、対象者の眼の瞳孔と、上記対象者の眼の角膜表面における光源のプルキニエ像と、を含みうる画像を取得する取得部と、上記瞳孔の中心位置と上記プルキニエ像の位置を検出する検出部と、上記瞳孔の中心位置と上記プルキニエ像の位置に基づいて上記対象者の眼の視線角度を算出する第１の視線角度算出処理と、上記瞳孔の中心位置と記憶部から読み出される上記対象者に対応する眼の眼球中心位置とに基づいて上記対象者の眼の視線角度を算出する第２の視線角度算出処理とのいずれを実行するかを選択する選択部と、上記第１の視線角度算出処理が選択された場合に、少なくとも上記瞳孔である確からしさを示す瞳孔信頼度が所定の第１の瞳孔閾値より高く、かつ上記プルキニエ像である確からしさを示すプルキニエ信頼度が所定の第１のプルキニエ閾値より高い場合に、上記視線角度に基づいて決定される３次元顔モデルに基づき、上記対象者の眼の眼球中心位置の推定を行い、上記記憶部の上記眼球中心位置の更新を実行する処理部と、を備える。この構成によれば、例えば、瞳孔信頼度およびプルキニエ信頼度が高い場合（それぞれ所定の信頼度がある場合）に、信頼性のある瞳孔中心位置およびプルキニエ像の位置に基づいて算出された視線角度を用いて、眼球中心位置の推定を行う。その結果、眼球中心位置が、信頼度の低い値によって推定されてしまうことを回避することができる。したがって、以降の処理で眼球中心位置を用いた視線角度算出精度の低下を抑制し、全体として視線算出角度の算出精度の維持または向上に寄与できる。
【0006】
本発明の実施形態にかかる眼球情報推定装置の上記処理部は、例えば、上記眼球中心位置の更新を実行する条件として、さらに、上記対象者の眼である確からしさを示す眼信頼度が所定の眼閾値より高いこと、上記対象者の顔の特徴点の３次元フィッティングの信頼度が所定のフィッティング閾値より高いこと、上記第１の視線角度算出処理で算出した上記視線角度の前回処理で算出した視線角度に対する変化量が所定の角度変化閾値未満であること、上記対象者の顔の位置が上記画像の所定領域内であること、上記対象者の顔の向きが上記画像において所定方向を向いていること、のうち少なくとも一つの条件を加えてもよい。この構成によれば、例えば、眼球中心位置の推定を許可する条件を厳しくすることで、より信頼度の高い状況のときに眼球中心位置の推定が実行され、眼球中心位置の推定精度が低下することをより抑制できる。
【0007】
本発明の実施形態にかかる眼球情報推定装置の上記選択部は、例えば、上記取得部が取得する上記画像における上記瞳孔の上記瞳孔信頼度が上記第１の瞳孔閾値より低い第２の瞳孔閾値以下の場合、上記第１の視線角度算出処理と上記第２の視線角度算出処理とのいずれも実行しないようにしてもよい。この構成によれば、例えば、瞳孔の中心位置の検出精度（瞳孔信頼度）が低い場合には、視線角度算出が実行されず、不正確な処理結果が利用されることを回避することができる。
【0008】
本発明の実施形態にかかる眼球情報推定装置の上記選択部は、例えば、上記取得部が取得する上記画像における上記プルキニエ像の上記プルキニエ信頼度が上記第１のプルキニエ閾値より低い第２のプルキニエ閾値より高い場合、上記第１の視線角度算出処理を選択し、上記プルキニエ信頼度が上記第２のプルキニエ閾値以下の場合、上記第２の視線角度算出処理を選択するようにしてもよい。この構成によれば、例えば、取得される画像内容に応じた適切な視線角度算出処理を実行することができる。
【0009】
本発明の実施形態にかかる眼球情報推定方法は、例えば、対象者の眼の瞳孔と、上記対象者の眼の角膜表面における光源のプルキニエ像と、を含みうる画像を取得する取得ステップと、上記瞳孔の中心位置と上記プルキニエ像の位置を検出する検出ステップと、上記瞳孔の中心位置と上記プルキニエ像の位置に基づいて上記対象者の眼の視線角度を算出する第１の視線角度算出処理と、上記瞳孔の中心位置と記憶部から読み出される上記対象者に対応する眼の眼球中心位置とに基づいて上記対象者の眼の視線角度を算出する第２の視線角度算出処理とのいずれを実行するかを選択する選択ステップと、上記第１の視線角度算出処理が選択された場合に、少なくとも上記瞳孔である確からしさを示す瞳孔信頼度が所定の第１の瞳孔閾値より高く、かつ上記プルキニエ像である確からしさを示すプルキニエ信頼度が所定の第１のプルキニエ閾値より高い場合に、上記視線角度に基づいて決定される３次元顔モデルに基づき、上記対象者の眼の眼球中心位置の推定を行い、上記記憶部の上記眼球中心位置の更新を実行する処理ステップと、を備える。この構成によれば、例えば、瞳孔信頼度およびプルキニエ信頼度が高い場合（それぞれ所定の信頼度がある場合）に、信頼性のある瞳孔中心位置およびプルキニエ像の位置に基づいて算出された視線角度を用いて、眼球中心位置の推定を行う。その結果、眼球中心位置が、信頼度の低い値によって推定されてしまうことを回避することができる。したがって、以降の処理で眼球中心位置を用いた視線角度算出精度の低下を抑制し、全体として視線算出角度の算出精度の維持または向上に寄与できる。
【0010】
本発明の実施形態にかかる眼球情報推プログラムは、例えば、コンピュータに、対象者の眼の瞳孔と、上記対象者の眼の角膜表面における光源のプルキニエ像と、を含みうる画像を取得する取得ステップと、上記瞳孔の中心位置と上記プルキニエ像の位置を検出する検出ステップと、上記瞳孔の中心位置と上記プルキニエ像の位置に基づいて上記対象者の眼の視線角度を算出する第１の視線角度算出処理と、上記瞳孔の中心位置と記憶部から読み出される上記対象者に対応する眼の眼球中心位置とに基づいて上記対象者の眼の視線角度を算出する第２の視線角度算出処理とのいずれを実行するかを選択する選択ステップと、上記第１の視線角度算出処理が選択された場合に、少なくとも上記瞳孔である確からしさを示す瞳孔信頼度が所定の第１の瞳孔閾値より高く、かつ上記プルキニエ像である確からしさを示すプルキニエ信頼度が所定の第１のプルキニエ閾値より高い場合に、上記視線角度に基づいて決定される３次元顔モデルに基づき、上記対象者の眼の眼球中心位置の推定を行い、上記記憶部の上記眼球中心位置の更新を実行する処理ステップと、を実行させる。この構成によれば、例えば、瞳孔信頼度およびプルキニエ信頼度が高い場合（それぞれ所定の信頼度がある場合）に、信頼性のある瞳孔中心位置およびプルキニエ像の位置に基づいて算出された視線角度を用いて、眼球中心位置の推定を行う処理をコンピュータに実行させることができる。その結果、眼球中心位置が、信頼度の低い値によって推定されてしまうことを回避することができる。したがって、以降の処理で眼球中心位置を用いた視線角度算出精度の低下を抑制し、全体として視線算出角度の算出精度の維持または向上に寄与できる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【0013】
以下に示す実施形態では、眼球情報推定装置を車両に搭載して、乗員（例えば、運転者）を対象者として眼球情報、具体的には、眼球中心位置の推定および更新を行う場合を説明する。
【0014】
図１に示す車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【0015】
図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード１２（インストルメントパネル）から突出したステアリングホイールである。
【0016】
また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。
【0017】
また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員は、操作入力部を介して表示装置の表示画面に表示される画像を視認することができる。また、乗員は、表示装置の表示画面に表示される画像に対応した位置において手指等で操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【0018】
また、図２に示すように、車室２ａにおいて、操舵部４を支持するハンドルコラム２０２には、撮像部２０１と、赤外線照射器２０３（光源）と、が設けられている。赤外線照射器２０３は、例えば、赤外線を照射するＬＥＤ（Light Emitting Diode）ライト等とすることができる。撮像部２０１は、例えば、赤外線による撮影に対応した、ＣＣＤ（Charge Coupled Device）カメラ等とすることができる。
【0019】
撮像部２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。また、赤外線照射器２０３は、当該赤外線照射器２０３が照射する光の光軸が、座席２ｂに着座する運転者３０２の顔の近傍に来るように、調整されている。
【0020】
赤外線照射器２０３は、上述した調整の結果、車両１の座席２ｂに人が座った場合に、当該人の顔が存在する可能性がある範囲２５０に対して、赤外線２１２を照射する。赤外線２１２は、人の眼には光として認識されない。このため、人の顔の方向に照射しても、照射対象となった人はまぶしいと感じない。このため、運転時の快適性を確保すると共に、撮像部２０１による、人の顔の撮像が容易になる。
【0021】
撮像部２０１は、上述した調整の結果、赤外線照射器２０３により赤外線が照射される、当該人の顔が存在する可能性がある範囲２５０を撮像する。そして、撮像部２０１は、例えば、車両１の運転が行われている間、運転者３０２の顔の撮影を継続し、所定のフレームレートで動画データ（撮像画像データ）を逐次出力することができる。この場合、撮像画像データには、赤外線照射器２０３の照射した赤外線が、運転者３０２の眼の角膜表面で反射した場合に写る虚像（以下、「プルキニエ像」という）を含むことができる。プルキニエ像は、眼の角膜表面に写るため、例えば、瞼が閉じられている場合には写らない。また、瞼の開き具合（瞼開度）に応じて、写る場合と写らない場合がある。プルキニエ像の詳細は後述する。
【0022】
なお、撮像部２０１として赤外線カメラを用いる場合、周囲の光の影響を受け難く、運転者３０２に不快感を与えることなく顔が存在する可能性のある領域の撮像を良好に行うことができる。なお、撮像部２０１として可視光カメラを用いてもよい。この場合、赤外線照射器２０３に代えて、可視光を投光する投光器を用いることができる。この場合、システムの簡略化等に寄与することができる。ただし、この場合、投光器の配置や光量の調整を行、運転者３０２等の乗員が、可視光による眩しさを感じ難くすることが望ましい。また、撮像部２０１および赤外線照射器２０３の設置位置は、ハンドルコラム２０２に限定されず、運転者３０２の顔が存在する可能性がある範囲２５０を概ね正面から撮像することができる場所であれば、適宜変更可能である。例えば、撮像部２０１および赤外線照射器２０３は、ダッシュボード１２上に設けられてもよいし、天井やルームミラー等に設置されてもよい。また、撮像部２０１と赤外線照射器２０３とは分離された位置にそれぞれ設けられてもよい。
【0023】
本実施形態の眼球情報推定装置は、運転者３０２の視線角度（視線方向）を算出しつつ、眼球情報としての眼球中心位置の推定精度の低下を抑制し、結果的に視線角度の算出精度を向上させるものである。具体的には、眼球情報推定装置は、視線角度の算出に伴い推定可能な眼球中心位置を視線角度の算出が高精度にできる条件が揃う場合にのみ更新することで、眼球中心位置の推定精度の低下を抑制している。そして、結果的に、更新された眼球中心位置を用いて、より正確な視線角度を算出できるようにしている。
【0024】
本実施形態の場合、視線角度を算出する際に、周知の第１の視線角度算出処理と周知の第２の視線角度算出処理とのいずれかを、撮像部２０１の撮像した画像の状態（内容）に基づいて選択的に用いるようにしている。まず、第１の視線角度算出処理と第２の視線角度算出処理の概要について示す。
【0025】
図３は、本実施形態のおける第１の視線角度算出処理である、いわゆる「角膜反射法」の概要を説明する図である。角膜反射法は、赤外線照射器２０３の光が眼球３０の前部に位置する角膜３２に映り込んだ（角膜３２の表面で反射した場合に写る）プルキニエ像３４の位置と瞳孔３６の中心位置３６ａとの位置関係に基づき、視線角度Ｌ（視線方向）を検出する方法である。プルキニエ像３４の位置は、角膜３２の角膜曲率中心位置３２ａと眼球中心位置３０ａとの違い（回転中心の違い）により眼球運動に伴って平行移動する。したがって、例えば、左目のプルキニエ像３４よりも瞳孔３６が目じり側にあれば、運転者３０２は左側方向を見ていると見なすことができる。また、左目のプルキニエ像３４よりも瞳孔３６が目頭側にあれば、運転者３０２は右側方向を見ていると見なすことできる。
【0026】
図４は、本実施形態のおける第２の視線角度算出処理である、いわゆる「眼球モデル法」の概要を説明する図である。眼球モデル法は、瞳孔３６の中心位置３６ａと眼球３０において予め統計的に求められている眼球中心位置３０ａとを用いて、中心位置３６ａと眼球中心位置３０ａとを結ぶ方向を視線角度Ｌ（視線方向）として検出する方法である。
【0027】
図５は、実施形態の眼球情報推定装置１００の構成を例示的に示すブロック図である。本実施形態では、眼球情報推定装置１００は、ハードウェアとソフトウェア（眼球情報推定プログラム）が協働することにより、撮像部２０１で撮像した撮像画像データから眼球情報の推定対象の一例となる運転者３０２の視線角度Ｌ（視線方向）を逐次算出する処理を実行するとともに、眼球中心位置の推定処理を実行する。眼球情報推定装置１００は、ＣＰＵ４０（Central Processing Unit）やＲＯＭ４２（Read Only Memory）、ＲＡＭ４４（Random Access Memory）、ＳＳＤ４６（Solid State Drive、フラッシュメモリ）等の記憶部で構成されるコンピュータ上で実現することができる。なお、眼球情報推定装置１００が車両１に搭載される場合、車両１を制御する複数のＥＣＵ（Electronic Control Unit）のＣＰＵにおいて眼球情報推定装置１００が実現されてもよいし、車両制御用のＥＣＵとは別のＥＣＵで実現されてもよいし、独立した眼球情報推定装置１００として搭載されてもよい。
【0028】
ＣＰＵ４０は、ＲＯＭ４２等の不揮発性の記憶装置にインストールされ記憶された眼球情報推定プログラム４２ａを読み出し、当該眼球情報推定プログラム４２ａにしたがって演算処理を実行できる。ＲＯＭ４２には、眼球情報推定プログラム４２ａの他、統計データ格納部４２ｂに格納された統計データ、閾値データ格納部４２ｃに格納された閾値データ、学習済みデータ格納部４２ｄに格納された学習済みデータ、条件データ格納部４２ｅに格納された条件データ等が記憶されている。ＲＡＭ４４は、ＣＰＵ４０による眼球情報推定プログラム４２ａの実行時のワークエリアとして使用されるとともに、ＣＰＵ４０での演算で用いられる各種のデータの一時的な格納エリアとして利用される。ＲＡＭ４４には、例えば、カメラ画座標データを格納するカメラ画座標格納部４４ａ、処理対象の画面座標データを格納する画面座標格納部４４ｂ、顔モデル座標データを格納する顔モデル座標格納部４４ｃ、信頼度データを格納する信頼度データ格納部４４ｄ等が設けられている。また、ＳＳＤ４６は、書き換え可能な不揮発性の記憶部であって、眼球情報推定装置１００の電源がオフされた場合にあってもデータを格納することができる。なお、ＣＰＵ４０や、ＲＯＭ４２、ＲＡＭ４４等は、同一パッケージ内に集積されうる。また、眼球情報推定装置１００は、ＣＰＵ４０に替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ４６に替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ４６やＨＤＤは、眼球情報推定装置１００とは別に設けられてもよい。
【0029】
ＣＰＵ４０は、眼球情報推定装置１００の機能を実現するための各種モジュールを含む。例えば、ＣＰＵ４０は、図５に示されるように、取得部４８、検出部５０、信頼度算出部５２、選択部５４、処理部５６等を実現する。なお、これらのモジュールは、専用のハードウェアとして構成されてもよい。
【0030】
取得部４８は、撮像部２０１により撮像された撮像画像データを逐次取得し、ＲＡＭ４４のカメラ画座標格納部４４ａにフレーム毎に格納させる。取得部４８は、撮像部２０１が逐次撮像する撮像画像データを取得してもよいし、取得部４８が所定のタイミングで撮像部２０１に撮像処理を実行させて、撮像画像データを取得するようにしてもよい。
【0031】
検出部５０は、カメラ画座標格納部４４ａから撮像画像データを読出し、運転者３０２の顔の位置や顔部品（例えば、口、鼻、眼等）を検出する。また、取得部４８は、運転者３０２の顔が検出された領域内で、顔の顔特徴点（例えば、口、鼻、眼（目尻、目頭等））を検出する。運転者３０２の顔の位置、顔部品、顔特徴点等を検出する手法として、周知の各種手法が利用可能であるが、例えば、ニューラルネットワーク（Neural Network：ＮＮ）、個人顔テンプレート等を用いる手法が利用可能である。また、別の方法では、例えば、周知の３次元モデルフィッティングの手法が利用可能である。検出部５０は、例えば、ＲＯＭ４２の統計データ格納部４２ｂに予め格納された統計的顔形状モデル、すなわち予め作成した平均的な顔の仮モデルで規定された特徴点を初期状態として参照し、仮モデルを移動、回転、拡縮等させることで、運転者３０２の顔の位置、顔部品、顔特徴点等を検出する。この際、運転者３０２の画像上の顔位置座標や、顔向き角度等も検出される。
【0032】
また、検出部５０は、検出された目尻、目頭を基準として、上まぶた及び下まぶたを検出する。上まぶた及び下まぶたの検出手法としては、例えば、曲線フィッティング手法等を用いることができる。検出部５０は、算出した上まぶた及び下まぶたの間の距離に基づいて、瞼開度を算出することができる。また、検出部５０は、撮像画像データにおける、瞳孔３６および瞳孔３６の中心位置３６ａを検出する。さらに、検出部５０は、撮像画像データにおいて、検出された上まぶた及び下まぶたの間の近傍領域からプルキニエ像３４を検出する。瞳孔３６やプルキニエ像３４は、過去に取得した大量の顔の顔部品位置やプルキニエ像３４に関する正解情報と不正解情報とに基づき学習させるディープラーニング等の機械学習手法で作成し、ＲＯＭ４２の学習済みデータ格納部４２ｄに記憶させた学習済みデータを用いて検出することができる。
【0033】
【0034】
瞳孔３６の正解情報とは、撮像画像データに基づく投影画像のうち、瞳孔中心が適切にタグＴで示された眼付近の画像として定義できる。一方、瞳孔３６の不正解情報とは、撮像画像のうち、瞳孔中心の本来の位置からずれた位置にタグＴが示された眼付近の画像として定義できる。そして、学習を行うために、上述のように定義される正解情報と、不正解情報とを用意する。図６は、瞳孔３６の正解情報の例を示したものであり、図７は、瞳孔３６の不正解情報の例を示したものである。正解情報は、ユーザ（利用者）が、例えば、手動でタグＴを設定する場合が考えられる。一方、不正解情報は、ユーザが不正解情報を生成するための規則を設定（生成）した後、パーソナルコンピュータ等の情報処理装置が、設定された規則に基づいて不正解情報を複数生成する。これにより、バランスよく大量の不正解データを生成することができる。
【0035】
また、学習済みデータ格納部４２ｄは、プルキニエ像３４の正解情報と不正解情報とに基づいて、ディープラーニング等の機械学習手法で作成された学習済みデータを記憶することができる。プルキニエ像３４の正解情報とは、撮像画像のうち、プルキニエの中心がタグＴで示された眼付近の画像として定義できる。プルキニエ像３４の不正解情報とは、本来のプルキニエの中心からずれた位置にタグＴが示された眼付近の画像として定義できる。プルキニエ像３４の正解情報および不正解情報の生成手法は、瞳孔３６の正解情報および不正解情報の生成手法と同様であるため、その説明は省略する。なお、本実施家形態において、瞳孔３６やプルキニエ像３４以外の項目についても、同様に学習済みデータを生成することができる。
【0036】
そして、上述したように生成された正解情報および不正解情報に基づいた学習済みデータが、学習済みデータ格納部４２ｄに記憶される。これにより、検出部５０および信頼度算出部５２は、学習済みデータに基づいて、瞳孔３６およびプルキニエ像３４の確からしさを示すスコアの算出ができる。例えば、学習した瞳孔３６の正解情報に類すると判別されたデータは、瞳孔３６の確からしさが高いデータ（スコアの高いデータ）となり、学習した瞳孔３６の不正解情報に類すると判別されたデータは、瞳孔３６の確からしさが低いデータ（スコアの低いデータ）となる。このように、学習済みデータを用いて、撮像画像データ（撮像画像）に対して瞳孔３６である確からしさを示すスコア（点数）をつけ、そのスコアが所定値より高い場合に、瞳孔３６であると判定する。同様に、学習済みデータを用いて、撮像画像データに対してプルキニエ像３４である確からしさを示すスコア（点数）をつけ、そのスコアが所定値より高い場合に、プルキニエ像３４であると判定する。なお、瞳孔３６やプルキニエ像３４の検出は、例えば、上まぶた及び下まぶたの間の近傍の輝度値を解析することによって実行してもよい。検出部５０は、各種検出結果をカメラ画座標格納部４４ａや顔モデル座標格納部４４ｃに格納し、次の画像に対して処理を行う場合には、前回処理の検出結果を用いることが可能で、顔の領域（位置）や各顔部品、顔の向き等の検出を容易に行えるようにすることができる。
【0037】
信頼度算出部５２は、撮像画像データに写っている顔部品と思われるものの信頼度、例えば、瞳孔３６である確からしさを示す瞳孔信頼度、プルキニエ像３４である確からしさを示すプルキニエ信頼度、眼であることを示す眼信頼度等を算出する。例えば、瞳孔３６、プルキニエ像３４等の検出をディープラーニング等の機械学習手法で作成した学習済みデータを用いて実行する場合、その処理過程でそれぞれの確からしさを示すスコアが付与される。信頼度算出部５２は、このスコアをそれぞれの信頼度をとして算出する。つまり、スコアが高いほど瞳孔３６でかる可能性、プルキニエ像３４である可能性が高いことを示す。信頼度算出部５２は、算出した各信頼度をＲＡＭ４４の信頼度データ格納部４４ｄに格納する。
【0038】
選択部５４は、視線角度を算出するのにあたり、図３説明した角膜反射法（第１の視線角度算出処理）を実行するか、図４で説明した眼球モデル法（第２の視線角度算出処理）を実行するかを選択する。選択部５４は、例えば、信頼度算出部５２で算出した瞳孔信頼度およびプルキニエ信頼度とＲＯＭ４２の閾値データ格納部４２ｃに格納された閾値データとの比較に基づいて処理方法の選択を行う。閾値データ格納部４２ｃには、例えば、後述する処理部５６で眼球中心位置の推定および更新を実行するか否かを決定する際に参照する第１の瞳孔閾値や第１のプルキニエ閾値、選択部５４で参照する第１の瞳孔閾値よりは閾値が低い第２の瞳孔閾値や第１のプルキニエ閾値よりは閾値が低い第２のプルキニエ閾値等が格納されている。
【0039】
なお、選択部５４は、現在処理中の画像において、瞳孔３６の瞳孔信頼度が第２の瞳孔閾値以下の場合、例えば、瞳孔３６が認識できないような場合には、視線角度算出処理を実行しないようにしてもよい。したがって、選択部５４は、現在処理中の画像において、瞳孔３６の瞳孔信頼度が第２の瞳孔閾値より高い場合、つまり、瞳孔３６が概ね認識できる場合には、プルキニエ信頼度に基づき角膜反射法（第１の視線角度算出処理）または眼球モデル法（第２の視線角度算出処理）のいずれを実行するかを選択する。
【0040】
閾値データ格納部４２ｃには、上述した第１、第２の瞳孔閾値、第１、第２のプルキニエ閾値の他、眼閾値、フィッティング閾値、角度変化閾値、顔位置判定閾値、顔向き判定閾値、瞼閾値等、複数の閾値が格納されている。なお、眼閾値は、眼である確からしさを示す眼信頼度を算出する際に参照する閾値である。角度変化閾値は、眼球情報推定装置の各処理周期において、視線角度算出処理で算出された視線角度の変化量が許容値以内であるかを判定する際に参照する閾値である。顔位置判定閾値は、運転者３０２（対象者）の顔の位置が取得部４８で取得された画像の所定領域内であるか否かを判定する際に参照する閾値である。フィッティング閾値は、運転者３０２の顔の顔特徴点と３次元フィッティングモデルとの一致程度を判定する際に参照する閾値である。顔向き判定閾値は、運転者３０２の顔の向きが取得部４８で取得された画像において所定方向、例えば、正面を向いているか否かを判定する際に参照する閾値である。また、瞳閾値は、瞼の開き程度を判定する場合に参照する閾値である。
【0041】
処理部５６は、選択部５４によって選択された視線角度算出処理にしたがい、視線角度算出を実行する。例えば、角膜反射法（第１の視線角度算出処理）が選択された場合には、検出部５０が検出した瞳孔３６の中心位置３６ａおよびプルキニエ像３４の位置に基づき視線角度を算出する。また、眼球モデル法（第２の視線角度算出処理）が選択された場合には、検出部５０が検出した瞳孔３６の中心位置３６ａおよび予め算出された眼球中心位置３０ａに基づき視線角度を算出する。眼球モデル法が初回に実行される場合、眼球中心位置３０ａは、統計データ格納部４２ｂに格納された統計的な眼球中心位置３０ａを用いて視線角度を算出する。また、処理部５６により眼球中心位置３０ａが更新（修正）された場合には、更新された眼球中心位置３０ａを以降の処理で参照する。
【0042】
また、処理部５６は、選択部５４によって、視線角度算出処理の手法として、角膜反射法（第１の視線角度算出処理）が選択された場合は、眼球中心位置３０ａの更新を行うか否かをＲＯＭ４２の条件データ格納部４２ｅに格納された更新条件を参照し決定し、更新条件が満たされた場合に眼球中心位置３０ａの更新（修正）を実行する。例えば、信頼度算出部５２で算出された信頼度のうち、少なくとも瞳孔３６である確からしさを示す瞳孔信頼度が第１の瞳孔閾値より高く、かつプルキニエ像である確からしさを示すプルキニエ信頼度が第１のプルキニエ閾値より高い場合に、更新条件が満たされたと判定し、眼球中心位置の更新を実行する。ここで、閾値データ格納部４２ｃに格納された第１の瞳孔閾値は、選択部５４がいずれの視線角度算出処理を実行するかを選択する場合に参照した第２の瞳孔閾値より高く（厳しく）設定されている。同様に、第１のプルキニエ閾値は、選択部５４がいずれの視線角度算出処理を実行するかを選択する場合に参照した第２のプルキニエ閾値より高く（厳しく）設定されている。したがって、より眼の検出精度がより高い場合に限り、眼球中心位置の更新が実施される。その結果、眼の検出が不安定、例えば、運転者３０２（対象者）の瞳孔３６やプルキニエ像３４が信頼度の高い状態で検出できない場合に、眼球モデル法（第２の視線角度算出処理）で利用される眼球中心位置３０ａが誤差を含む状態で更新されてしまうことを回避する。つまり、眼球モデル法による視線角度検出精度が低下することを防止するとともに、眼球中心位置３０ａの推定精度が向上することにより、眼球情報推定装置としての信頼度の向上にも寄与できる。
【0043】
処理部５６は、眼球中心位置３０ａの更新を行うか否かを判定する更新条件として、さらに、現在処理対象の画像の眼信頼度、顔の特徴点の３次元フィッティングの信頼度、前回算出した視線角度と今回算出した視線角度の変化量、対象者の顔の位置や顔向き角度のうち少なくとも一つを加えてもよい。例えば、眼信頼度が所定の眼閾値以下の場合、例えば、睫毛や眼鏡の枠等を眼と誤認識していると推定されるため、眼球中心位置３０ａの更新が禁止される。また、顔の特徴点の３次元フィッティングの信頼度が所定のフィッティング閾値以下の場合、例えば、運転者３０２の交代等が発生していたり、目頭や目尻等を瞳孔と誤認識していたりすると推定されるため、眼球中心位置３０ａの更新が禁止される。視線角度の変化量が、所定の角度変化閾値を超えて変化した場合、つまり、視線の動きが不安定な場合も、眼球中心位置３０ａの更新が禁止される。視線の動きが不安定となる原因としては、画面上の瞳孔３６の実際の位置または検出した位置が不安定（ぶれている）場合や、瞳孔３６やプルキニエ像３４の検出が不安定な場合等がある。また、運転者３０２の顔の位置が画像の所定の領域閾値から外れている場合、例えば、運転者３０２が座席２ｂの片寄った位置に着座していたり斜め姿勢で着座していたりして通常の運転姿勢を取っていない場合は、瞳孔３６の検出が不正確になるため、眼球中心位置３０ａの更新が禁止される。同様に、運転者３０２の顔の向きが画像において所定の方向閾値から外れている場合、例えば、正面を向いていない場合で、脇見をしていたり、居眠り等により下や上を向いていたりしている場合も、瞳孔３６の検出が不正確になるため、眼球中心位置３０ａの更新が禁止される。この他、瞼開度を判定条件に含めてもよい。瞼開度が所定の瞼閾値以下の場合、仮に瞳孔３６やプルキニエ像３４の検出ができたとしても、その検出精度は不正確になると推定されるため、眼球中心位置３０ａの更新を禁止するようにしてもよい。なお、各閾値は、ＲＯＭ４２の閾値データ格納部４２ｃに格納されている。
【0044】
処理部５６は、上述したように、眼球中心位置３０ａの更新を許可した場合、角膜反射法（第１の視線角度算出処理）で算出された視線角度Ｌに基づいて決定される３次元顔モデルに基づき、運転者３０２の眼の眼球中心位置３０ａの推定を行う。例えば、図８に示すように、検出部５０で検出した運転者３０２の顔の顔特徴点Ｐ（眼６０、鼻６２、口６４等の他輪郭等の顔特徴点）に対応するように、３次元顔モデルＭを画像上で移動、回転、縮小、拡大等して画像上の顔にフィッティングさせる。３次元顔モデルＭは、統計的顔形状モデルであり、３次元顔モデルＭの３次元顔座標上で眼６０の位置が定めれば、３次元顔モデルＭの内部に存在する図９に示す眼球３０も対応して、移動、回転、縮小、拡大等が行われる。その結果、３次元顔座標上での眼球３０の位置および眼球中心位置３０ａの座標が推定できる。この場合、処理部５６で角膜反射法（第１の視線角度算出処理）を用いて算出した視線角度Ｌを用いれば、画像上の顔に対する３次元顔モデルＭのフィッティング精度を向上することができる。つまり、３次元顔モデルＭにおける眼球中心位置３０ａの推定精度を向上することができる。処理部５６は、推定した眼球中心位置３０ａをＲＡＭ４４の顔モデル座標格納部４４ｃに格納する。このとき格納された眼球中心位置３０ａは、次回の処理で眼球モデル法（第２の視線角度算出処理）が実行される場合に、参照される。その結果、眼球モデル法による視線角度の算出精度を向上させることができる。
【0045】
なお、図５に示すモジュール構成は一例であり、同様な処理ができれば、機能の分割や統合は適宜可能である。
【0046】
以上にように構成される眼球情報推定装置１００による視線角度Ｌの算出および眼球中心位置３０ａの更新処理の流れの一例を図１０～図１３のフローチャートを用いて説明する。なお、図１０が主フローチャートであり、図１１が角膜反射法による視線角度算出処理の詳細フローチャート、図１２が眼球中心位置３０ａの推定更新処理の詳細フローチャート、図１３が眼球モデル法による視線角度算出処理の詳細フローチャートである。
【0047】
撮像部２０１および赤外線照射器２０３は、例えば、車両１の電源がＯＮされている状態で常時動作可能状態とされ、撮像部２０１は、座席２ｂに着座した運転者３０２の顔が存在する可能性のある領域を逐次撮像しているものとする。そして、撮像された撮像画像データは、取得部４８により、逐次ＲＡＭ４４に格納されるものとする。
【0048】
眼球情報推定装置１００は、動作を開始すると、まず、取得部４８は、ＲＯＭ４２の統計データ格納部４２ｂから予め統計的に定められた眼球中心位置（初期値：顔モデル座標データ）や３次元顔モデルＭ（初期モデル）を取得し、ＲＡＭ４４の顔モデル座標格納部４４ｃに格納する初期値設定を実行する（Ｓ１００）。続いて、検出部５０は、処理対象となる撮像画像データをカメラ画座標格納部４４ａから取得し（取得ステップ）、顔位置や顔部品（例えば、眼、鼻、口、骨格等）等を検出する顔位置検出を実行する（Ｓ１０２）。また、検出部５０は、検出された顔部品に対応する顔特徴点Ｐの検出を行う（Ｓ１０４）。さらに、検出部５０は、検出した顔特徴点Ｐを用いて、撮像画像データ（画像）上で検出された顔特徴点Ｐと３次元顔モデルＭ（初期モデル）で定められた顔特徴点Ｐとの３次元フィッティングを実行する（Ｓ１０６）。検出部５０は、３次元フィッティングによりフィッティングされて移動、回転、拡縮された３次元顔モデルＭに基づき、画面上の顔位置座標や顔向き角度を検出し、ＲＡＭ４４の顔モデル座標格納部４４ｃに格納する。
【0049】
続いて、検出部５０は、撮像画像データにおいて、検出された顔部品のうち、上まぶた及び下まぶたの間の近傍領域から瞳孔３６、瞳孔３６の中心位置３６ａ、プルキニエ像３４を検出する（Ｓ１０８：検出ステップ）。なお、検出部５０は、検出した瞳孔３６（中心位置３６ａの位置座標）、プルキニエ像３４（位置座標）をＲＡＭ４４の画面座標格納部４４ｂに格納する。次に、信頼度算出部５２は、閾値データ格納部４２ｃの各閾値データを参照して、画面座標格納部４４ｂに格納した瞳孔３６、プルキニエ像３４に対する信頼度を算出し（Ｓ１１０）、信頼度データ格納部４４ｄに格納する。
【0050】
選択部５４は、Ｓ１１０で算出した瞳孔３６の信頼度を用いて、視線角度算出処理を実行するか否かの判定を行い（Ｓ１１２）、その後、視線角度算出処理の方法を選択する（Ｓ１１４）。選択部５４は、瞳孔３６の信頼度の瞳孔スコアが第２の瞳孔閾値より高く（Ｓ１１２のＹｅｓ）、プルキニエ像３４の信頼度のプルキニエスコアが第２のプルキニエ閾値より高い場合（Ｓ１１４のＹｅｓ）、選択部５４は、角膜反射法（第１の視線角度算出処理）を選択する（選択ステップ）。そして、処理部５６は、角膜反射法による視線角度算出処理を実行する（Ｓ１１６）。
【0051】
図１１は、角膜反射法の一例を詳細に示すフローチャートである。処理部５６は、Ｓ１０８で検出したプルキニエ像３４の位置および瞳孔３６の位置を画面座標格納部４４ｂから取得する（Ｓ２００）。また、処理部５６は、Ｓ１０６の３次元フィッティングで取得した顔位置座標および顔向き角度を顔モデル座標格納部４４ｃから取得する（Ｓ２０２）。続いて、処理部５６は、取得した瞳孔３６の位置およびプルキニエ像３４の位置、顔位置座標、顔向き角度に基づき、カメラ座標系および顔モデル座標系における仮の眼球中心位置３０ａを算出し、それぞれカメラ画座標格納部４４ａ、顔モデル座標格納部４４ｃに格納する（Ｓ２０４）。また、処理部５６は、画面座標格納部４４ｂから取得した瞳孔３６の位置に基づきカメラ座標系の瞳孔３６の３次元位置を算出し、カメラ画座標格納部４４ａに格納する（Ｓ２０６）。そして、処理部５６は、仮の眼球中心位置３０ａおよび瞳孔３６の位置に基づき、視線角度の算出を行い（Ｓ２０８）、ＲＡＭ４４に保存し、一旦このフローを終了する。
【0052】
図１０に戻り、角膜反射法による視線角度算出処理が完了すると、処理部５６は眼球中心位置の推定更新処理を実行する（Ｓ１１８：処理ステップ）。
【0053】
図１２は、眼球中心位置の推定更新処理の一例を詳細に示すフローチャートでる。処理部５６は、Ｓ１１０で算出して信頼度データ格納部４４ｄに格納した、例えば、瞳孔信頼度、プルキニエ信頼度を取得する（Ｓ３００）。処理部５６は、瞳孔３６の信頼度の瞳孔スコアが第１の瞳孔閾値より高く（Ｓ３０２のＹｅｓ）、プルキニエ像３４の信頼度のプルキニエスコアが第１のプルキニエ閾値より高い場合（Ｓ３０４のＹｅｓ）、信頼度算出部５２に眼信頼度を算出させる（Ｓ３０６）。そして、処理部５６は、眼スコアが眼閾値より高い場合（Ｓ３０８のＹｅｓ）、Ｓ１１６で算出した今回処理の視線角度Ｌと前回処理で算出した視線角度Ｌとの変化量を算出する（Ｓ３１０）。なお、眼球情報推定装置１００が初回の処理を実行している場合、前回処理の視線角度は存在しないので、今回処理の角膜反射法で算出した視線角度がそのまま変化量となる。また、前回処理として、角膜反射法または眼球モデル法で視線角度が算出されている場合、前回処理で算出した視線角度と今回処理で算出した視線角度との差分が変化量となる。処理部５６は、算出した視線角度の変化量が、閾値データ格納部４２ｃから読み出した角度変化閾値未満の場合（Ｓ３１２のＹｅｓ）、今回処理のおける角膜反射法による視線角度算出処理は、良好に行われたと判定し、図８、図９で説明したように、算出した視線角度Ｌに基づいて決定される３次元顔モデルＭに基づき眼球中心位置３０ａを推定し、角膜反射法で仮算出した眼球中心位置３０ａを推定した眼球中心位置３０ａで更新（補正）する（Ｓ３１４）。処理部５６は、補正した眼球中心位置３０ａを顔モデル座標格納部４４ｃに格納（更新）する。なお、上述したように、視線角度Ｌの変化量が角度変化閾値未満になる場合に眼球中心位置３０ａを更新するようにしている。すなわち、視線角度Ｌが複数回（最低２回）連続して安定して算出された場合に、眼球中心位置３０ａの更新が実行されるようになる。その結果、眼球中心位置３０ａの更新信頼性を向上することができる。
【0054】
Ｓ３０２において瞳孔３６の信頼度の瞳孔スコアが第１の瞳孔閾値以下の場合（Ｓ３０２のＮｏ）、処理部５６は、瞳孔３６の検出精度が低いと判定して眼球中心位置３０ａの更新は実行しない（Ｓ３１６）。また、Ｓ３０４において、プルキニエ像３４の信頼度のプルキニエスコアが第１のプルキニエ閾値以下の場合（Ｓ３０４のＮｏ）、処理部５６はプルキニエ像３４の検出精度が低いと判定する。また、Ｓ３０８において、眼スコアが眼閾値以下の場合（Ｓ３０８のＮｏ）、処理部５６は、眼６０の検出精度が低いと判定する。また、Ｓ３１２において、視線角度の変化量が角度変化閾値より大きい場合（Ｓ３１２のＮｏ）、処理部５６は例えば、顔の検出精度が低いと判定する。つまり、いずれも場合も、角膜反射法で算出した視線角度に基づいて決定される３次元顔モデルに基づく眼球中心位置３０ａの推定精度は低くなると判定し、眼球中心位置３０ａの更新は実行しない（Ｓ３１６）。
【0055】
図１０に戻り、Ｓ１１８の眼球中心位置の推定更新処理が完了すると、一旦このフローを終了する。また、Ｓ１１４において、プルキニエ像３４の信頼度のプルキニエスコアが第２のプルキニエ閾値以下の場合（Ｓ１１４のＮｏ）、選択部５４は、眼球モデル法（第２の視線角度算出処理）を選択し（選択ステップ）、処理部５６は、眼球モデル法による視線角度算出処理を実行する（Ｓ１２０）。
【0056】
図１３は、眼球モデル法の一例を詳細に示すフローチャートである。処理部５６は、眼球モデル法を初回に実行する場合は、Ｓ１００で顔モデル座標格納部４４ｃに格納した初期値としての統計的な眼球中心位置３０ａを取得する（Ｓ４００）。なお、Ｓ３１４で、眼球中心位置３０ａが更新されている場合は、更新済みの眼球中心位置３０ａを取得する（Ｓ４００）。また、処理部５６は、Ｓ１０８で検出した瞳孔３６の位置を画面座標格納部４４ｂから取得する（Ｓ４０２）。また、処理部５６は、Ｓ１０６の３次元フィッティングで取得した顔位置座標および顔向き角度を顔モデル座標格納部４４ｃから取得する（Ｓ４０４）。処理部５６は、取得した眼球中心位置３０ａ、顔位置座標、顔向き角度に基づき、カメラ座標系における眼球中心位置３０ａを算出し、カメラ画座標格納部４４ａに格納する（Ｓ４０６）。また、処理部５６は、瞳孔３６の位置に基づきカメラ座標系における瞳孔３６の３次元位置を算出し、カメラ画座標格納部４４ａに格納する（Ｓ４０８）。そして、処理部５６は、カメラ座標系における眼球中心位置３０ａおよび瞳孔３６の位置に基づき、視線角度の算出を行い（Ｓ４１０）、ＲＡＭ４４に保存する。ここで保存される視線角度は、Ｓ３１０で視線角度変化量を算出す際にも参照される。
【0057】
図１０に戻り、Ｓ１２０で眼球モデル法による視線角度算出処理が完了した場合、Ｓ１１８の眼球中心位置の推定更新処理を実行することなく、このフローを一旦終了する。また、Ｓ１１２において、瞳孔３６の信頼度の瞳孔スコアが第２の瞳孔閾値以下の場合（Ｓ１１２のＮｏ）、選択部５４は、瞳孔３６が実質的に検出できていないと判定し、視線角度算出処理を中止し（Ｓ１２２）、このフローを一旦終了する。
【0058】
このように、本実施形態の眼球情報推定装置１００によれば、所定の更新条件が満たされた場合のみ、例えば瞳孔信頼度、プルキニエ信頼度等が所定の閾値より高い場合のみ、眼球中心位置３０ａの更新を実行する。その結果、眼球中心位置が信頼度の低い値によって推定されてしまうことを回避することができる。したがって、以降の処理で眼球中心位置を用いた視線角度算出精度の低下を抑制し、全体として視線算出角度の算出精度の維持または向上に寄与できる。
【0059】
なお、図１２に示すフローチャートでは、更新条件として、瞳孔信頼度、プルキニエ信頼度、眼信頼度、視線角度の信頼度を用いる場合を示したが、更新条件は一例であり、少なくとも瞳孔信頼度、プルキニエ信頼度が含まれれば、更新条件の増減は適宜可能である。例えば、運転者３０２の顔の特徴点の３次元フィッティングの信頼度が所定のフィッティング閾値より高いこと、運転者３０２の顔の位置が画像の所定領域内であること、運転者３０２の顔の向きが画像において所定方向を向いていること、瞼開度が所定の瞼閾値を超えていること、等の更新条件から少なくとも一つを選択し、追加することができる。このように、更新条件の数を増減することにより、眼球中心位置３０ａの信頼度の調整、しいては眼球情報推定装置１００の信頼度の調整が可能になる。
【0060】
なお、上述した実施形態では、眼球情報推定装置１００を車両１の座席２ｂに着座している運転者３０２に対して適用した場合を説明したが、車両１の他の座席２ｂに着座する他の乗員に対して適用しても同様の効果を得ることができる。また、車両１に乗車している人に限らず、測定室等の室内で椅子等に着座している人または立っている人等、撮像部２０１の撮像範囲に顔が存在する人に対しても適用可能であり、同様の効果を得ることができる。
【0061】
本実施形態のＣＰＵ４０で実行される眼球情報推定処理のためのプログラム（眼球情報推定プログラム）は、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0062】
さらに、眼球情報推定プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される眼球情報推定プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0063】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0064】
１…車両、２ｂ…座席、３０…眼球、３０ａ…眼球中心位置、３２…角膜、３４…プルキニエ像、３６…瞳孔、３６ａ…中心位置、４０…ＣＰＵ、４２…ＲＯＭ、４２ａ…眼球情報推定プログラム、４２ｂ…統計データ格納部、４２ｃ…閾値データ格納部、４２ｄ…学習済みデータ格納部、４２ｅ…条件データ格納部、４４…ＲＡＭ、４４ａ…カメラ画座標格納部、４４ｂ…画面座標格納部、４４ｃ…顔モデル座標格納部、４４ｄ…信頼度データ格納部、４８…取得部、５０…検出部、５２…信頼度算出部、５４…選択部、５６…処理部、１００…眼球情報推定装置、２０１…撮像部、２０３…赤外線照射器、３０２…運転者、Ｌ…視線角度、Ｍ…３次元顔モデル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】