ホーム > 特許ランキング > 国立大学法人静岡大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6687195
(24)【登録日】2020年4月6日
(45)【発行日】2020年4月22日
(54)【発明の名称】眼部画像処理装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20200413BHJP
A61B 3/10 20060101ALI20200413BHJP
【ＦＩ】
G06F3/01 510
A61B3/10
【請求項の数】11
【全頁数】36
(21)【出願番号】特願2016-159290(P2016-159290)
(22)【出願日】2016年8月15日
(65)【公開番号】特開2018-28728(P2018-28728A)
(43)【公開日】2018年2月22日
【審査請求日】2019年7月30日
(73)【特許権者】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】海老澤 嘉伸
【審査官】
木村 慎太郎
(56)【参考文献】
【文献】
特開２０１４−９４１８６（ＪＰ，Ａ）
【文献】
国際公開第２０１２／０２０７６０（ＷＯ，Ａ１）
【文献】
米国特許第１０５２８１３１（ＵＳ，Ｂ２）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｆ３／０１
Ａ６１Ｂ３／１０
(57)【特許請求の範囲】
【請求項1】
対象者の眼を撮像することにより眼画像を取得するカメラと、
前記カメラの開口部中心からの距離が第１の距離の位置に配置された第１の光源と、
前記開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置された第２の光源と、
前記第１の光源及び前記第２の光源の点灯タイミング及び発光量を制御する点灯制御部と、
前記第１の光源及び前記第２の光源の点灯タイミングに合わせて前記カメラによって取得された前記眼画像である明瞳孔画像と、前記第１の光源の消灯タイミングに合わせて前記カメラによって取得された前記眼画像である暗瞳孔画像との差分画像を基に前記対象者の瞳孔像の位置を算出するとともに、前記明瞳孔画像を基に前記第１の光源及び前記第２の光源の点灯によって生じた前記対象者の角膜反射像の位置を算出する算出部とを備え、
前記算出部は、前記角膜反射像の輝度値を基に前記明瞳孔画像の取得時の前記第１の光源の前記カメラの露光期間内の発光量と前記第２の光源の前記カメラの露光期間内の発光量との和を変更するように制御するとともに、前記瞳孔像の輝度値を基に前記明瞳孔画像の取得時の前記第１の光源の前記カメラの露光期間内の発光量を変更するように制御する、
眼部画像処理装置。
前記カメラの開口部中心からの距離が第１の距離の位置に配置された第１の光源と、
前記開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置された第２の光源と、
前記第１の光源及び前記第２の光源の点灯タイミング及び発光量を制御する点灯制御部と、
前記第１の光源及び前記第２の光源の点灯タイミングに合わせて前記カメラによって取得された前記眼画像である明瞳孔画像と、前記第１の光源の消灯タイミングに合わせて前記カメラによって取得された前記眼画像である暗瞳孔画像との差分画像を基に前記対象者の瞳孔像の位置を算出するとともに、前記明瞳孔画像を基に前記第１の光源及び前記第２の光源の点灯によって生じた前記対象者の角膜反射像の位置を算出する算出部とを備え、
前記算出部は、前記角膜反射像の輝度値を基に前記明瞳孔画像の取得時の前記第１の光源の前記カメラの露光期間内の発光量と前記第２の光源の前記カメラの露光期間内の発光量との和を変更するように制御するとともに、前記瞳孔像の輝度値を基に前記明瞳孔画像の取得時の前記第１の光源の前記カメラの露光期間内の発光量を変更するように制御する、
眼部画像処理装置。
【請求項2】
前記算出部は、前記角膜反射像の輝度値と所定の目標値との関係に比例して前記明瞳孔画像の取得時の前記第１の光源の前記発光量と前記第２の光源の前記発光量との和を増減させるように制御するとともに、前記瞳孔像の輝度値と所定の目標値との関係に比例して前記明瞳孔画像の取得時の前記第１の光源の前記発光量を増減させるように制御する、
請求項１記載の眼部画像処理装置。
請求項１記載の眼部画像処理装置。
【請求項3】
前記算出部は、前記角膜反射像の輝度値と所定の目標値との関係に比例して前記明瞳孔画像の取得時の前記第１の光源の前記発光量と前記第２の光源の前記発光量との和を増減させるように制御するとともに、前記瞳孔像の輝度値が所定の目標値よりも小さい場合には、前記明瞳孔画像の取得時の前記第１の光源の前記発光量を増加させ、前記明瞳孔画像の取得時の前記第２の光源の前記発光量を減少させ、前記瞳孔像の輝度値が所定の目標値よりも大きい場合には、前記明瞳孔画像の取得時の前記第１の光源の前記発光量を減少させ、前記明瞳孔画像の取得時の前記第２の光源の前記発光量を増加させるように制御する、
請求項１記載の眼部画像処理装置。
請求項１記載の眼部画像処理装置。
【請求項4】
前記算出部は、前記角膜反射像の輝度値が飽和しないように前記発光量の和を制御する、
請求項２又は３記載の眼部画像処理装置。
請求項２又は３記載の眼部画像処理装置。
【請求項5】
前記算出部は、
前記明瞳孔画像と前記第１の光源の消灯タイミングにおける前記第２の光源の点灯タイミングに合わせて前記カメラによって取得された前記暗瞳孔画像との差分画像を基に、前記対象者の瞳孔像の位置を算出するとともに、前記暗瞳孔画像を基に前記第２の光源の点灯によって生じた前記対象者の角膜反射像の位置をさらに算出し、
前記角膜反射像の輝度値を基に前記暗瞳孔画像の取得時の前記第２の光源の前記発光量を変更するようにさらに制御する
請求項１〜４のいずれか１項に記載の眼部画像処理装置。
前記明瞳孔画像と前記第１の光源の消灯タイミングにおける前記第２の光源の点灯タイミングに合わせて前記カメラによって取得された前記暗瞳孔画像との差分画像を基に、前記対象者の瞳孔像の位置を算出するとともに、前記暗瞳孔画像を基に前記第２の光源の点灯によって生じた前記対象者の角膜反射像の位置をさらに算出し、
前記角膜反射像の輝度値を基に前記暗瞳孔画像の取得時の前記第２の光源の前記発光量を変更するようにさらに制御する
請求項１〜４のいずれか１項に記載の眼部画像処理装置。
【請求項6】
前記算出部は、前記暗瞳孔画像の取得時の前記第２の光源の前記発光量と、前記明瞳孔画像の取得時の前記第１の光源の前記発光量との関係を補正するように制御する、
請求項５に記載の眼部画像処理装置。
請求項５に記載の眼部画像処理装置。
【請求項7】
前記開口部中心からの距離が第１の距離よりも大きい第３の距離の位置に配置された第３の光源をさらに備え、
前記点灯制御部は、前記第３の光源の点灯タイミング及び発光量をさらに制御し、
前記算出部は、
前記明瞳孔画像と前記第１の光源の消灯タイミングにおける前記第３の光源の点灯タイミングに合わせて前記カメラによって取得された前記暗瞳孔画像との差分画像を基に、前記対象者の瞳孔像の位置を算出するとともに、前記暗瞳孔画像を基に前記第３の光源の点灯によって生じた前記対象者の角膜反射像の位置をさらに算出し、
前記角膜反射像の輝度値を基に前記暗瞳孔画像の取得時の前記第３の光源の前記カメラの露光期間内の発光量を変更するようにさらに制御する
請求項１〜３のいずれか１項に記載の眼部画像処理装置。
前記点灯制御部は、前記第３の光源の点灯タイミング及び発光量をさらに制御し、
前記算出部は、
前記明瞳孔画像と前記第１の光源の消灯タイミングにおける前記第３の光源の点灯タイミングに合わせて前記カメラによって取得された前記暗瞳孔画像との差分画像を基に、前記対象者の瞳孔像の位置を算出するとともに、前記暗瞳孔画像を基に前記第３の光源の点灯によって生じた前記対象者の角膜反射像の位置をさらに算出し、
前記角膜反射像の輝度値を基に前記暗瞳孔画像の取得時の前記第３の光源の前記カメラの露光期間内の発光量を変更するようにさらに制御する
請求項１〜３のいずれか１項に記載の眼部画像処理装置。
【請求項8】
前記カメラと前記第１の光源と前記第２の光源とを含む光学系を少なくとも２つ以上備え、
前記算出部は、前記２つ以上の光学系のそれぞれによって取得された眼画像を対象にして、前記瞳孔像の位置及び前記角膜反射像の位置を算出し、前記瞳孔像の位置及び前記角膜反射像の位置を基に前記対象者の視線方向を算出する、
請求項１〜７のいずれか１項に記載の眼部画像処理装置。
前記算出部は、前記２つ以上の光学系のそれぞれによって取得された眼画像を対象にして、前記瞳孔像の位置及び前記角膜反射像の位置を算出し、前記瞳孔像の位置及び前記角膜反射像の位置を基に前記対象者の視線方向を算出する、
請求項１〜７のいずれか１項に記載の眼部画像処理装置。
【請求項9】
前記算出部は、
前記２つ以上の光学系によって取得された前記眼画像上の前記瞳孔像の位置を基に前記対象者の瞳孔の３次元座標を算出し、
前記瞳孔の３次元座標と、前記２つ以上の光学系のうちの１つの光学系によって取得された前記眼画像上の前記瞳孔像の位置及び前記角膜反射像の位置と、を基に前記視線方向を算出する、
請求項８に記載の眼部画像処理装置。
前記２つ以上の光学系によって取得された前記眼画像上の前記瞳孔像の位置を基に前記対象者の瞳孔の３次元座標を算出し、
前記瞳孔の３次元座標と、前記２つ以上の光学系のうちの１つの光学系によって取得された前記眼画像上の前記瞳孔像の位置及び前記角膜反射像の位置と、を基に前記視線方向を算出する、
請求項８に記載の眼部画像処理装置。
【請求項10】
前記算出部は、
前記１つの光学系によって取得された前記眼画像上に前記２以上の光学系によって生じた複数の角膜反射像が検出された場合には、前記瞳孔の３次元座標及び前記複数の角膜反射像の位置とを基に、前記１つの光学系によって生じた前記眼画像上の前記角膜反射像の位置を決定し、当該角膜反射像の位置を基に前記視線方向を算出する、
請求項９に記載の眼部画像処理装置。
前記１つの光学系によって取得された前記眼画像上に前記２以上の光学系によって生じた複数の角膜反射像が検出された場合には、前記瞳孔の３次元座標及び前記複数の角膜反射像の位置とを基に、前記１つの光学系によって生じた前記眼画像上の前記角膜反射像の位置を決定し、当該角膜反射像の位置を基に前記視線方向を算出する、
請求項９に記載の眼部画像処理装置。
【請求項11】
前記算出部は、
前記眼画像上の前記複数の角膜反射像のペアーを選択し、前記角膜反射像のペアーを結んだ線の角度及び当該ペアーの距離を基に、前記１つの光学系によって生じた前記角膜反射像を含む前記角膜反射像のペアーを決定し、当該角膜反射像のペアーから前記１つの光学系によって生じた前記角膜反射像を特定する、
請求項１０に記載の眼部画像処理装置。
前記眼画像上の前記複数の角膜反射像のペアーを選択し、前記角膜反射像のペアーを結んだ線の角度及び当該ペアーの距離を基に、前記１つの光学系によって生じた前記角膜反射像を含む前記角膜反射像のペアーを決定し、当該角膜反射像のペアーから前記１つの光学系によって生じた前記角膜反射像を特定する、
請求項１０に記載の眼部画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の画像から瞳孔及び角膜反射を検出する眼部画像処理装置に関する。
【背景技術】
【0002】
近年、近赤外光源等の光源とビデオカメラを使用した視線検出装置が普及しつつある。このような視線検出装置では、ビデオカメラに対する被験者の視線方向の角度の変化によりビデオカメラで得られる画像中の瞳孔と角膜反射との位置関係が変化することを用いて、視線方向を検出する方法である。具体的には、瞳孔の中心と角膜反射との間のベクトルと、そのベクトルのビデオカメラの座標系の座標軸に対する角度とを取得し、これらから視線方向を検出する（下記特許文献１）。
【0003】
このような視線検出装置による視線又は注視点を検出する技術において、画像中の瞳孔及び角膜反射の位置を正確に求めることが重要である。従来の視線検出装置は、瞳孔を相対的に明るくする傾向を有する光を対象者の顔に照射して画像（明瞳孔画像）を取得し、瞳孔を相対的に暗くする傾向を有する光を対象者の顔に照射して画像（暗瞳孔画像）を取得する。その後、それらの画像を利用して差分画像を算出することにより、対象者の瞳孔を検出する。そして、画像中に検出された瞳孔の位置及び角膜反射の位置を利用して視線方向を検出する。
【0004】
このような差分画像に基づく瞳孔検出の方法においては、瞳孔検出精度の向上のためには明瞳孔画像と暗瞳孔画像において瞳孔以外の部分の輝度が同一であることが望まれる。そのため、下記特許文献２に記載の瞳孔検出装置では、カメラのフレーム毎に明瞳孔画像及び暗瞳孔画像における瞳孔近傍の輝度平均等を計測し、両者の輝度平均のバランスが取れるように明瞳孔取得用光源及び暗瞳孔取得用光源のパワーを調整する手法を採用している。さらに、この瞳孔検出装置では、差分画像中の瞳孔輝度を計測して、その瞳孔輝度の目標値に対する比を算出し、その比に基づいて明瞳孔取得用光源及び暗瞳孔取得用光源のパワーを調整する手法も採用している。これにより、光学系からの対象者の距離、又は対象者の瞳孔の大きさによらず、差分画像の瞳孔部の輝度値を一定に保つことができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００５−１８５４３１号公報
【特許文献2】特開２０１６−９３２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した特許文献２に記載の瞳孔検出装置では、明瞳孔取得用光源及び暗瞳孔取得用光源のパワーを調整する手法により、得られた差分画像において検出される瞳孔の位置の精度が向上する。一方で、上記瞳孔検出装置では、光学系からの対象者の距離、又は対象者の瞳孔の大きさによっては、画像中の角膜反射の位置の検出精度が低下する場合があった。例えば、対象者の瞳孔が大きくなった場合、瞳孔輝度が高くなるのに応じて光源のパワーが下げられ、結果的に角膜反射の輝度も比例して小さくなるため、角膜反射の検出精度が低下しやすい。
【0007】
また、対象者の頭部が光学系に近づくと瞳孔が暗くなり、対象者の頭部が光学系から遠ざかると瞳孔が明るくなる傾向があるため、上記瞳孔検出装置では、対象者の頭部と光学系との距離が変化した場合に、差分画像中の瞳孔の輝度が目標値に近づくように光源のパワーを制御する。そのため、対象者の頭部が光学系から離れた場合に角膜反射の検出精度が低下する場合があった。
【0008】
本発明は、上記課題に鑑みて為されたものであり、光学系と対象者との距離、及び対象者の瞳孔の大きさにかかわらず、画像中の角膜反射の検出精度を向上させることが可能な眼部画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明の一形態にかかる眼部画像処理装置は、対象者の眼を撮像することにより眼画像を取得するカメラと、カメラの開口部中心からの距離が第１の距離の位置に配置された第１の光源と、開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置された第２の光源と、第１の光源及び第２の光源の点灯タイミング及び発光量を制御する点灯制御部と、第１の光源及び第２の光源の点灯タイミングに合わせてカメラによって取得された眼画像である明瞳孔画像と、第１の光源の消灯タイミングに合わせてカメラによって取得された眼画像である暗瞳孔画像との差分画像を基に対象者の瞳孔像の位置を算出するとともに、明瞳孔画像を基に第１の光源及び第２の光源の点灯によって生じた対象者の角膜反射像の位置を算出する算出部とを備え、算出部は、角膜反射像の輝度値を基に明瞳孔画像の取得時の第１の光源のカメラの露光期間内の発光量と第２の光源のカメラの露光期間内の発光量との和を変更するように制御するとともに、瞳孔像の輝度値を基に明瞳孔画像の取得時の第１の光源のカメラの露光期間内の発光量を変更するように制御する。
【0010】
上記形態の眼部画像処理装置によれば、カメラの開口部中心から比較的近い位置に配置された第１の光源及びその開口部中心から比較的遠い位置に配置された第２の光源の点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、第１の光源の消灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に暗く写った明瞳孔画像が得られ、明瞳孔画像と暗瞳孔画像との差分画像を用いて対象者の瞳孔像の位置が算出され、明瞳孔画像を基に角膜反射像の位置が算出される。このとき、角膜反射像の輝度値を基に明瞳孔画像の取得時の第１及び第２の光源の発光量の和が変更されることにより、明瞳孔画像における角膜反射の輝度値を安定化することができる。それと同時に、瞳孔像の輝度値を基に明瞳孔画像の取得時の第１の光源の発光量が変更されることにより、差分画像における瞳孔像の輝度を安定化することができる。その結果、光学系と対象者との距離、及び対象者の瞳孔の大きさにかかわらず、画像中の瞳孔及び角膜反射の両方の検出精度を向上させることができる。
【0011】
ここで、算出部は、角膜反射像の輝度値と所定の目標値との関係に比例して明瞳孔画像の取得時の第１の光源の発光量と第２の光源の発光量との和を増減させるように制御するとともに、瞳孔像の輝度値と所定の目標値との関係に比例して明瞳孔画像の取得時の第１の光源の発光量を増減させるように制御する、こととしてもよい。この場合、明瞳孔画像における角膜反射像の輝度値を目標値に近づけることができるとともに、差分画像における瞳孔像の輝度値を目標値に近づけることができる。その結果、画像中の瞳孔及び角膜反射の両方の検出精度を確実に向上させることができる。
【0012】
また、算出部は、角膜反射像の輝度値と所定の目標値との関係に比例して明瞳孔画像の取得時の第１の光源の発光量と第２の光源の発光量との和を増減させるように制御するとともに、瞳孔像の輝度値が所定の目標値よりも小さい場合には、明瞳孔画像の取得時の第１の光源の発光量を増加させ、明瞳孔画像の取得時の第２の光源の発光量を減少させ、瞳孔像の輝度値が所定の目標値よりも大きい場合には、明瞳孔画像の取得時の第１の光源の発光量を減少させ、明瞳孔画像の取得時の第２の光源の発光量を増加させるように制御する、こととしてもよい。この場合も、明瞳孔画像における角膜反射像の輝度値を目標値に近づけることができるとともに、差分画像における瞳孔像の輝度値を目標値に近づけることができる。その結果、画像中の瞳孔及び角膜反射の両方の検出精度を確実に向上させることができる。
【0013】
また、算出部は、角膜反射像の輝度値が飽和しないように発光量の和を制御する、こととしてもよい。こうすれば、画像中の角膜反射の検出精度を向上させることができ、画像中の眼鏡反射光との区別も容易となる。
【0014】
また、算出部は、明瞳孔画像と第１の光源の消灯タイミングにおける第２の光源の点灯タイミングに合わせてカメラによって取得された暗瞳孔画像との差分画像を基に、対象者の瞳孔像の位置を算出するとともに、暗瞳孔画像を基に第２の光源の点灯によって生じた対象者の角膜反射像の位置をさらに算出し、角膜反射像の輝度値を基に暗瞳孔画像の取得時の第２の光源の発光量を変更するようにさらに制御する、こととしてもよい。この場合には、カメラの開口部中心からの距離が異なる２つの光源のそれぞれの点灯タイミングに合わせて明瞳孔画像及び暗瞳孔画像を取得し、それらの差分画像を用いて瞳孔像を検出することで、差分画像における瞳孔の検出精度を確保することができる。加えて、暗瞳孔画像における角膜反射の位置も算出することができ、時間的連続性を保って角膜反射の位置を精度よく算出することができる。
【0015】
また、算出部は、暗瞳孔画像の取得時の第２の光源の発光量と、明瞳孔画像の取得時の第１の光源の発光量との関係を補正するように制御する、こととしてもよい。この場合には、明瞳孔画像の瞳孔部以外の輝度値と暗瞳孔画像の瞳孔部以外の輝度値とのバランスを保つことができ、差分画像における瞳孔の検出精度をさらに向上させることができる。
【0016】
さらに、開口部中心からの距離が第１の距離よりも大きい第３の距離の位置に配置された第３の光源をさらに備え、点灯制御部は、第３の光源の点灯タイミング及び発光量をさらに制御し、算出部は、明瞳孔画像と第１の光源の消灯タイミングにおける第３の光源の点灯タイミングに合わせてカメラによって取得された暗瞳孔画像との差分画像を基に、対象者の瞳孔像の位置を算出するとともに、暗瞳孔画像を基に第３の光源の点灯によって生じた対象者の角膜反射像の位置をさらに算出し、角膜反射像の輝度値を基に暗瞳孔画像の取得時の第３の光源のカメラの露光期間内の発光量を変更するようにさらに制御する、こととしてもよい。この場合にも、カメラの開口部中心からの距離が異なる２つの光源のそれぞれの点灯タイミングに合わせて明瞳孔画像及び暗瞳孔画像を取得し、それらの差分画像を用いて瞳孔像を検出することで、差分画像における瞳孔の検出精度を確保することができる。加えて、暗瞳孔画像における角膜反射の位置も算出することができ、時間的連続性を保って角膜反射の位置を精度よく算出することができる。
【0017】
またさらに、カメラと第１の光源と第２の光源とを含む光学系を少なくとも２つ以上備え、算出部は、２つ以上の光学系のそれぞれによって取得された眼画像を対象にして、瞳孔像の位置及び角膜反射像の位置を算出し、瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出する、こととしてもよい。かかる構成を採れば、２つ以上のカメラによって取得された眼画像を対象にして算出された瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出することで、高精度の視線検出を実現することができる。
【0018】
さらにまた、算出部は、２つ以上の光学系によって取得された眼画像上の瞳孔像の位置を基に対象者の瞳孔の３次元座標を算出し、瞳孔の３次元座標と、２つ以上の光学系のうちの１つの光学系によって取得された眼画像上の瞳孔像の位置及び角膜反射像の位置と、を基に視線方向を算出する、こととしてもよい。こうすれば、２つ以上のカメラによって取得された眼画像を対象にして算出された瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出することで、高精度の視線検出を実現することができる。
【0019】
また、算出部は、１つの光学系によって取得された眼画像上に２以上の光学系によって生じた複数の角膜反射像が検出された場合には、瞳孔の３次元座標及び複数の角膜反射像の位置とを基に、１つの光学系によって生じた眼画像上の角膜反射像の位置を決定し、当該角膜反射像の位置を基に視線方向を算出する、こととしてもよい。この場合、１つの光学系に含まれるカメラで取得された眼画像上の複数の角膜反射像の中から、その光学系に含まれる光源によって生じた角膜反射像を決定し、その角膜反射像の位置を基に視線方向を検出することにより、視線方向を正しく検出することができる。
【0020】
さらに、算出部は、眼画像上の複数の角膜反射像のペアーを選択し、角膜反射像のペアーを結んだ線の角度及び当該ペアーの距離を基に、１つの光学系によって生じた角膜反射像を含む角膜反射像のペアーを決定し、当該角膜反射像のペアーから１つの光学系によって生じた角膜反射像を特定する、こととしてもよい。この場合、１つの光学系に含まれるカメラで取得された眼画像上の複数の角膜反射像の中から、その光学系に含まれる光源によって生じた角膜反射像を精度よく決定することができる。結果として、視線方向を正しく検出することができる。
【発明の効果】
【0021】
本発明によれば、光学系と対象者との距離、及び対象者の瞳孔の大きさにかかわらず、画像中の角膜反射の検出精度を向上させることができる。
【図面の簡単な説明】
【0022】
【図1】第１実施形態にかかる瞳孔検出装置の概略構成を示す図である。
【図9】第１実施形態にかかる視線検出装置の機能構成を示すブロック図である。
【図10】第２実施形態にかかる照明装置を筐体の外側から見た平面図である。
【図11】第２実施形態にかかる制御装置によって制御された各光源の点灯タイミングを示すタイミングチャートである。
【図12】第２実施形態にかかる瞳孔検出装置によって得られた眼画像データの輝度の一次元分布を示すグラフである。
【図13】第２実施形態にかかる瞳孔検出装置によって得られた眼画像データの輝度の一次元分布を示すグラフである。
【図14】第２実施形態にかかる瞳孔検出装置によって得られた眼画像データの輝度の一次元分布を示すグラフである。
【図15】第３実施形態にかかる制御装置によって制御された各光源の点灯タイミングを示すタイミングチャートである。
【図16】第４実施形態にかかる照明装置を筐体の外側から見た平面図である。
【図17】第４実施形態にかかる制御装置によって制御された各光源の点灯タイミングを示すタイミングチャートである。
【図18】第５実施形態にかかる照明装置を筐体の外側から見た平面図である。
【図19】第６実施形態にかかる照明装置を筐体の外側から見た平面図である。
【図20】変形例にかかる照明装置を筐体の外側から見た平面図である。
【図21】変形例にかかる照明装置を筐体の外側から見た平面図である。
【図22】実施形態にかかる視線検出装置の機能構成を示すブロック図である。
【図25】第７実施形態にかかる視線検出装置の機能を説明するための図である。
【図26】第７実施形態にかかる視線検出装置の機能を説明するための図である。
【図27】第７実施形態にかかる視線検出装置の機能を説明するための図である。
【図28】第２実施形態の変形例にかかる照明装置を筐体の外側から見た平面図である。
【図29】第２実施形態の別の変形例にかかる照明装置を筐体の外側から見た平面図である。
【発明を実施するための形態】
【0023】
以下、図面を参照しつつ本発明に係る眼部画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0024】
（第１実施形態）［瞳孔検出装置］
【0025】
図１に示されるように、本発明の一実施形態である瞳孔検出装置１は、カメラ２と、照明装置（光源）３と、制御装置４と、を備えている。カメラ２は、筐体５と、筐体５内に収容されたＣＣＤ、ＣＭＯＳ等の撮像素子６と、筐体５内に収容された対物レンズ７とを有する。このカメラ２は、画像の１つのフレームの取得時間間隔が非常に短い高速度カメラであってもよいし、いわゆる中速度カメラ、又は６０Ｈｚ程度のフレームレートを有するカメラであってもよい。筐体５は、観察対象者の眼球Ａと対向する面に形成された円形状の開口部８を有する。対物レンズ７は、開口部８と撮像素子６との間に配置されている。対物レンズ７の光軸Ｌ０は、開口部８の中心軸線と一致している。撮像素子６は、その受光面が対物レンズ７の光軸Ｌ０に対して垂直に交わるように固定されている。撮像素子６は、対象者の眼球Ａの像を撮像することによって眼画像データを生成して制御装置４に出力する。制御装置４は、照明装置３の発光強度、点灯タイミング、及び点灯期間、並びにカメラ２の撮像タイミング及び撮像期間を制御する。また、制御装置４は、撮像素子６から出力された眼画像データに基づいて差分処理、瞳孔検出処理、及び角膜反射検出処理を実行する。すなわち、制御装置４は、瞳孔検出手段及び角膜反射検出手段としても機能する。
【0026】
なお、開口部８の径は、対物レンズ７の径に比較して小さく、対物レンズ７の有効径と略同程度である。このような構成により、対象者の眼球Ａ付近の像は、開口部８を経てカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７を含む光学系によって、撮像素子６の受光面に収束するように結像される。
【0027】
照明装置３は、対象者の顔に向けて照明光を出射する。図２に示されるように、照明装置３は、ケーシング９と、ケーシング９に埋め込まれた光源３Ａ，３Ｂを有する。ケーシング９は、開口部８の縁部に沿って開口部８の外側を覆うように筐体５に取り付けられている。光源３Ａ，３Ｂは、いずれも対物レンズ７の光軸Ｌ０に沿って照明光を出射するようにケーシング９上に設けられている。
【0028】
光源（第１の光源）３Ａは、明瞳孔画像を得るための照明光（第１の照明光）を、対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。光源３Ａは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的近い第１の距離Ｄ１の位置に配置されている。具体的には、光源３Ａを構成する発光素子は、ケーシング９上で、開口部８の外側において開口部８の縁に沿って等間隔でリング状に配設されている。光源３Ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源３Ａにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。
【0029】
光源（第２の光源）３Ｂは、暗瞳孔画像を得るための照明光（第２の照明光）を、対象者の顔に向けて照射するための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。光源３Ｂは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的遠い第２の距離Ｄ２の位置に配置されている。この第２の距離Ｄ２は第１の距離Ｄ１より大きい。具体的には、光源３Ｂを構成する発光素子は、ケーシング９上で、光源３Ａから開口部８の外側に離間して等間隔でリング状に配設されている。この光源３Ｂは、明瞳孔画像及び暗瞳孔画像の取得時において角膜反射を生じさせるための光源としても共用される。
【0030】
上記の光源３Ａから対象者の眼球Ａに照明光が出射されるタイミング（点灯タイミング）でカメラ２によって瞳孔が撮像されると明瞳孔画像が取得され、光源３Ａからの照明光が消灯されたタイミング（消灯タイミング）であって、上記の光源３Ｂから対象者の眼球Ａに照明光が出射されるタイミング（点灯タイミング）でカメラ２によって瞳孔が撮像されると暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、眼球Ａへの照明光がカメラ２の光軸Ｌ０から相対的に離れた位置から入射した場合には、眼球Ａの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ２に届きにくいため、瞳孔が相対的に暗く映るという性質である。
【0031】
ここで、光源３Ａの出力光の中心波長は、光源３Ｂの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。ただし、明瞳孔画像取得用の光源である光源３Ａは、網膜を反射して戻ってくる光の輝度が強い点で、例えば、８５０ｎｍ等の９００ｎｍ付近より短い出力光の波長の光源を用いることが望ましい。同様に、暗瞳孔取得用の光源である光源３Ｂは、網膜を反射して戻ってくる光の輝度が弱い点で、例えば、９５０ｎｍ等の９００ｎｍ付近より長い出力光の波長の光源を用いることが望ましい。一方で、長い波長の光源の発光パワーは弱くカメラの感度も一般に長波長になるに従って低くなるため、光源３Ｂは、光源３Ａに比べて２倍程度の数の発光素子を備えることが好ましい。多数の発光素子を配置する余地が無い場合には、光源３Ｂは２重のリング状に発光素子が配置された構造であってもよい。なお、光源３Ａと光源３Ｂとで出力光の中心波長を同じに設定する場合は、両者の中心波長が、８５０ｎｍ、８７０ｎｍ、８９０ｎｍ等に設定される。ただし、その場合は、光源の波長によって明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差が生じにくくなるため、光源３Ａの開口部８からの距離Ｄ１と光源３Ｂの開口部８からの距離Ｄ２との差をより大きくすることが望ましい。これにより、カメラ２から見た光源３Ａからの照明光による瞳孔を照らす効果と、カメラ２から見た光源３Ｂからの照明光による瞳孔を照らす効果との差を大きくすることができる。
【0032】
また、光源３Ａ，３Ｂの発光強度（発光パワー）は、光源３Ａを発光させたときの撮影対象である対象者の顔面での照度と、光源３Ｂを発光させたときの顔面での照度とが略同一になるように設定されている。更に、光源３Ａ，３Ｂは、後述する制御装置４からの制御信号により、それぞれ独立に照明光の点灯タイミング及び発光量を制御可能にされている。本実施形態では、光源３Ａ，３Ｂは、点灯期間が制御可能にされ、その結果として、発光強度と点灯期間との積で決まる発光量が制御されるように構成されている。
【0034】
制御装置４は、撮像素子６及び光源３Ａ，３Ｂの制御と、対象者の瞳孔及び角膜反射の検出を実行するコンピュータであり得る。制御装置４は、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置４は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
【0035】
図３に示されるように、制御装置４は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを備える。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭで構成される。補助記憶部１０３は、ハードディスクやフラッシュメモリなどで構成される。通信制御部１０４は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置１０５は、キーボードやマウスなどを含む。出力装置１０６は、ディスプレイやプリンタなどを含む。
【0036】
後述する制御装置４の各機能要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。
【0037】
図４に示されるように、制御装置４は機能的構成要素として、撮像素子駆動ユニット１１と、点灯制御ユニット（点灯制御部）１２と、検出ユニット（算出部）１３とを有する。撮像素子駆動ユニット１１は、撮像素子６の撮影タイミングを制御する機能要素である。具体的には、撮像素子６を所定のフレームレート及び所定の露光時間で繰り返し撮像し、交互に明瞳孔画像及び暗瞳孔画像を取得するように制御する。点灯制御ユニット１２は、撮像素子６の撮影タイミングに同期させて、光源３Ａ，３Ｂの点灯タイミング及び撮像素子６の露光期間内の発光量を制御する機能要素である。本実施形態では、点灯制御ユニット１２は、光源３Ａ，３Ｂの発光量をそれぞれの点灯期間を設定することによって制御している。具体的には、点灯制御ユニット１２は、明瞳孔画像の撮像時には光源３Ａ及び光源３Ｂを連続して（又は同時に）点灯させ、暗瞳孔画像の撮像時には光源３Ｂのみを点灯させ、光源３Ａを消灯させるように制御する。検出ユニット１３は、撮像素子６から出力された眼画像データを利用して、当該眼画像データにおける瞳孔及び角膜反射を検出する機能要素である。検出された瞳孔及び角膜反射に関する情報の出力先は何ら限定されない。例えば、制御装置４は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
【0038】
検出ユニット１３は、機能的構成要素として、画像取得部１４と、差分画像生成部１６と、点灯時間設定部１７と、瞳孔検出部１８と、角膜反射検出部１９、とを有する。画像取得部１４は、撮像素子６から所定のフレームレートで交互に撮影される明瞳孔画像及び暗瞳孔画像を、眼画像データとして取得する。差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像の差分画像を生成する。具体的には、差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像の対応する画素間の輝度の差分を計算することにより、差分画像を生成する。瞳孔検出部１８は、差分画像を利用して瞳孔像の位置を算出する機能要素である。角膜反射検出部１９は、明瞳孔画像及び暗瞳孔画像を利用して角膜反射像の位置を算出する機能要素である。瞳孔検出部１８及び角膜反射検出部１９により行われる処理の一例は、次の通りである。まず、瞳孔検出部１８は、差分画像を２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔検出部１８は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、求まる楕円の式から瞳孔像の中心位置を算出する。また、角膜反射検出部１９は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い閾値で２値化し、角膜反射像の中心を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、２値化して得られた瞳孔を構成する画素の輝度平均で与えられる。角膜反射検出部１９は、角膜反射像の位置を、暗瞳孔画像を対象にしても算出する。
【0039】
次に、点灯時間設定部１７の機能構成について詳細に説明する。
【0040】
点灯時間設定部１７は、取得される差分画像における瞳孔部の輝度が目標値に近づくように光源の点灯時間を設定するとともに、明瞳孔画像及び暗瞳孔画像における角膜反射の輝度が目標値に近づくように光源の点灯時間を設定する。点灯時間設定部１７は、設定した点灯時間で光源が発光するように、点灯制御ユニット１２を経由して光源３Ａ，３Ｂの動作を制御する。
【0041】
図５には、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｂの点灯タイミングをそれぞれ示している。図５に示すように、点灯制御ユニット１２により、カメラ２によって交互に繰り返される明瞳孔画像の撮影期間（露光期間）Ｔ１及び暗瞳孔画像の撮影期間（露光期間）Ｔ２のうちの撮影期間Ｔ１に同期するように、光源３Ａの点灯期間ＴＢの点灯タイミング、及びそれに続く光源３Ｂの点灯期間ＴＣの点灯タイミングが制御され、暗瞳孔画像の撮影期間Ｔ２に同期するように、光源３Ｂの点灯期間ＴＤＣの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源３Ａが明瞳孔画像を生成するために点灯期間ＴＢだけ点灯されるとともに、明瞳孔画像における角膜反射像の強調のために光源３Ｂが点灯期間ＴＣだけ点灯される。また、暗瞳孔画像の撮像時には、光源３Ｂが暗瞳孔画像を得るために点灯期間ＴＤだけ点灯されるとともに、それに加えて、暗瞳孔画像における角膜反射像の強調のために光源３Ｂが点灯期間ＴＣだけ点灯される。このとき、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるように、点灯期間ＴＢと点灯期間ＴＤとが同じになるように設定され、明瞳孔画像と暗瞳孔画像とで角膜反射像の輝度のバランスが取れるように、明瞳孔画像の撮像時の合計の点灯期間ＴＢ＋ＴＣが、暗瞳孔画像の撮像時の点灯期間ＴＤＣ＝ＴＤ＋ＴＣに等しくなるように設定される。つまり、明瞳孔画像撮影時の点灯期間ＴＣ分の点灯による輝度レベルへの影響は、暗瞳孔画像撮像時の点灯期間ＴＣ分の点灯による輝度レベルへの影響と同等であるため、差分画像においてそれぞれの影響は相殺されることになり、差分画像における瞳孔部の輝度は明瞳孔画像取得時の光源３Ａの点灯期間ＴＢ及び暗瞳孔画像取得時の光源３Ｂの点灯期間ＴＤ＝ＴＢによって主に左右される。一方で、光源３Ａと光源３Ｂとで対象者の顔面での照度は同じになるように調整されているので、明瞳孔画像撮影時の角膜反射の輝度は合計の点灯期間ＴＢ＋ＴＣによって左右され、暗瞳孔画像撮影時の角膜反射の輝度は合計の点灯期間ＴＤＣ＝ＴＤ＋ＴＣによって左右される。
【0042】
具体的には、点灯時間設定部１７は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値を一定にするために、前回のタイミングのフレームで取得された明瞳孔画像及び暗瞳孔画像の角膜反射像の輝度値を基に次回のタイミングのフレームの点灯期間ＴＢと点灯期間ＴＣとの和を変更する。ここでいう「フレーム」とは１つの明瞳孔画像とその直後の１つの暗瞳孔画像との組み合わせのフレームのことを指すものとする（以下、同様。）。それに合わせて、点灯時間設定部１７は、次回のタイミングのフレームの点灯期間ＴＤＣを変更する。すなわち、Ｃｉを前回のフレームの角膜反射像のピークの輝度値とし（ｉは自然数）、ＣＧをそのピークの所定の目標値とすると、次回のフレームの点灯期間ＴＤＣｉ＋１は、前回のフレームの点灯期間ＴＤＣｉに対して、下記式；ＴＤＣｉ＋１＝（ＣＧ／Ｃｉ）×ＴＤＣｉ （１）
によって計算された値に変更される。言い換えると、点灯時間設定部１７は、角膜反射像の輝度値Ｃｉと目標値ＣＧとの大小関係（割合）に比例して、点灯期間の和ＴＢ＋ＴＣ＝ＴＤ＋ＴＣを増減させるように制御する。
【0043】
同時に、点灯時間設定部１７は、前回のフレームで得られた差分画像における瞳孔像の輝度値を基に次回のフレームにおける点灯期間ＴＢ（＝点灯期間ＴＤ）を変更するように制御する。すなわち、Ｐｉを前回のフレームの瞳孔像の輝度値（例えば、平均輝度）、ＰＧを瞳孔像の輝度の所定の目標値とすると、次回のフレームの点灯期間ＴＢｉ＋１は、前回のフレームの点灯期間ＴＢｉに対して、下記式；ＴＢｉ＋１＝（ＰＧ／Ｐｉ）×ＴＢｉ （２）
によって計算された値に変更される。言い換えると、点灯時間設定部１７は、瞳孔像の輝度値Ｐｉと目標値ＰＧとの大小関係（割合）に比例して、点灯期間ＴＢ（＝ＴＤ）を増減させるように制御する。これに応じて、次回のフレームの明瞳孔画像撮像時における光源３Ｂの点灯期間ＴＣｉ＋１は、上記式（１）によって算出された点灯期間ＴＤＣｉ＋１を基に、下記式；
ＴＣｉ＋１＝ＴＤＣｉ＋１−ＴＢｉ＋１ （３）
によって計算された値に変更される。
【0044】
ここで、点灯時間設定部１７は、光源３Ａと光源３Ｂの対象者の顔面での照度バランスが同一とされていることから、点灯期間ＴＤと点灯期間ＴＢとを同一になるように設定している。しかし、発光素子の特性の不均一性などの原因により、このように設定しても、差分画像における瞳孔部以外の輝度が零にならない（相殺されない）場合がある。これを補正するために、使用する波長領域の光がカメラ２に入射しないようにカメラ２の前面に可視光カットフィルター等を設けた状態で、その可視光カットフィルターとカメラ２との間に近赤外線を乱反射する紙などの乱反射物を固定する。この状態で、光源３Ａと光源３Ｂとを交互に同じ発光時間幅で点灯させ、そのときのそれぞれの光源の点灯時に得られた乱反射物の画像中の輝度値の比αを予め計測しておく（αは正の実数。）。そして、点灯時間設定部１７は、下記式（４）；ＴＤｉ＋１＝α×ＴＢｉ＋１ （４）
を用いて、次回のフレームにおける点灯期間ＴＤを次回のフレームにおける点灯期間ＴＢから計算する。このとき、点灯時間設定部１７は、点灯期間ＴＢを点灯期間ＴＤから計算してもよい。さらに、点灯時間設定部１７は、数値を置き換えてから、上記式（１）〜（３）を用いて各点灯期間を設定すればよい。つまり、両光源３Ａ，３Ｂにおいて発光時間幅と発光パワーに線形関係があることが利用されて、暗瞳孔画像の取得時の光源３Ｂの点灯期間と明瞳孔画像の取得時の光源３Ａの点灯期間との関係を比αに応じて補正するように制御される。
【0045】
なお、点灯時間設定部１７は、カメラ２によって取得された眼画像データに２つの目が写っている場合には、２個の瞳孔像の輝度平均をＰｉとし、２個の角膜反射像の輝度平均をＣｉとして与えればよい。
【0046】
図６は、周囲の環境光の輝度レベルが高い高照度環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源３Ｂの点灯期間ＴＣ＝０とした場合に瞳孔検出装置１によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、（ａ）は明瞳孔画像の一次元分布、（ｂ）は暗瞳孔画像の一次元分布、（ｃ）は差分画像の一次元分布をそれぞれ示している。これらのグラフには、角膜反射を含む線分上の眼画像データの一次元分布を示している。このように、明瞳孔画像と暗瞳孔画像において瞳孔部以外の輝度値が同じ値ＩＤとなるように光源３Ａ，３Ｂのパワーが調整されているため、差分画像においては、瞳孔部以外の輝度が零になっている。また、同様に、明瞳孔画像中の角膜反射の輝度の高さと、暗瞳孔画像中の角膜反射の輝度の高さは同じ値ＩＡになるため、差分画像においては角膜反射像が消失している。このことから、角膜反射像は差分画像からの検出は困難であり、明瞳孔画像及び暗瞳孔画像のそれぞれから検出される。また、高照度環境下では、明瞳孔画像及び暗瞳孔画像における瞳孔部以外の輝度が周囲光に含まれる近赤外光によって大きく上昇すると同時に、周囲光に含まれる可視光によって対象者の瞳孔が小さくなるため、明瞳孔画像の瞳孔部の輝度値と暗瞳孔画像の瞳孔部との輝度値との差ＩＣが出にくくなる。
【0047】
図７は、図６と同じ環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源３Ａ，３Ｂの点灯期間を点灯時間設定部１７によって設定した場合に瞳孔検出装置１によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、（ａ）は明瞳孔画像の一次元分布、（ｂ）は暗瞳孔画像の一次元分布、（ｃ）は差分画像の一次元分布をそれぞれ示している。これらのグラフには、図６に示した眼画像データの一次元分布を点線で示し、点灯期間を点灯時間設定部１７によって設定した場合に得られた角膜反射を含む線分上の眼画像データの一次元分布を実線で示している。このように、明瞳孔画像と暗瞳孔画像において、光源３Ｂの点灯期間ＴＣの点灯が追加されているため瞳孔部以外の輝度値が値ＩＤ＋ＩＦに上昇する。また、同様に、明瞳孔画像中の角膜反射の輝度の高さと、暗瞳孔画像中の角膜反射の輝度の高さは、光源の点灯期間の合計時間ＴＤＣの調整により、値ＩＧに上昇し一定値に維持される。さらに、差分画像における瞳孔像の輝度値ＩＨは、点灯期間ＴＢ＝ＴＤの設定により一定値に制御される。この際、点灯期間ＴＢを増加させる分だけ点灯期間ＴＣを減少させることにより、合計の点灯期間ＴＤＣが一定に保たれる。なお、光源３Ｂが付加的に点灯されるので、瞳孔が小さくなった際に光源３Ｂの点灯による暗瞳孔の効果が表れやすい。従って、明瞳孔画像及び暗瞳孔画像のどちらにおいても、光源３Ｂによって瞳孔部以外（角膜反射を含む）が明るくなる度合いに対して、瞳孔部が明るくなる度合いは小さい。図８には、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｂの点灯タイミングをそれぞれ示している。この場合は、図５の場合と比較して、差分画像における瞳孔像の輝度を調整するために点灯期間ＴＢ＝ＴＤが増加するように設定され、その分点灯期間ＴＣが減少するように設定されている。［視線検出装置］
【0048】
以下、上述した瞳孔検出装置１を応用した第１実施形態にかかる視線検出装置２０１の構成について説明する。図９は、視線検出装置２０１の機能構成を示すブロック図である。視線検出装置２０１は、上述した光源３Ａ，３Ｂと撮像素子６を含むカメラ２とによってそれぞれ構成される２つの光学系２０２ａ，２０２ｂと、制御装置４とを備える。制御装置４の検出ユニット１３は、対象者の視線方向を検出するための機能要素として視線検出部２０をさらに備えている。
【0049】
制御装置４の撮像素子駆動ユニット１１は、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングを制御し、点灯制御ユニット１２は、２つの光学系２０２ａ，２０２ｂの光源３Ａ，３Ｂの点灯タイミングを制御する。２つの光学系２０２ａ，２０２ｂは、互いの撮影タイミング及び点灯タイミングをずらして光源の光が互いに干渉しあわないように制御されることも可能である。本実施形態では、各カメラ２による撮影の時間差を可能な限り少なくするために、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングが同期するように制御される。その際、２つの光学系２０２ａ，２０２ｂの各光源３Ａ，３Ｂの点灯期間の設定は、上述した点灯時間設定部１７による設定手順と同様に、２つの光学系２０２ａ，２０２ｂで独立に行われる。このような構成にすることで、複数のカメラ２で得られた眼画像データ間の時間差をなくすことができ、複数の瞳孔画像からステレオマッチングで瞳孔の三次元座標を求める際の誤差を小さくすることができ、視線検出の誤差を小さくすることができる。つまり、各光学系のカメラ２間で同期をとっていれば、２台のカメラどうしで眼画像データの取得時間差がないため対象者の頭部の動きによる誤差を少なくすることができる。
【0050】
詳細には、制御装置４の点灯時間設定部１７は、各光学系２０２ａ，２０２ｂにおいて設定される点灯期間ＴＢ，ＴＣ，ＴＤ，ＴＤＣをそれぞれ点灯期間ＴＢｎ，ＴＣｎ，ＴＤｎ，ＴＤＣｎとした場合（ｎ＝１，２）、点灯期間ＴＢｎ＝ＴＤｎとなるように常に制御する。これにより、一方の光学系の光源の光が他方の光学系のカメラ２に入ったとしてもそれぞれのカメラ２によって取得される明瞳孔画像と暗瞳孔画像との間で瞳孔部以外の輝度レベルは一致し、差分画像から安定して瞳孔を検出できる。各光学系２０２ａ，２０２ｂにおいて、一方の光学系のカメラ２自身に取り付けた光源３Ａ，３Ｂのうち、明瞳孔効果（瞳孔を明るく映す効果）が強いのはそのカメラ２に取り付けた光源３Ａのみである。他方の光学系のカメラ２に取り付けた光源３Ａ，３Ｂは共に同じ位置にあるとみなせるため、同じレベルの強い暗瞳孔効果（瞳孔を暗く映す効果）を持つ。このことから、一方の光学系のカメラ２での明瞳孔画像及び暗瞳孔画像の撮影時に、他方の光学系のカメラ２の光源が同じパワー（点灯期間）で発光した場合には、他方の光学系のカメラ２の光源は一方の光学系のカメラ２から得られる差分画像における瞳孔像の輝度には影響を与えない。差分画像の瞳孔像の輝度に影響を与えるのは一方の光学系のカメラ２自身に取り付けた光源３Ａと光源３Ｂとの明瞳孔効果の差のみである。
【0051】
制御装置４の点灯時間設定部１７は、各光学系２０２ａ，２０２ｂごとに、上記式（１）〜（３）を用いて、現在のフレームの眼画像データから得られた角膜反射像の輝度値及び瞳孔像の輝度値を基に、次回のフレームの点灯期間ＴＢｎ，ＴＣｎ，ＴＤＣｎを設定する。この際、点灯時間設定部１７は、ＴＢ１＝ＴＤ１＝ＴＢ２＝ＴＤ２となるように点灯期間を設定することが好適である。こうすれば、両方のカメラ２で取得された眼画像データ間の瞳孔部以外の輝度レベルが一致し、両方のカメラ２で同じ明るさの顔画像が撮影可能とされる。点灯時間設定部１７は、２つの光学系２０２ａ，２０２ｂの角膜反射像形成のための光源３Ｂの点灯期間をＴＣ１＝ＴＣ２と設定し、角膜反射像の輝度レベルに応じて点灯期間ＴＢ１＋ＴＣ１＝ＴＢ２＋ＴＣ２を制御する。
【0052】
制御装置４の視線検出部２０は、２つの光学系２０２ａ，２０２ｂごとに、差分画像を基に検出された瞳孔像の位置と、暗瞳孔画像及び明瞳孔画像のそれぞれを対象に検出された角膜反射像の位置とを取得する。そして、視線検出部２０は、２つの光学系２０２ａ，２０２ｂに対応して得られた瞳孔像の位置を用いて、対象者の瞳孔の三次元位置を算出する。さらに、視線検出部２０は、算出した瞳孔の三次元位置、２つの光学系２０２ａ，２０２ｂごとに得られた瞳孔像の位置及び角膜反射像の位置とを用いて対象者の視線方向および注視点を検出する。上記の瞳孔三次元位置の算出手法、視線方向および注視点の算出手法は、本発明者らによって開発された手法（国際公開２０１２／０２０７６０号公報参照）を採用することができる。
【0053】
上述した瞳孔検出装置１によれば、カメラ２の開口部８中心から比較的近い位置に配置された光源３Ａ及びその開口部８中心から比較的遠い位置に配置された光源３Ｂの点灯タイミングに合わせてカメラ２で画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、光源３Ｂの消灯タイミングにおける光源３Ｂの点灯タイミングに合わせてカメラ２で画像を取得することにより、瞳孔が相対的に暗く写った明瞳孔画像が得られ、明瞳孔画像と暗瞳孔画像との差分画像を用いて対象者の瞳孔像の位置が算出され、明瞳孔画像及び暗瞳孔画像を基に角膜反射像の位置が算出される。このとき、明瞳孔画像の角膜反射像の輝度値を基に明瞳孔画像の取得時の光源３Ａ，３Ｂの点灯期間の和が変更され、暗瞳孔画像の角膜反射像の輝度値を基に暗瞳孔画像の取得時の光源３Ｂの点灯期間が変更されることにより、明瞳孔画像及び暗瞳孔画像における角膜反射の輝度値を安定化することができる。それと同時に、瞳孔像の輝度値を基に明瞳孔画像の取得時の光源３Ａの点灯期間が変更されることにより、差分画像における瞳孔像の輝度を安定化することができる。その結果、光学系と対象者との距離、及び対象者の瞳孔の大きさにかかわらず、画像中の瞳孔及び角膜反射の両方の検出精度を向上させることができる。加えて、カメラ２の開口部８中心からの距離が異なる２つの光源３Ａ，３Ｂのそれぞれの点灯タイミングに合わせて明瞳孔画像及び暗瞳孔画像を取得し、それらの差分画像を用いて瞳孔像を検出することで、差分画像における瞳孔の検出精度を確保することができる。さらに、暗瞳孔画像における角膜反射の位置も算出することで、時間的連続性を保って角膜反射の位置を精度よく算出することができる。
【0054】
詳細には、制御装置４は、角膜反射像の輝度値Ｃｉと所定の目標値ＣＧとの関係に比例して明瞳孔画像の取得時の光源３Ａの点灯期間ＴＢと光源３Ｂの点灯期間ＴＣとの和を増減させるように制御するとともに、瞳孔像の輝度値Ｐｉと所定の目標値ＰＧとの関係に比例して明瞳孔画像の取得時の光源３Ａの点灯期間を増減させるように制御する。この場合、明瞳孔画像における角膜反射像の輝度値を目標値に近づけることができるとともに、差分画像における瞳孔像の輝度値を目標値に近づけることができる。その結果、画像中の瞳孔及び角膜反射の両方の検出精度を確実に向上させることができる。
【0055】
また、制御装置４は、暗瞳孔画像の取得時の光源３Ｂの点灯期間ＴＤと、明瞳孔画像の取得時の光源３Ａの点灯期間ＴＢとの関係を補正するように制御する、こととしてもよい。この場合には、明瞳孔画像の瞳孔部以外の輝度値と暗瞳孔画像の瞳孔部以外の輝度値とのバランスを保つことができ、差分画像における瞳孔の検出精度をさらに向上させることができる。
【0056】
上述した視線検出装置２０１によれば、２つのカメラ２によって取得された眼画像データを対象にして算出された瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出することで、高精度の視線検出を実現することができる。すなわち、視線検出装置２０１を構成する制御装置４は、２つの光学系２０２ａ，２０２ｂによって取得された眼画像データ上の瞳孔像の位置を基に対象者の瞳孔の３次元座標を算出し、算出した瞳孔の３次元座標と、２つの光学系２０２ａ，２０２ｂによって取得された眼画像データ上の瞳孔像の位置及び角膜反射像の位置とを基に視線方向を算出する。このようにすることで、高精度の視線検出を実現することができる。
【0057】
より詳細に説明すれば、暗瞳孔画像では瞳孔像が暗くなりやすいため、暗瞳孔画像中での角膜反射は輝度レベルが突出しやすいため比較的検出しやすい。しかしながら、対象者の頭部が動いた場合でも高精度の視線検出を実現するためには、明瞳孔画像及び暗瞳孔画像の両方から角膜反射を検出する必要がある。なぜならば、６０ｆｐｓ程度のフレームレートの低いカメラを使用した場合には、明瞳孔画像と暗瞳孔画像とが時間的に大きくずれて取得されるからである。その場合、対象者の頭部が動くと明瞳孔画像と暗瞳孔画像とで瞳孔像の位置がずれる。この状態で求められた差分画像から検出された瞳孔像の位置が不正確となることを防ぐために、本発明者らが開発した手法（特開2008-029702号公報参照）では明瞳孔画像及び暗瞳孔画像から角膜反射を検出して、それらの位置が一致するように瞳孔を含む小領域の画像をずらした後に差分画像を算出している。この手法を採用するためにも、暗瞳孔画像だけでなく明瞳孔画像からも角膜反射を検出する必要がある。しかしながら、明瞳孔画像では、瞳孔が明るくなりすぎると瞳孔部の輝度値が飽和する場合もある。その際、角膜反射が瞳孔部内に生じた場合に明瞳孔画像中で角膜反射がつぶれて消失してしまう。こうなると視線検出は困難となるし、角膜反射を利用した差分画像の上記の算出手法は利用できない。本実施形態によれば、差分画像の瞳孔部の輝度値を目標値に保つことができ、その結果明瞳孔画像中の瞳孔部の輝度値が飽和することを防ぐことができ、明瞳孔画像及び暗瞳孔画像の両方から角膜反射を検出できる。
【0058】
一方で、眼画像データにおいて瞳孔部以外の部分に対して相対的に輝度の高い瞳孔像を得るには、光源をカメラの開口部に角度的に近い位置に設置する必要がある。特に、瞳孔が小さいと明瞳孔画像中の瞳孔像の輝度が下がるため（暗瞳孔中の瞳孔の輝度はあまり変わらない）、結果的に差分画像中の瞳孔像の輝度も下がる。瞳孔像の輝度が極端に小さくなると、瞳孔部以外の部分の輝度が変動した際に（例えば、頭部の動きがあったり環境が変化した場合）、瞳孔部検出のための閾値の設定が難しくなり、差分画像から瞳孔像を検出する優位性が失われる。そこで、瞳孔が極端に小さくなった場合でも差分画像中で瞳孔像の輝度を最低限のレベルよりは大きくしておくことが望まれる。そもそも、瞳孔が極端に小さくなる状況は太陽からの直射日光が顔にあたった場合が想定され、そのような状況下では明瞳孔画像において瞳孔部のほうがその他の部分よりも輝度が低い場合もあり、一定の閾値で瞳孔像を検出することが困難となる。そのような場合、微分計算により瞳孔像のエッジを検出することも考えられるが、それでも虹彩の部分と瞳孔の部分が輝度においてほとんど変わらない場合も有るので安定して瞳孔像が検出できない。よって、瞳孔が小さいときでも安定して瞳孔像を検出するためには光源をできるだけカメラの開口部に近づけて設置する必要がある。
【0059】
しなしながら、光源を開口部の近くに設置すると、反対に対象者の瞳孔が大きくなったときに瞳孔像の輝度が高くなり光源の発光パワー（例えば電流量）を下げる必要が出てくる。瞳孔径は一般に２ｍｍ〜８ｍｍの範囲で変化すると言われており、瞳孔面積にすると１６倍に変化しうる。これは、差分画像の瞳孔像の輝度値の最小値と最大値との比が１６であることを意味している。光源の発光パワーを下げると同時に角膜反射像の輝度値も比例して小さくなるため、結果的に眼画像データからの角膜反射の検出が困難となる。特に、乱視の眼球などでは明瞳孔画像の瞳孔の輝度が均一でない場合があるため、瞳孔の輝度が低い部分に角膜反射が重畳したときに瞳孔の輝度の高い部分のほうが角膜反射の存在する部分より輝度が高くなることがありうる。また、角膜反射が瞳孔部の外側に生じた場合、瞳孔部の輝度よりも角膜反射の輝度が低くなるために、角膜反射の検出が困難となる。このような場合、微分絶対値による手法（特開平１０−１４６３２０号公報参照）を採用しても、角膜反射のエッジよりも瞳孔のエッジのほうが高くなることがあり検出が困難である。微分絶対値の瞳孔のエッジを角膜反射部分よりも低くするためには、瞳孔とその周囲の輝度差ができるだけ小さいことが望まれる。従って、角膜反射を検出しやすくするためには差分画像の瞳孔の輝度ができるだけ小さい方が良い。
【0060】
さらに、眼画像データにおける角膜反射の輝度値は高いほど良いわけではない。眼鏡をしている対象者の場合、光源の眼鏡反射像が瞳孔の近傍に現れることがある。これまでの発明者らの観察によれば、眼鏡反射像は眼鏡レンズの前面と後面とでの多重反射によって生じると考えられ、画像上に複数現れ、しかも瞳孔の近傍のものは小さなスポット状となる。この眼球反射像は、少しピントがずれた状態の角膜反射像に酷似しており、大きさも同程度で輝度が鋭く立ち上がった形態となり、一般に輝度値は飽和している。従って、角膜反射像が飽和していなければ、輝度値を基に眼鏡反射像と角膜反射像とを容易に区別できる。眼鏡反射像のみが飽和している場合には、明瞳孔画像においては、飽和している部分の輝度値を零に置き換えてから暗瞳孔画像を差分して瞳孔を抽出すれば眼鏡反射像を除外しやすい。このことから、角膜反射像は輝度が高い方が検出しやすいものの、その輝度が飽和しないようにすることが望ましい。
【0061】
上述した理由から、明瞳孔画像中あるいは差分画像中における瞳孔像の輝度を低く保つためには、明瞳孔画像を得るための光源をカメラの開口部から離すか、瞳孔が光りにくい波長（例えば、９４０ｎｍ）の光を用いることが考えられる。しかしながら、このような構成とすれば、今度は瞳孔が小さい時に瞳孔の輝度が低くなり、ノイズに埋もれて瞳孔像が検出できなくなる。さらに、対象者の頭部が光学系から離れているときには瞳孔が明るくなりやすいが、頭部が光学系に近いときには瞳孔が暗くなりやすい。これは、瞳孔の輝度は、カメラの開口部から光源までの距離ではなく、対象者の瞳孔から見たカメラの開口部と光源との間の角度に依存するからである。従って、カメラの開口部と光源との間の距離が一定であるとしたとき、瞳孔から光学系までの距離が近くなるほど上記角度は大きくなるため、光源から目に照射される光量が増加するにもかかわらず、瞳孔が暗くなることがある。逆に、頭部が光学系に近いときに瞳孔が十分に検出できるだけの輝度を持つように光源の位置を設定した場合に、頭部が光源から離れたときに瞳孔の輝度が飽和することがありうる。そのような事態を防ぐために光源の発光パワーを下げると、今度は角膜反射像の輝度がその分だけ低下し角膜反射が検出しにくくなる。
【0062】
上述したように、眼画像データにおける瞳孔像の輝度は瞳孔の面積だけでなく瞳孔から光学系までの距離にも依存する。また、瞳孔への入射光と瞳孔からの戻り光の光量比は個々の対象者によって異なる。その要因としては、眼底での反射率の違い、眼内媒体での吸収率の違い等が挙げられる。また、眼鏡を装着している場合と装着していない場合とでは瞳孔像の輝度が異なるし、眼鏡のレンズごとの透過率の違いによっても瞳孔像の輝度が異なる。このような要因から、対象者毎に理論的計算により瞳孔像の輝度を予測することは困難である。本実施形態では、対象者が様々変わっても、頭部と光学系の距離又は瞳孔の大きさが様々に変化しても、差分画像における瞳孔像の輝度と、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度とを、所望の目標値に安定して維持することができる。
【0063】
（第２実施形態）
【0064】
図１０には、上述した瞳孔検出装置１及び視線検出装置２０１に含まれる照明装置の第２の実施形態の構成を示している。同図に示すように、第２実施形態にかかる照明装置２０３は、ケーシング９に埋め込まれた光源３Ａ，３Ｂに加えて光源３Ｃを有する３重リング状の構成を有する。光源３Ｃも対物レンズ７の光軸Ｌ０（図１）に沿って照明光を出射するようにケーシング９上に設けられている。第１実施形態と同様に、光源３Ａは明瞳孔画像を得るための照明光を照射するための光源であり、光源３Ｂは、暗瞳孔画像を得るための照明光を照射するための光源である。光源３Ｃは、明瞳孔画像及び暗瞳孔画像の取得時において角膜反射を生じさせるための光源として別途設けられる。
【0065】
具体的には、光源３Ｃは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が第３の距離Ｄ３の位置に配置されている。この第３の距離Ｄ３は、第１の距離Ｄ１より大きく、第２の距離Ｄ２より小さい。具体的には、光源３Ｃを構成する発光素子は、ケーシング９上で、光源３Ａと光源３Ｂとの間の位置で光源３Ａ，３Ｂから離間して等間隔でリング状に配設されている。光源３Ｃの出力光の中心波長は、光源３Ａ，３Ｂの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。例えば、光源３Ｃの出力光の中心波長は、瞳孔が光りにくい波長（例えば、９５０ｎｍ）に設定されてもよい。また、光源３Ｃの発光素子の数は、光源３Ａ，３Ｂと同一であってもよいし異なっていてもよい。このような光源３Ｃの存在により、後述するように、光源３Ａ，３Ｂにより照らし出される対象者の像においては、角膜反射像の輝度が調整される。
【0066】
次に、第２実施形態にかかる制御装置４の機能の第１実施形態との相違点について説明する。すなわち、制御装置４の点灯制御ユニット１２及び検出ユニット１３は、上記構成の光源３Ｃを含む照明装置２０３の点灯タイミングを図１１に示すように制御する。図１１は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｂの点灯タイミング、（ｄ）は、光源３Ｃの点灯タイミング、をそれぞれ示している。
【0067】
図１１に示すように、点灯制御ユニット１２により、カメラ２によって交互に繰り返される明瞳孔画像の撮影期間Ｔ１及び暗瞳孔画像の撮影期間Ｔ２のうちの撮影期間Ｔ１に同期するように、光源３Ａの点灯期間ＴＢの点灯タイミングが制御され、暗瞳孔画像の撮影期間Ｔ２に同期するように、光源３Ｂの点灯期間ＴＤの点灯タイミングが制御される。それと同時に、点灯制御ユニット１２により、カメラ２の撮影期間Ｔ１及び撮影期間Ｔ２のそれぞれに同期するように、光源３Ｃの点灯期間ＴＣの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源３Ａが明瞳孔画像を生成するために点灯期間ＴＢだけ点灯されると同時に、明瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間ＴＣだけ点灯される。また、暗瞳孔画像の撮像時には、光源３Ｂが暗瞳孔画像を得るために点灯期間ＴＤだけ点灯されると同時に、暗瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間ＴＣだけ点灯される。これにより、光源３Ｃの点灯による明瞳孔画像及び暗瞳孔画像における輝度レベルの増加分は差分画像においては相殺されるため、光源３Ｃの点灯は差分画像における瞳孔像の輝度には影響は与えない。一方で、光源３Ｃの点灯は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度レベルあるいは瞳孔部以外の顔領域の輝度に影響を与える。
【0068】
制御装置４の点灯時間設定部１７は、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるように、点灯期間ＴＢと点灯期間ＴＤとが同じになるように設定し、かつ、前回のフレームで取得された差分画像における瞳孔像の輝度が一定となるようにそれぞれの光源３Ａ，３Ｂの点灯期間ＴＢ，ＴＤを設定する。それとともに、点灯時間設定部１７は、前回のフレームで取得された明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度が一定となるように光源３Ｃの点灯期間ＴＣを設定する。なお、点灯時間設定部１７は、第１実施形態と同様にして、光源３Ａ〜３Ｃの発光パワーの比を求めてその比を基にそれぞれの点灯期間を補正するように動作してもよい。
【0069】
図１２は、周囲の環境光の輝度レベルが低い暗闇環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源３Ｃの点灯期間ＴＣ＝０とした場合に瞳孔検出装置１によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、（ａ）は明瞳孔画像の一次元分布、（ｂ）は暗瞳孔画像の一次元分布、（ｃ）は差分画像の一次元分布をそれぞれ示している。このように、暗瞳孔画像において、瞳孔部が瞳孔部周辺に対して輝度が高くなっているのは、環境光に近赤外光がほとんどないために瞳孔周辺が明るくならないことと、環境光に可視光がほとんどないために瞳孔が大きくなっていることと、光源３Ｂがカメラ２の開口から大きく離れていないために瞳孔が明るくなりやすいこととに起因している。
【0070】
図１３は、図１２と同じ環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源３Ａ，３Ｂ，３Ｃの点灯期間を点灯時間設定部１７によって設定した場合に瞳孔検出装置１によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、（ａ）は明瞳孔画像の一次元分布、（ｂ）は暗瞳孔画像の一次元分布、（ｃ）は差分画像の一次元分布をそれぞれ示している。これらのグラフには、図１２に示した眼画像データの一次元分布を点線で示し、点灯期間を点灯時間設定部１７によって設定した場合に得られた角膜反射を含む線分上の眼画像データの一次元分布を実線で示している。このように、明瞳孔画像と暗瞳孔画像において、光源３Ｃの点灯期間ＴＣの点灯が追加されているため瞳孔部以外の輝度値が値ＩＤ＋ＩＦに上昇する。ただし、光源３Ｃはカメラ２の開口部から２つの光源３Ａ，３Ｂの中間の距離に配置されているので、光源３Ａに比較して瞳孔を明るくする効果が弱く、光源３Ｂに比較して瞳孔を明るくする効果が強い。そのため、明瞳孔画像及び暗瞳孔画像において瞳孔部以外の部分の輝度レベルの増加量ＩＦよりも瞳孔部の輝度レベルの増加量ＩＬのほうが大きい。また、同様に、明瞳孔画像中の角膜反射の輝度の高さと、暗瞳孔画像中の角膜反射の輝度の高さは、光源３Ｃの点灯期間ＴＣの調整により、値ＩＧに上昇し一定値に維持される。さらに、差分画像における瞳孔像の輝度値ＩＨは、点灯期間ＴＢ＝ＴＤの設定により一定値に制御される。
【0071】
図１４は、図１２と同じ環境下において瞳孔検出装置１によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフである。図１４において、（ａ）は、角膜反射が瞳孔領域内に存在する場合に、明瞳孔画像撮影時の光源３Ｃの点灯期間ＴＣ＝０として得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布、（ｂ）は、角膜反射が瞳孔領域外に存在する場合に、明瞳孔画像撮影時の光源３Ｃの点灯期間ＴＣ＝０として得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布、（ｃ）は、角膜反射が瞳孔領域内に存在する場合に、明瞳孔画像撮影時に光源３Ａ，３Ｂ，３Ｃの点灯期間を点灯時間設定部１７によって設定して得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布、（ｄ）は、角膜反射が瞳孔領域外に存在する場合に、明瞳孔画像撮影時に光源３Ａ，３Ｂ，３Ｃの点灯期間を点灯時間設定部１７によって設定して得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布をそれぞれ示している。このように角膜反射が瞳孔領域外に出る状況は、対象者がカメラ２を含む光学系から角度的に離れた位置を見るときに生じ得る。図１４（ａ）及び図１４（ｂ）の状況では、角膜反射の輝度の高さＩＡが小さいため、角膜反射が瞳孔の外に出た時に一定の閾値を用いることでは角膜反射の検出が困難となり、角膜反射の誤検出を招きやすくなる。さらに、場合によっては瞳孔部の輝度ＩＣが不均一になることもあり、そのとき、瞳孔領域中で輝度が高くなった部分と角膜反射が重畳した部分とを区別することが困難となり、角膜反射の誤検出をしやすくなる。
【0072】
それに対して、図１４（ｃ）及び図１４（ｄ）の状況では、角膜反射の輝度の高さＩＧが大きいため、角膜反射が瞳孔領域外に出た場合も角膜反射の検出が容易である。ただし、一定の閾値で角膜反射を検出する際には、角膜反射の輝度の高さＩＧをより高くするか、瞳孔像の輝度値ＩＪをより低くすることが望ましい。ここで、本実施形態では、瞳孔像の輝度を低くするために光源３Ａ，３Ｂの発光パワーが同じ比率だけ下げられ、角膜反射の輝度を維持するためにその分だけ光源３Ｃのパワーが上げられる。
【0073】
以上説明した第２実施形態によっても、光学系と対象者との距離、及び対象者の瞳孔の大きさにかかわらず、画像中の瞳孔及び角膜反射の両方の検出精度を向上させることができる。
【0074】
（第３実施形態）
【0075】
本発明の第３実施形態においては、第２実施形態と同一の構成の照明装置２０３が採用される。ただし、光源３Ａ〜３Ｃの用途が異なり、照明装置２０３の光源３Ａ，３Ｃは明瞳孔画像を得るための照明光を照射するための光源であり、光源３Ｂは、暗瞳孔画像を得るための照明光を照射するための光源である。光源３Ｃは、適切なレベルで明瞳孔画像を得るために光源３Ａを補助する光源として設けられる。光源３Ａは、高照度環境下等の状況で瞳孔が小さい場合、光学系と瞳孔までの距離が使用しうる最短の距離であり瞳孔が明るくなりにくい場合でも、差分画像から瞳孔像を検出するために十分な明瞳孔効果を発揮する位置に設置されているものとする。ここでいう「十分な明瞳孔効果」とは、例えば、瞳孔部周辺よりも瞳孔部のほうが少しでも輝度レベルが高いことを意味している。光源３Ｃは、瞳孔が大きい場合、光学系と瞳孔までの距離が使用しうる最大の距離の場合であっても、瞳孔像と角膜反射とが確実に検出できる程度に高い発光パワーに設定されているものとする。また、これらの光源３Ａ〜３Ｃの発光強度（発光パワー）は、それぞれの光源を発光させたときの撮影対象である対象者の顔面での照度が略同一になるように設定されている。
【0076】
次に、第３実施形態にかかる制御装置４の機能の第１実施形態との相違点について説明する。すなわち、制御装置４の点灯制御ユニット１２及び検出ユニット１３は、光源３Ｃを含む照明装置２０３の点灯タイミングを図１５に示すように制御する。図１５は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｃの点灯タイミング、（ｄ）は、光源３Ｂの点灯タイミング、をそれぞれ示している。
【0077】
図１５に示すように、点灯制御ユニット１２により、カメラ２によって交互に繰り返される明瞳孔画像の撮影期間Ｔ１及び暗瞳孔画像の撮影期間Ｔ２のうちの撮影期間Ｔ１に同期するように、光源３Ａの点灯期間ＴＢ１の点灯タイミングとそれに続く光源３Ｃの点灯期間ＴＢ２の点灯タイミングが制御され、暗瞳孔画像の撮影期間Ｔ２に同期するように、光源３Ｂの点灯期間ＴＣの点灯タイミングが制御される。なお、点灯期間ＴＢ１と点灯期間ＴＢ２とは、撮影期間Ｔ１内で時間的に重なっていてもよいし重なっていなくてもよい。概念的には、明瞳孔画像の撮像時には、光源３Ａ，３Ｃが明瞳孔画像を生成するために点灯期間ＴＢ１，ＴＢ２だけ点灯される。また、暗瞳孔画像の撮像時には、光源３Ｂが暗瞳孔画像を得るために点灯期間ＴＣだけ点灯される。このとき、それぞれの画像の撮像時において、光源３Ａ，３Ｂ，３Ｃの点灯により角膜反射像が生成される。
【0078】
制御装置４の点灯時間設定部１７は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値を一定にするために、前回のタイミングのフレームで取得された明瞳孔画像及び暗瞳孔画像の角膜反射像の輝度値を基に次回のタイミングのフレームの点灯期間ＴＢ１と点灯期間ＴＢ２との和を変更する。それに合わせて、点灯時間設定部１７は、次回のタイミングのフレームの点灯期間ＴＣを変更する。すなわち、点灯時間設定部１７は、次回のフレームの点灯期間ＴＣｉ＋１を、前回のフレームの点灯期間ＴＣｉに対して、下記式；ＴＣｉ＋１＝（ＣＧ／Ｃｉ）×ＴＣｉ （５）
によって計算された値に変更する。同時に、点灯時間設定部１７は、次回のフレームの点灯期間ＴＢ１ｉ＋１と点灯期間ＴＢ２ｉ＋１との和を次回のフレームの点灯期間ＴＣｉ＋１と等しくなるように設定する。言い換えると、点灯時間設定部１７は、角膜反射像の輝度値Ｃｉと目標値ＣＧとの大小関係（割合）に比例して、点灯期間ＴＢ１と点灯期間ＴＢ２との和を増減させるように制御する。
【0079】
さらに、点灯時間設定部１７は、点灯期間の和ＴＢ１＋ＴＢ２を一定にしながら、これらの点灯期間ＴＢ１，ＴＢ２の比を変化させる。これにより、明瞳孔画像中の角膜反射像の輝度の高さを一定にしたまま、眼画像データ中の瞳孔像の輝度レベルを変化させることができる。ただし、瞳孔像の輝度は対象者の頭部から光学系までの距離、あるいはカメラの視野内の瞳孔像の位置等によっても変化し、光源３Ａ，３Ｃのそれぞれの明瞳孔効果の強さが明確でないため、点灯期間の制御値の定式化が困難である。そこで、点灯時間設定部１７は、前回のフレームで得られた差分画像における瞳孔像の輝度値が所定の目標値よりも小さい場合には、次回のフレームにおける光源３Ａの点灯期間ＴＢ１を増加させるとともに次回のフレームにおける光源３Ｃの点灯期間ＴＢ２を減少させ、前回のフレームで得られた差分画像における瞳孔像の輝度値が所定の目標値よりも大きい場合には、次回のフレームにおける光源３Ａの点灯期間ＴＢ１を減少させるとともに次回のフレームにおける光源３Ｃの点灯期間ＴＢ２を増加させるように制御する。詳細には、点灯時間設定部１７は、差分画像における瞳孔像の輝度値が目標値よりも高い場合には、光源３Ａの点灯期間の割合ＲＢ１＝ＴＢ１／ＴＣを一定比率ΔＲだけ短くし、その分、光源３Ｃの点灯期間の割合ＲＢ２＝ＴＢ２／ＴＣを一定比率ΔＲだけ長くする。一方で、差分画像における瞳孔像の輝度値が目標値よりも低い場合には、光源３Ａの点灯期間の割合ＲＢ１＝ＴＢ１／ＴＣを一定比率ΔＲだけ長くし、その分、光源３Ｃの点灯期間の割合ＲＢ２＝ＴＢ２／ＴＣを一定比率ΔＲだけ短くする。次に、点灯時間設定部１７は、光源３Ａの点灯期間の割合ＲＢ１に点灯期間ＴＣを乗ずることで次のフレームの点灯期間ＴＢ１を求め、光源３Ｃの点灯期間の割合ＲＢ２に点灯期間ＴＣを乗ずることで次のフレームの点灯期間ＴＢ２を求める。
【0080】
ただし、上記の点灯期間の割合ＲＢ１，ＲＢ２の決定方法では、頭部が急激に動いたり環境光の急激な変化により瞳孔面積が急激に変化した場合などに応答性が低下することも想定される。よって、応答性を高めるためには、点灯時間設定部１７は、瞳孔輝度Ｐｉの目標値ＰＧからのずれ量ｋを下記式；ｋ＝｜Ｐｉ−ＰＧ｜／ＰＧ （６）
によって計算し、次回のフレームの点灯期間の割合ＲＢ１，ＲＢ２を決定する際に用いる一定比率ΔＲにずれ量ｋを乗算するようにしてもよい。これにより、応答性を高めて瞳孔像の輝度を安定化することができる。
【0081】
以上説明した第３実施形態によっても、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値を目標値に近づけることができるとともに、差分画像における瞳孔像の輝度値を目標値に近づけることができる。
【0082】
（第４実施形態）
【0083】
図１６には、上述した瞳孔検出装置１及び視線検出装置２０１に含まれる照明装置の第４の実施形態の構成を示している。同図に示すように、第４実施形態にかかる照明装置３０３は、第３実施形態における光源３Ａ〜３Ｃに加えて光源３Ｄを有する４重リング状の構成を有する。光源３Ｄも対物レンズ７の光軸Ｌ０（図１）に沿って照明光を出射するようにケーシング９上に設けられている。この光源３Ｄは、明瞳孔画像及び暗瞳孔画像における眼鏡反射像を相殺させるための光源として設けられる。第３実施形態では、光源３Ａと光源３Ｂとが離れて設置されているため、光源３Ａによる眼鏡反射像と光源３Ｂによる眼鏡反射像とが相殺できない場合がある。そのため、本実施形態では、光源３Ａと光源３Ｃとの間か、又は光源３Ｃの外側近傍に別途光源３Ｄを設け、明瞳孔画像撮影時と暗瞳孔画像撮影時のそれぞれにおいて、同じ時間であって、かつ、眼鏡反射像の輝度が飽和するだけの点灯期間だけ光源３Ｄを点灯させるように制御される。光源３Ｄは、光源３Ｃ等と同様に、発光素子がリング状に配設された構成を有する。このような構成により、光源３Ｄは明瞳孔画像及び暗瞳孔画像の取得時に同じ時間だけ点灯されているので、差分画像の瞳孔像の輝度には影響を与えないし、両方の画像中の角膜反射像の輝度あるいは瞳孔部以外の領域の輝度にもほとんど影響を与えない。
【0084】
具体的には、制御装置４の点灯制御ユニット１２及び検出ユニット１３は、上記構成の光源３Ｄを含む照明装置３０３の点灯タイミングを図１７に示すように制御する。図１７は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｃの点灯タイミング、（ｄ）は、光源３Ｄの点灯タイミング、（ｅ）は、光源３Ｂの点灯タイミング、をそれぞれ示している。
【0085】
図１７に示すように、点灯制御ユニット１２及び点灯時間設定部１７により、明瞳孔画像撮影時及び暗瞳孔画像撮影時のそれぞれに同期して点灯期間ＴＡでの光源３Ｄの点灯が制御される。さらに、点灯時間設定部１７により、明瞳孔画像取得時の光源３Ａ，３Ｃ，３Ｄの合計の点灯期間と、暗瞳孔取得時の光源３Ｂ，３Ｄの光源の点灯期間とが同一になるように、すなわち、下記式；ＴＢ１＋ＴＢ２＋ＴＡ＝ＴＣ＋ＴＡ （７）
によって算出される値が同一となるように、点灯期間が制御される。これにより、差分画像における瞳孔像の検出精度を維持できる。このとき、点灯時間設定部１７により、第３実施形態と同様にして、点灯期間ＴＢ１，ＴＢ２が設定される。
【0086】
（第５実施形態）
【0087】
上述した第１〜第４実施形態では、光源３Ｂがカメラ２の開口部８から大きく離れていないため、瞳孔が大きい時あるいは周囲環境が暗い時に暗瞳孔効果が出にくい。瞳孔像の検出率を上げるためには暗瞳孔画像取得時の暗瞳孔効果を強くすることが好ましい。明瞳孔画像取得時の暗瞳孔効果が強ければ、その分明瞳孔取得時の明瞳孔効果がそれほど強くなくて済む。その結果、暗瞳孔画像形成用の光源３Ａ等として、瞳孔からの反射率が比較的低い９５０ｎｍ等の発光波長の発光素子が使用できる。このような場合は、対象者から光源３Ａ等が発光しているのか見えなくなるため好ましい。本実施形態では、暗瞳孔取得時に暗瞳孔効果が出やすい構成の照明装置の構成が採用される。図１８には、照明装置の第５の実施形態の構成を示している。同図に示すように、第５実施形態にかかる照明装置４０３は、同図に示すように、第２実施形態の照明装置２０３と比較して、光源３Ｂが２つの光源３Ｂ１，３Ｂ２に置換されている点が異なる。２つの光源３Ｂ１，３Ｂ２は、カメラ２の光軸Ｌ０（図１）に沿った方向から見て、開口部８の中心から左右に等距離に離れて配設されている。光源３Ｂ１，３Ｂ２は、例えば、複数又は単数のＬＥＤ等の発光素子によって構成されており、光軸Ｌ０に沿って照明光を出射するように設けられている。
【0088】
制御装置４の点灯制御ユニット１２及び検出ユニット１３は、第２実施形態における光源３Ｂに対する制御と同様にして、光源３Ｂ１，３Ｂ２の点灯タイミング及び点灯期間を制御する。このとき、明瞳孔画像撮影時の光源３Ａの発光パワーと暗瞳孔画像撮影時の光源３Ｂ１，３Ｂ２の発光パワーの合計とが同一となるように、それぞれの点灯期間が設定される。具体的には、明瞳孔画像の取得時の光源３Ａの点灯期間ＴＢと暗瞳孔画像の取得時の光源３Ｂ１，３Ｂ２の合計の点灯期間ＴＤ１＋ＴＤ２とが等しくなるように設定される。
【0089】
本実施形態においては、暗瞳孔画像形成用の光源をカメラ２に対して対称な位置に２つ設けることにより、差分画像における顔部分における輝度を一定にすることができ、差分画像の画像処理の負荷を低減することができる。２つの光源３Ｂ１，３Ｂ２の位置が非対称となると差分画像において主に顔の輪郭部分に明るい部分が生じ、差分画像からの瞳孔検出処理に負荷がかかる。２つの光源３Ｂ１，３Ｂ２を対称な位置に設けることで、処理負荷が格段に軽減される。ここで、本実施形態においては、画像処理の負荷増が問題にならない場合には、光源３Ｂ１，３Ｂ２のうちの一方のみが設けられた構成であってもよい。
【0090】
本実施形態においては、光源３Ｂ１と光源３Ｂ２との距離が眼画像データにおける角膜反射像が一体化されるほどに小さい場合は、明瞳孔画像においては光源３Ａ，３Ｃによって生じる角膜反射像が一体化し、暗瞳孔画像においては光源３Ｂ１，３Ｂ２，３Ｃによって生じる角膜反射像が一体化する。一方で、光源３Ｂ１と光源３Ｂ２との距離が大きい場合には、暗瞳孔画像において複数の光源によってずれた位置に角膜反射像が生じ、角膜反射像の位置の検出精度が低下する。これは、角膜反射像に輝度分布のばらつきが生じ、輝度重心が大きく変動する為であると予測される。このような事態を防止するためには、光源３Ｂ１，３Ｂ２間の距離をさらに大きくして、角膜反射像の位置を完全に分離させることが好ましい。このような構成においては、制御装置４の角膜反射検出部１９（図４）は、光源３Ｂ１，３Ｂ２のそれぞれによって生じた角膜反射像の位置を検出し、それらの平均値を角膜反射像の位置として算出する。このようにすれば、カメラ２の開口部８付近に光源が位置すると仮定した場合にその光源が発光した際の角膜反射像の位置を、高精度に算出することができる。その結果、カメラ２の開口部８近傍の光源による角膜反射の位置を利用した高精度の視線検出が実現できる。
【0091】
（第６実施形態）
【0092】
図１９には、照明装置の第６の実施形態の構成を示している。同図に示す第６実施形態にかかる照明装置５０３と、第５実施形態の照明装置４０３との相違点は、暗瞳孔画像形成用の２つの光源のうちの一方の光源３Ｂ１を取り除いた点、及び、角膜反射形成用の光源として、光源３Ｃと同様な構成の光源３Ｃ１に加えて光源３Ｃ２が付加されている点である。光源３Ｃ２は、光源３Ｂ２の近傍において光源３Ｂ２を取り囲むように設けられた光源である。光源３Ｃ２は、例えば、複数のＬＥＤ等の発光素子によってリング状に構成されており、光軸Ｌ０（図１）に沿って照明光を出射するように設けられている。
【0093】
制御装置４の点灯制御ユニット１２及び検出ユニット１３は、第２実施形態における光源３Ｃに対する制御と同様にして、光源３Ｃ１，３Ｃ２の点灯タイミング及び点灯期間ＴＣ１，ＴＣ２を制御する。このとき、点灯時間設定部１７は、光源３Ｃ１，３Ｃ２の発光パワーが等しいため、明瞳孔画像撮影時及び暗瞳孔画像撮影時において、２つの光源３Ｃ１，３Ｃ２の点灯期間ＴＣ１，ＴＣ２が互いに同一になり、それぞれの点灯期間ＴＣ１，ＴＣ２が明瞳孔画像撮影時と暗瞳孔画像撮影時で一定となるように設定する。
【0094】
本実施形態によれば、眼画像データにおいて光源３Ａと光源３Ｃ１とによって生じる角膜反射像が一体化し、しかも、光源３Ａと光源３Ｃ１による角膜反射の輝度と光源３Ｂ２と光源３Ｃ２による角膜反射の輝度とが同程度にされる。そのため、角膜反射像の位置検出の精度が維持される。また、各光源３Ｃ１，３Ｃ２は、それぞれ、明瞳孔画像撮影時及び暗瞳孔画像撮影時に同じ点灯期間で発光するので、差分画像においてそれぞれの光源３Ｃ１，３Ｃ２による効果は相殺される。従って、差分画像を基にした瞳孔像の位置検出の精度も維持される。
【0095】
図２０には、本実施形態の照明装置の変形例の構成を示している。同図に示す第６実施形態の変形例にかかる照明装置６０３は、光源３Ｃ１が光源３Ａの近傍に光源３Ａから分離して独立して設けられ、光源３Ｃ２が、光源３Ａの近傍に光源３Ａから分離して独立して設けられている。
【0096】
また、図２１には、本実施形態の照明装置の別の変形例の構成を示している。同図に示す第６実施形態の変形例にかかる照明装置７０３は、光源３Ｂ２が角膜反射像形成用の光源（図２０の光源３Ｃ２）としても共用されている。このような構成により、光源の数を削減して構成を簡略化できる。
【0097】
本実施形態では、明瞳孔画像及び暗瞳孔画像ともに２つの角膜反射像が生じる。本実施形態を視線検出装置２０１として応用する場合には、開口部８に近い光源３Ａと光源３Ｃ１とによって生じる角膜反射像の位置を利用して視線検出を実行することが好適である。なお、図２０に示した照明装置６０３では、光源３Ａと光源３Ｃ１との位置のずれにより一体化した角膜反射像の位置がずれやすいため、光源３Ａと光源３Ｃ１との間のカメラ２の光軸Ｌ０に沿った方向から見た角度をできるだけ小さくすることが望ましい。ただし、光源３Ｃ１は、明瞳孔効果をある程度低くするために、開口部８からある程度は離す必要がある。すなわち、光源３Ｃ１を点灯させたときに対象者の顔よりも瞳孔が明るくならないようにすることが好ましい。
【0098】
（第７実施形態）
【0099】
上述した視線検出装置２０１の別の実施形態について説明する。図２２は、本発明の別の実施形態にかかる視線検出装置３０１の機能構成を示し、図２３には、図２２に含まれる光学系の配置例を示している。本実施形態の視線検出装置３０１は、光源３Ａ，３Ｂと撮像素子６とをぞれぞれ含む４つの光学系２０２ａ，２０２ｂ，２０２ｃ、２０２ｄを備える点で視線検出装置２０１と異なる。視線検出装置３０１の制御装置４は、４つの光学系２０２ａ，２０２ｂ，２０２ｃ、２０２ｄの撮像タイミング及び点灯期間を独立に制御可能に構成される。なお、視線検出装置３０１に含まれる光学系の個数は４には限定されず３以上の様々な個数に変更され得る。４つの光学系２０２ａ〜２０２ｄは、対象者Ｓの正面方向において、表示面を対象者に向けて水平方向に広がって配置された平面形状あるいは曲面形状のディスプレイ画面２０４の手前に、水平方向に略等間隔で配置されている。視線検出装置３０１は、ディスプレイ画面２０４上の対象者Ｓの注視点を検出する機能を有する。このような構成の場合、対象者Ｓから見た時の光学系２０２ａ〜２０２ｄの方向が大きく異なるため、対象者Ｓがどの方向を見ているかによって、各カメラ２に写る瞳孔の形状は大きく異なる。一般に、カメラ２の方向から大きく異なる方向を見ると、カメラ２の写る瞳孔は楕円となるため、カメラ２の方向を見た場合に比較して瞳孔の面積が小さくなる。単純計算によると、カメラ２の方向に対して４５度傾いた方向を見た場合、楕円の短径は長径の７割程度になり、瞳孔像の輝度も瞳孔の面積と同様に７割程度になる。そこで、制御装置４は、瞳孔像の位置検出の精度低下を防止するために、各光学系２０２ａ，２０２ｂ，２０２ｃ、２０２ｄで独立して点灯期間を制御する。
【0100】
すなわち、制御装置４の点灯時間設定部１７は、光学系２０２ａ〜２０２ｄのそれぞれの点灯期間ＴＢ，ＴＣ，ＴＤＣを点灯期間ＴＢｍ，ＴＣｍ，ＴＤＣｍ（ｍ＝１，２，３，４）としたとき、次のようにして、各光学系２０２ａ〜２０２ｄ毎にそれぞれの点灯期間ＴＢｍ，ＴＣｍ，ＴＤＣｍを設定する。具体的には、前回のフレームの角膜反射像の輝度値Ｃｉｍを基に、次回のフレームにおける点灯期間ＴＤＣｍｉ＋１を、下記式；ＴＤＣｍｉ＋１＝（ＣＧ／Ｃｉｍ）×ＴＤＣｍｉ （８）
によって計算された値に変更する。同時に、点灯時間設定部１７は、前回のフレームの瞳孔像の輝度値Ｐｉｍを基に、次回のフレームの点灯期間ＴＢｍｉ＋１を、前回のフレームの点灯期間ＴＢｍｉに対して、下記式；
ＴＢｍｉ＋１＝（ＰＧ／Ｐｉｍ）×ＴＢｍｉ （９）
によって計算された値に変更する。これに応じて、次回のフレームの点灯期間ＴＣｍｉ＋１は、上記式（８）によって算出された点灯期間ＴＤＣｍｉ＋１を基に、下記式；
ＴＣｍｉ＋１＝ＴＤＣｍｉ＋１−ＴＢｍｉ＋１ （１０）
によって計算された値に変更される。
【0101】
本実施形態では、同時に４個の光源３Ａが点灯し、同時に４個の光源３Ｂが点灯するので、明瞳孔画像においても暗瞳孔画像においても、最大４個の角膜反射像が画像に写る可能性がある。視線検出部２０で実行される視線方向の算出手法においては、カメラ２に取り付けた光源によって生じた角膜反射像を利用して視線方向を検出することを前提としている。仮に、視線検出部２０において最大４個のうちカメラ２に取り付けた光源によって生じる角膜反射が正しく判別できない場合は、視線検出の誤差が生じる可能性がある。このような判別は、対象者Ｓが見ている方向によって各カメラ２に写る角膜反射像が異なることから、単純な処理では不可能である。例えば、対象者Ｓが光学系２０２ａと光学系２０２ｂとの間あたりを見ている際には、光学系２０２ａ〜２０２ｃの光源による角膜反射は写るが、光学系２０２ｄの光源による角膜反射は写らない。対象者Ｓが光学系２０２ｄの光源より右側を見ている際には、光学系２０２ｃ，２０２ｄの光源による角膜反射しか写らない。問題となるのは、対象者Ｓがどこを向いているかが不明なため、写っている角膜反射の基となる光源が判別しにくい点である。対象者Ｓが眼鏡を装着している場合には、角膜反射像と輝度及びサイズの点で近い眼鏡反射像が瞳孔の近くに現れた際にさらに角膜反射の判別が難しくなる。
【0102】
図２４は、視線検出装置３０１によって撮影された眼画像データの例を示す図であり、（ａ）は、対象者が光学系２０２ｂと光学系２０２ｃとの間の中間点を見た時の光学系２０２ｂのカメラ２で撮影された画像、（ｂ）は、対象者が光学系２０２ｂと光学系２０２ｃとの間の中間点を見た時の光学系２０２ｃのカメラ２で撮影された画像、（ｃ）は、対象者が光学系２０２ａと光学系２０２ｂとの間の中間点を見た時の光学系２０２ａのカメラ２で撮影された画像、（ｄ）は、対象者が光学系２０２ａと光学系２０２ｂとの間の中間点を見た時の光学系２０２ｂのカメラ２で撮影された画像をそれぞれ示している。これらの画像中では、円形で囲んだ輝点の部分が撮影に用いたカメラ２に取り付けた光源による角膜反射を示している。このように、光学系２０２ａ〜２０２ｄのカメラ２は対象者を見上げるような角度で設けられおり、かつ、４つの光学系２０２ａ〜２０２ｄが対象者Ｓを囲むように設けられているので、眼画像データ上の４つの角膜反射は、一直線上に並んで写るわけではなく、湾曲した曲線上に並んで写ることになる。
【0103】
本実施形態の制御装置４の角膜反射検出部１９は、上記のような問題を解決するために、以下のようにして、眼画像データ上からその眼画像データを取得した光学系に含まれる光源による角膜反射像を特定する。
【0104】
ここで、図２５〜２７を参照しながら、光学系２０２ａのカメラ２から得られた眼画像データを対象にした制御装置４の角膜反射像の特定機能について説明する。図２５には、制御装置４で扱われる世界座標系ｘ−ｙ−ｚにおける、光学系２０２ａ〜２０２ｄの位置Ｌ１〜Ｌ４及び角膜球ＣＢの中心Ｃを示している。これらの位置Ｌ１〜Ｌ４は既知であり、角膜球ＣＢの中心Ｃは、視線検出部２０で検出された瞳孔の三次元位置で近似されるものとする。角膜球中心Ｃと位置Ｌ１とを結ぶ線に垂直で、かつ、位置Ｌ１を通る平面が仮想平面Ｈ１として定義される。この仮想平面Ｈ１とｘ−ｚ平面との交線が平面Ｈ１のＸＣ１軸と定義され、平面Ｈ１上でＸＣ１軸と垂直な軸がＹＣ１軸と定義される。また、ＸＣ１軸と角膜球中心Ｃとを含む平面がＦ１と定義され、角膜球中心Ｃと位置Ｌ１，Ｌ２を通る平面がＦ１−２と定義され、角膜球中心Ｃと位置Ｌ１，Ｌ３を通る平面がＦ１−３と定義され、角膜球中心Ｃと位置Ｌ１，Ｌ４を通る平面がＦ１−４と定義される。
【0105】
角膜反射検出部１９は、処理対象のカメラ２の仮想平面Ｈ１のＸＣ１軸と角膜球中心Ｃとを通る平面Ｆ１と、３つの平面Ｆ１−ｊ（Ｊ＝２，３，４）とのなす角ε１−ｊを、それらの平面の法線ベクトルｎ１，ｎ１−ｊを基に下記式；ε１−ｊ＝ｃｏｓ−１｛（ｎ１，ｎ１−ｊ）／（||ｎ１||・||ｎ１−ｊ||）｝ （１１）
を用いて算出することができる。上記式（１１）中、（ｘ，ｙ）は、ｘとｙとの内積を表し、||ｘ||は、ｘのノルムを表す。そして、角膜反射検出部１９は、図２６に示すような眼画像データを対象にして、光学系２０２ａの光源により生じた角膜反射の位置を特定する。まず、角膜反射検出部１９は、上記式（１１）によって算出された傾きε１−ｊにより、光学系２０２ａの光源によって生じた角膜反射像と他の光学系２０２ｂ〜２０２ｄの光源によって生じた角膜反射像とを結ぶ直線の傾きを認識できる。ただし、平面Ｆ１は必ずしも水平方向には沿っていない。次に、角膜反射検出部１９は、眼画像データ中の角膜反射像の候補点を複数探索し、それらの複数の候補点から複数の候補点のペアーを総当たりで選択する。さらに、角膜反射検出部１９は、選択した複数の候補点のペアーごとに互いの候補点を結ぶ直線の角度ε１−ｊに相当する角度を算出する。そして、角膜反射検出部１９は、角度ε１−２に最も近い角度をもつ候補点のペアーを決定し、そのペアーのうちから光学系２０２ａの光源により生じた角膜反射像を特定する。角膜反射検出部１９は、同様の方法で、光学系２０２ｂ〜２０２ｄのカメラ２から得られた眼画像データを対象にして自身のカメラ２に取り付けられた光源によって生じた角膜反射像を特定することができる。
【0106】
ただし、上記の角膜反射像の特定方法のみだと、多数の光学系を含んでいる場合に、ほぼ同じ角度をもつ候補点のペアーが存在することがありうるため、角膜反射検出部１９は、角膜反射像間の距離を利用する機能を併せ持つことが好ましい。図２７に示すように、対象者の角膜球中心Ｃから光学系２０２ａの光源の位置Ｎ１までの距離と、対象者の角膜球中心Ｃから光学系２０２ｂの光源の位置Ｎ２までの距離とがほぼ等しいと仮定できるときには、対称性から光学系２０２ｂの光源による角膜反射の位置Ｒ２は、位置Ｎ１と角膜球中心Ｃとを結ぶ線と、位置Ｎ２と角膜球中心Ｃとを結ぶ線との間の二等分線上に存在するとみなせる。光学系２０２ａの光源による角膜反射の位置Ｒ１は、位置Ｎ１と角膜球中心Ｃとを結ぶ線上に存在するとみなせる。このような性質を利用して、角膜反射検出部１９は、ベクトルＣＮ１とベクトルＣＮ２を利用して、角膜球ＣＢ上の角膜反射の位置Ｒ２を通る単位法線ベクトルｖｎを算出することができ、算出した単位法線ベクトルｖｎと既知の角膜球ＣＢの半径ｄとを利用して、２つの角膜反射の位置Ｒ１，Ｒ２を下記式（１２），（１３）により算出することができる。Ｒ１＝Ｃ＋ｄ・ＣＮ１／||ＣＮ１|| （１２）
Ｒ２＝Ｃ＋ｄ・ｖｎ （１３）
次に、角膜反射検出部１９は、算出した２つの角膜反射の位置Ｒ１，Ｒ２を基に２つの角膜反射間の距離を算出し、その距離をピンホールモデルを利用して画像上の角膜反射間の距離に変換する。そして、角膜反射検出部１９は、角膜反射像の候補点のペアーから光学系２０２ａの光源により生じた角膜反射像を特定する際に、角度ε１−２に最も近い角度をもつとともに、候補点のペアーの画像上の距離が求めた角膜反射間の距離に最も近いものを決定する。決定した候補点のペアーから光学系２０２ａの光源により生じた角膜反射像を特定する際には、２つの角膜反射像の左右の位置関係を判定することで特定することができる。その際には、光学系２０２ａと光学系２０２ｂとの位置関係だけでなく、光学系２０２ａと光学系２０２ｃとの位置関係及び光学系２０２ａと光学系２０２ｄとの位置関係も予めわかっているので、それらの関係を利用すれば光学系２０２ａの光源による角膜反射像の位置をより正しく決定することができる。
【0107】
以上説明した視線検出装置３０１によれば、１つの光学系に含まれるカメラ２で取得された眼画像データ上の複数の角膜反射像の中から、その光学系に含まれる光源によって生じた角膜反射像が決定され、その角膜反射像の位置を基に視線方向を検出される。これにより、視線方向を正しく検出することができる。
【0108】
また、眼画像データ上の複数の角膜反射像のペアーを選択し、角膜反射像のペアーを結んだ線の角度及び当該ペアーの距離を基に、１つの光学系によって生じた角膜反射像を含む角膜反射像のペアーが決定され、当該角膜反射像のペアーから１つの光学系によって生じた角膜反射像が特定される。このようにすれば、１つの光学系に含まれるカメラで取得された眼画像データ上の複数の角膜反射像の中から、その光学系に含まれる光源によって生じた角膜反射像を精度よく決定することができる。結果として、視線方向を正しく検出することができる。
【0109】
本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。
【0110】
上述した実施形態では、点灯時間設定部１７は、１つの明瞳孔画像とその直後の１つの暗瞳孔画像との組み合わせのフレーム単位で点灯期間の設定を制御していたが、制御単位である１つのフレームを構成する画像は、１つの暗瞳孔画像とその直後の１つの明瞳孔画像との組み合わせであってもよい。
【0111】
また、上述した実施形態にかかる照明装置における各光源の構成は様々変更してもよい。
【0112】
例えば、第２実施形態にかかる照明装置２０３においては、光源３Ｃは光源３Ｂの外側に配置されてもよい。この場合、光源３Ａと光源３Ｃとの距離が離れるため、前者による眼鏡反射像を後者による眼鏡反射像によって相殺することができなくなり、眼鏡反射が差分画像において残ってしまう可能性もある。しかし、光源３Ａによる眼鏡反射を光源３Ｂによる眼鏡反射によって相殺できたり、角膜反射像の輝度を一定値に制御しながら明瞳孔画像において高輝度部の輝度値を零に置き換えてから画像差分を行った後に眼鏡反射像の部分を区別すれば、誤検出の可能性を低減できる。
【0113】
また、第２実施形態にかかる照明装置２０３は、開口部８の中心からの距離が同一の円周上に光源３Ｂの発光素子と光源３Ｃの発光素子とが交互に配置された構成であってもよい。また、図２８及び図２９に示すように、第２実施形態にかかる照明装置２０３は、光源３Ａ〜３Ｃを開口部８の中心を通る線に沿って一列に並べて構成されていてもよい。この場合、光源３Ａ〜３Ｃは、開口部８の両側に左右対称に並ぶように設けられてもよいし、開口部８の片側のみに設けられていてもよい。
【0114】
上述した実施形態の照明装置においては、カメラ２の開口部８の外側に光源が設けられていたが、明瞳孔画像形成用の光源及び暗瞳孔画像形成用の光源は、開口部８の内側に設けられてもよい。その際は、本発明者らの開発した構成（特開2007-083027号公報参照）を採用すれば、明瞳孔画像形成用の光源と暗瞳孔画像形成用の光源を利用することで精度の高い瞳孔検出が実現できる。そして、角膜反射像強調用の光源を開口部８から離れた位置に配置すれば、眼画像データにおける角膜反射の輝度を上げることができる。同様に、本発明者らの開発した構成（特開2007-111315号公報参照）を採用して、明瞳孔画像形成用の光源を開口部８の内側に配置し、暗瞳孔画像形成用の光源を開口部８の外側に配置してもよい。開口部８の外部に配置された光源が開口部８から十分に離れている場合には、その光源が角膜反射強調用光源として共用されてもよい。開口部８の外部に配置された光源が開口部８から十分に離れていない場合には、角膜反射強調用の光源が開口部８から離れた位置に配置される。
【0115】
また、上述した第４実施形態においては、眼鏡反射相殺用の光源が設けられ、この光源の点灯が制御されている。他の実施形態においても眼鏡反射相殺用の光源が追加されて、その光源の点灯の制御が可能なように構成されてもよいし、他の光源が眼鏡反射用の光源として共用されてもよい。
【0116】
第７実施形態にかかる視線検出装置３０１においては、光学系２０２ａ〜２０２ｄが水平方向に並んで配置されていたが、例えば、対象者から見て長方形の頂点上に配置されるように構成されてもよい。このような構成においても、角膜が球面であるため、眼画像データ上の角膜反射像の位置は長方形がゆがんだような関係となる。そのため、第７実施形態と同様にして角膜反射像が正確に検出できるので、正しく角膜反射像の位置を検出できる。もし、精度が上がらない場合には、光学系を台形の頂点上に配置するような構成を採用して、角膜反射像のペアーごとに距離と方向が大きく異なるようにしてもよい。
【0117】
また、第１及び第３実施形態においては、明瞳孔画像及び暗瞳孔画像の角膜反射の輝度値Ｃｉを基に光源の制御が実行されていたが、明瞳孔画像中又は暗瞳孔画像中の角膜反射の輝度の高さを基に光源の制御が実行されてもよい。ここでいう「明瞳孔画像中又は暗瞳孔画像中の角膜反射の輝度の高さ」とは、明瞳孔画像又は暗瞳孔画像における角膜反射付近の輝度分布の根元からピークまでの輝度差（振幅）のことをいう（図６（ａ），（ｂ）における輝度の高さＩＡ、図７（ａ），（ｂ）における輝度の高さＩＧ、図１２（ａ），（ｂ）における輝度の高さＩＡ、図１３（ａ），（ｂ）における輝度の高さＩＧ、図１４（ａ）〜（ｄ）における輝度の高さＩＡ，ＩＧ）。
【0118】
また、第１及び第３実施形態においては、明瞳孔画像中又は暗瞳孔画像中の角膜反射の輝度の高さが目標値に近づくように光源の点灯期間を制御する場合には、角膜反射のピークの輝度値が飽和しないように制御することが好ましい。例えば、点灯時間設定部１７は、点灯期間ＴＤＣｉ＋１を設定する際には、前回のフレームの画像の輝度分布を参照して、輝度値が飽和しないような角膜反射の輝度の高さの目標値を設定する。また、点灯時間設定部１７は、次回のフレームでの角膜反射のピークの輝度値の飽和が予測される場合には、計算した点灯期間ＴＤＣｉ＋１を所定値ΔＲだけ減少させるように制御してもよい。さらに、この場合には、目標値からのずれ量ｋを式（６）と同様にして計算し、所定値ΔＲにずれ量ｋを乗算した値を用いて点灯期間ＴＤＣｉ＋１を制御してもよい。
【0119】
また、第１〜第６実施形態においては、各光源のカメラ２の露光期間における発光量が、点灯期間を設定することにより制御されていた。その他、各光源の発光量が発光パワーを設定することにより制御されてもよい。また、点滅を高速で交互に周期的に繰り返す動作形態（ＰＷＭ：Pulse Width Modulation）が可能な光源を採用し、露光期間内での点灯期間と消灯期間との比（デューティ比）を設定することで発光量を制御してもよい。
【符号の説明】
【0120】
Ａ…眼球、Ｃ…角膜球中心、ＣＢ…角膜球、Ｓ…対象者、２０２ａ〜２０２ｄ…光学系、３Ａ，３Ｂ，３Ｂ１，３Ｂ２，３Ｃ，３Ｃ１，３Ｃ２，３Ｄ…光源、１…瞳孔検出装置（眼部画像処理装置）、２…カメラ、３…照明装置、４…制御装置、８…開口部、１２…点灯制御ユニット（点灯制御部）、１３…検出ユニット（算出部）、２０３，３０３，４０３，５０３，６０３…照明装置。