特許 6957048 眼部画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6957048

(24)【登録日】2021年10月8日

(45)【発行日】2021年11月2日

(54)【発明の名称】眼部画像処理装置

(51)【国際特許分類】

   A61B 3/113 20060101AFI20211021BHJP

【ＦＩ】

   A61B3/113

【請求項の数】9

【全頁数】23

(21)【出願番号】特願2019-504593(P2019-504593)

(86)(22)【出願日】2018年3月6日

(86)【国際出願番号】JP2018008522

(87)【国際公開番号】WO2018164104

(87)【国際公開日】20180913

【審査請求日】2021年2月9日

(31)【優先権主張番号】特願2017-44269(P2017-44269)

(32)【優先日】2017年3月8日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(72)【発明者】

【氏名】海老澤 嘉伸

【審査官】 冨永 昌彦

(56)【参考文献】

【文献】 特開２０１６−０９３２５３（ＪＰ，Ａ）

【文献】 特開２００８−２４６００４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００ − ３／１８

(57)【特許請求の範囲】

【請求項1】

対象者の眼を撮像することにより眼画像を取得するカメラと、
前記カメラの開口部中心からの距離が第１の距離の位置に配置された第１の光源と、
前記開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置された第２の光源と、
前記第１の光源及び前記第２の光源の点灯を制御する点灯制御部と、
前記第１の光源が点灯された第１の期間に前記カメラによって取得された前記眼画像である明瞳孔画像と、前記第２の光源が点灯された第２の期間に前記カメラによって取得された前記眼画像である暗瞳孔画像と、前記第１の光源が消灯され、前記第２の光源が点灯された第３の期間に前記カメラによって取得された前記眼画像である背景画像とを取得し、前記明瞳孔画像、前記暗瞳孔画像、及び前記背景画像を基に前記対象者の瞳孔像の位置を算出する算出部とを備え、
前記算出部は、前記明瞳孔画像、前記暗瞳孔画像、及び前記背景画像における前記対象者の角膜反射像の位置を検出し、前記明瞳孔画像と前記背景画像とを基に前記角膜反射像の位置を規準にした差分画像を算出することにより、差分明瞳孔画像を取得し、前記暗瞳孔画像と前記背景画像とを基に前記角膜反射像の位置を規準にした差分画像を算出することにより、差分暗瞳孔画像を取得した後、前記差分明瞳孔画像と前記差分暗瞳孔画像とを対象に所定の演算を行うことにより前記対象者の瞳孔像の位置を算出する、
眼部画像処理装置。

【請求項2】

前記第２の光源は、暗瞳孔用光源と、前記開口部中心からの距離が前記暗瞳孔用光源より近い角膜反射発生用光源とを含んでおり、
前記点灯制御部は、前記第１の期間には、前記第１の光源及び前記角膜反射発生用光源を点灯させ、前記第２の期間には、前記暗瞳孔用光源及び前記角膜反射発生用光源を点灯させ、前記第３の期間には、前記角膜反射発生用光源を点灯させる、
請求項１記載の眼部画像処理装置。

【請求項3】

前記点灯制御部は、前記明瞳孔画像、前記暗瞳孔画像、及び前記背景画像における前記対象者の角膜反射像の輝度が一定となるように、前記第１の期間、前記第２の期間、及び前記第３の期間における前記角膜反射発生用光源の発光量を調整する、
請求項２記載の眼部画像処理装置。

【請求項4】

前記点灯制御部は、前記第１の期間における前記第１の光源及び前記角膜反射発生用光源の発光量と、前記第２の期間における前記暗瞳孔用光源及び前記角膜反射発生用光源の発光量と、前記第３の期間における前記角膜反射発生用光源の発光量とが均一化されるように、前記第１の期間、前記第２の期間、及び前記第３の期間における前記角膜反射発生用光源の発光量を調整する、
請求項２記載の眼部画像処理装置。

【請求項5】

前記点灯制御部は、前記第２の期間において第１の光源を第１の期間よりも小さい発光量で点灯させるように制御する、
請求項１〜４のいずれか１項に記載の眼部画像処理装置。

【請求項6】

前記開口部中心からの距離が前記第２の光源より近く前記第１の光源より遠い眼鏡反射相殺用光源をさらに備え、
前記点灯制御部は、前記第２の期間において前記眼鏡反射相殺用光源を第１の期間における前記第１の光源の発光量よりも小さい発光量で点灯させるように制御する、
請求項１〜４のいずれか１項に記載の眼部画像処理装置。

【請求項7】

前記カメラと前記第１の光源と前記第２の光源とを含む光学系を少なくとも２つ以上備え、
前記算出部は、前記２つ以上の光学系のそれぞれによって取得された眼画像を対象にして、前記瞳孔像の位置及び前記角膜反射像の位置を算出し、前記瞳孔像の位置及び前記角膜反射像の位置を基に前記対象者の視線方向を算出する、
請求項１〜６のいずれか１項に記載の眼部画像処理装置。

【請求項8】

前記算出部は、
前記２つ以上の光学系の一方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置と、前記２つ以上の光学系の他方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置とのうちから、角膜反射像の候補位置のペアーを選択し、前記一方の光学系のカメラを規準に特定される前記ペアーのうちの一方の位置と、前記他方の光学系のカメラを規準に特定される前記ペアーのうちの他方の位置との間の距離を基に、前記候補位置のペアーの真偽を判定する、
請求項７に記載の眼部画像処理装置。

【請求項9】

前記算出部は、
前記眼画像上における前記対象者の鼻孔の位置をさらに検出し、前記瞳孔像の位置及び前記鼻孔の位置を基に前記対象者の顔姿勢を算出する、
請求項１〜８のいずれか１項に記載の眼部画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の画像から瞳孔を検出する眼部画像処理装置に関する。

【背景技術】

【0002】

近年、近赤外光源等の光源とビデオカメラを使用した瞳孔検出装置が普及しつつある。このような視線検出装置では、ビデオカメラによって取得された明瞳孔画像と暗瞳孔画像とを用いて差分画像を生成し、その差分画像を基に瞳孔像を検出する（下記特許文献１）。この装置では、明瞳孔画像の取得時刻と暗瞳孔画像の取得時刻に時間差が生じるため、それぞれの画像における角膜反射像を基準にした画像間の位置補正を行っている。このような位置補正によって、瞳孔像の検出精度が向上する。

【0003】

また、太陽光等の環境光の影響下においても差分画像における瞳孔像の検出精度を向上させるために、明瞳孔画像と暗瞳孔画像に加えて、光源を消灯させたタイミングで無照明画像を取得し、明瞳孔画像と無照明画像とを基にした差分画像と、暗瞳孔画像と無照明画像とを基にした差分画像と作成し、これらの２つの差分画像を基にした差分画像を用いて瞳孔を検出する装置も知られている（下記特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−０２９７０２号公報

【特許文献2】特開２００８−２４６００４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した特許文献２に記載の瞳孔検出装置では、比較的低レートのビデオカメラを用いた場合に明瞳孔画像及び暗瞳孔画像と無照明画像との間の画像の取得タイミングにずれが生じるため、環境光の影響によるノイズが明瞳孔画像及び暗瞳孔画像において除去されにくくなる。その結果、差分画像を用いた瞳孔像の検出精度が低下する場合がある。

【0006】

本発明の一側面は、上記課題に鑑みて為されたものであり、環境光が存在する場合であっても画像中の瞳孔像の検出精度を向上させることが可能な眼部画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一形態にかかる眼部画像処理装置は、対象者の眼を撮像することにより眼画像を取得するカメラと、カメラの開口部中心からの距離が第１の距離の位置に配置された第１の光源と、開口部中心からの距離が第１の距離よりも大きい第２の距離の位置に配置された第２の光源と、第１の光源及び第２の光源の点灯を制御する点灯制御部と、第１の光源が点灯された第１の期間にカメラによって取得された眼画像である明瞳孔画像と、第２の光源が点灯された第２の期間にカメラによって取得された眼画像である暗瞳孔画像と、第１の光源が消灯され、第２の光源が点灯された第３の期間にカメラによって取得された眼画像である背景画像とを取得し、明瞳孔画像、暗瞳孔画像、及び背景画像を基に対象者の瞳孔像の位置を算出する算出部とを備え、算出部は、明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像の位置を検出し、明瞳孔画像と背景画像とを基に角膜反射像の位置を規準にした差分画像を算出することにより、差分明瞳孔画像を取得し、暗瞳孔画像と背景画像とを基に角膜反射像の位置を規準にした差分画像を算出することにより、差分暗瞳孔画像を取得した後、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算もしくは除算を行うことにより対象者の瞳孔像の位置を算出する。

【0008】

上記形態の眼部画像処理装置によれば、カメラの開口部中心から比較的近い位置に配置された第１の光源の点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、その開口部中心から比較的遠い位置に配置された第２の光源の点灯タイミングに合わせてカメラで画像を取得することにより、瞳孔が相対的に暗く写った暗瞳孔画像が得られる。加えて、第１の光源が消灯され、第２の光源が点灯されたタイミングに合わせてカメラで画像を取得することにより、環境光による影響を含む角膜反射像が写った背景画像が得られる。さらに、明瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分明瞳孔画像と、暗瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分暗瞳孔画像と、を用いて瞳孔像の位置が算出される。これにより、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができる。その結果、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。

【発明の効果】

【0009】

本発明の一側面によれば、環境光が存在する場合であっても画像中の瞳孔像の検出精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態にかかる瞳孔検出装置の概略構成を示す図である。

【図2】図１の照明装置を筐体の外側から見た平面図である。

【図3】図１の制御装置のハードウェア構成を示すブロック図である。

【図4】図１の瞳孔検出装置の機能構成を示すブロック図である。

【図5】図４の制御装置によって制御された各光源の点灯タイミングを示すタイミングチャートである。

【図6】図１の瞳孔検出装置によって得られた眼画像データの輝度の一次元分布を示すグラフである。

【図7】図４の制御装置によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートである。

【図8】図１の照明装置の他の構成を示す平面図である。

【図9】図１の照明装置の他の構成を示す平面図である。

【図10】図４の制御装置によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートである。

【図11】図１の照明装置の他の構成を示す平面図である。

【図12】図１の照明装置の他の構成を示す平面図である。

【図13】第２実施形態にかかる視線検出装置の機能構成を示すブロック図である。

【図14】第２実施形態にかかる照明装置の構成を示す平面図である。

【図15】第２実施形態にかかる照明装置の別の構成を示す平面図である。

【図16】図１３の制御装置によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートである。

【図17】第２実施形態にかかる照明装置の別の構成を示す平面図である。

【図18】図１３の角膜反射検出部による角膜反射の真偽判定処理を説明するための概念図である。

【図19】図１３の角膜反射検出部１９による角膜反射の真偽判定処理を説明するための概念図である。

【図20】図１３の角膜反射検出部１９による角膜反射の真偽判定処理を説明するための概念図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しつつ本発明に係る眼部画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0012】

（第１実施形態）
［瞳孔検出装置］

【0013】

図１に示されるように、本発明の一実施形態である瞳孔検出装置１は、カメラ２と、照明装置（光源）３と、制御装置４と、を備えている。カメラ２は、筐体５と、筐体５内に収容されたＣＣＤ、ＣＭＯＳ等の撮像素子６と、筐体５内に収容された対物レンズ７とを有する。このカメラ２は、画像の１つのフレームの取得時間間隔が非常に短い高速度カメラであってもよいし、いわゆる中速度カメラ、又は６０Ｈｚ程度のフレームレートを有するカメラであってもよい。筐体５は、観察対象者の眼球Ａと対向する面に形成された円形状の開口部８を有する。対物レンズ７は、開口部８と撮像素子６との間に配置されている。対物レンズ７の光軸Ｌ０は、開口部８の中心軸線と一致している。撮像素子６は、その受光面が対物レンズ７の光軸Ｌ０に対して垂直に交わるように固定されている。撮像素子６は、対象者の眼球Ａの像を撮像することによって眼画像データを生成して制御装置４に出力する。制御装置４は、照明装置３の発光強度、点灯タイミング、及び点灯期間、並びにカメラ２の撮像タイミング及び撮像期間を制御する。また、制御装置４は、撮像素子６から出力された眼画像データに基づいて差分処理、瞳孔検出処理、及び角膜反射検出処理を実行する。

【0014】

なお、開口部８の径は、対物レンズ７の径に比較して小さく、対物レンズ７の有効径と略同程度である。このような構成により、対象者の眼球Ａ付近の像は、開口部８を経てカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７を含む光学系によって、撮像素子６の受光面に収束するように結像される。

【0015】

照明装置３は、対象者の顔に向けて照明光を出射する。図２に示されるように、照明装置３は、ケーシング９と、ケーシング９に埋め込まれた光源３Ａ，３Ｂ，３Ｃを有する。ケーシング９は、開口部８の縁部に沿って開口部８の外側を覆うように筐体５に取り付けられている。光源３Ａ，３Ｂ，３Ｃは、いずれも対物レンズ７の光軸Ｌ０に沿って照明光を出射するようにケーシング９上に設けられている。

【0016】

光源（第１の光源）３Ａは、明瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。光源３Ａは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的近い第１の距離Ｄ１の位置に配置されている。具体的には、光源３Ａを構成する発光素子は、ケーシング９上で、開口部８の外側において開口部８の縁に沿って等間隔でリング状に配設されている。光源３Ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源３Ａにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。光源３Ａにより照らし出される対象者の像においては、対象者の角膜反射像も生じる。

【0017】

光源（第２の光源、暗瞳孔用光源）３Ｂは、暗瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。光源３Ｂは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が比較的遠い第２の距離Ｄ２の位置に配置されている。この第２の距離Ｄ２は第１の距離Ｄ１より大きい。具体的には、光源３Ｂを構成する発光素子は、ケーシング９上で、光源３Ａから開口部８の外側に離間して等間隔でリング状に配設されている。

【0018】

光源（第２の光源、角膜反射発生用光源）３Ｃは、明瞳孔画像、暗瞳孔画像、及び背景画像において角膜反射像を目立たせて生じさせるための照明光を、対象者の顔に向けて照射するための光源である。背景画像とは、太陽光等の環境光によって照らされた対象者の顔の像が主に映った画像をいう。光源３Ｃは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の中心からの距離が第３の距離Ｄ３の位置に配置されている。この第３の距離Ｄ３は第１の距離Ｄ１より大きく、第２の距離Ｄ２より小さい。具体的には、光源３Ｃを構成する発光素子は、ケーシング９上で、光源３Ａと光源３Ｂとの間で光源３Ａ，３Ｂから離間して等間隔でリング状に配設されている。

【0019】

上記の光源３Ａから対象者の眼球Ａに照明光が出射されるタイミングでカメラ２によって瞳孔が撮像されると明瞳孔画像が取得され、上記の光源３Ｂから対象者の眼球Ａに照明光が出射されるタイミングでカメラ２によって瞳孔が撮像されると暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、眼球Ａへの照明光がカメラ２の光軸Ｌ０から相対的に離れた位置から入射した場合には、眼球Ａの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光が照明光の方向に戻ってカメラ２に届きにくいため、瞳孔が相対的に暗く映るという性質である。

【0020】

ここで、光源３Ａの出力光の中心波長は、光源３Ｂ，３Ｃの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。ただし、明瞳孔画像取得用の光源である光源３Ａは、網膜を反射して戻ってくる光の輝度が強い点で、例えば、８５０ｎｍ等の９００ｎｍ付近より短い出力光の波長の光源を用いることが望ましい。同様に、暗瞳孔取得用の光源である光源３Ｂは、網膜を反射して戻ってくる光の輝度が弱い点で、例えば、９４０ｎｍ等の９００ｎｍ付近より長い出力光の波長の光源を用いることが望ましい。このとき、光源３Ｃは、対象者の瞳孔に対する照明効果が光源３Ａと光源３Ｂとの間の中間の効果を有していればよく、例えば、光源３Ｂと同一の波長の９４０ｎｍの出力光の波長の光源が用いられる。一方で、８５０ｎｍ等の比較的短波長の出力波長の光源３Ａを用いると光量が大きい時に対象者によって光源３Ａの発光が認識されてしまうため、対象者が車のドライバー等の場合に運転に影響を与えるなどの問題が生じ望ましくない場合がある。その場合は、光源３Ａとして、対象者に発光が認識されにくい光源３Ｂ，３Ｃと同様な９００ｎｍ付近より長波長の光源を用いる。ただし、光源３Ａと光源３Ｂ，３Ｃとで出力光の中心波長を同じに設定する場合は、光源の波長によって明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差が生じにくくなるため、光源３Ａの開口部８からの距離Ｄ１と光源３Ｂの開口部８からの距離Ｄ２との差をより大きくすることが望ましい。これにより、カメラ２から見た光源３Ａからの照明光による瞳孔を照らす効果と、カメラ２から見た光源３Ｂからの照明光による瞳孔を照らす効果との差を大きくすることができる。

【0021】

また、光源３Ａ，３Ｂの発光強度（発光パワー）は、光源３Ａを発光させたときの撮影対象である対象者の顔面での照度と、光源３Ｂを発光させたときの顔面での照度とが略同一になるように設定されている。更に、光源３Ａ，３Ｂ，３Ｃは、後述する制御装置４からの制御信号により、それぞれ独立に照明光の点灯タイミング及び発光量を制御可能にされている。本実施形態では、光源３Ａ，３Ｂ，３Ｃは、点灯期間が制御可能にされ、その結果として、発光強度と点灯期間との積で決まる発光量が制御されるように構成されている。

【0022】

続いて、図３及び図４を参照して、瞳孔検出装置１に含まれる制御装置４の構成について説明する。

【0023】

制御装置４は、撮像素子６及び光源３Ａ，３Ｂ，３Ｃの制御と、対象者の瞳孔及び角膜反射の検出を実行するコンピュータであり得る。制御装置４は、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置４は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

【0024】

図３に示されるように、制御装置４は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを備える。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭで構成される。補助記憶部１０３は、ハードディスクやフラッシュメモリなどで構成される。通信制御部１０４は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置１０５は、キーボードやマウスなどを含む。出力装置１０６は、ディスプレイやプリンタなどを含む。

【0025】

後述する制御装置４の各機能要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。

【0026】

図４に示されるように、制御装置４は機能的構成要素として、撮像素子駆動ユニット１１と、点灯制御ユニット（点灯制御部）１２と、検出ユニット（算出部）１３とを有する。撮像素子駆動ユニット１１は、撮像素子６の撮影タイミングを制御する機能要素である。具体的には、撮像素子６を所定のフレームレート及び所定の露光時間で繰り返し撮像し、順番に明瞳孔画像、背景画像、及び暗瞳孔画像を取得するように制御する。点灯制御ユニット１２は、撮像素子６の撮影タイミングに同期させて、光源３Ａ，３Ｂ，３Ｃの点灯タイミング及び撮像素子６の露光期間内の発光量を制御する機能要素である。本実施形態では、点灯制御ユニット１２は、光源３Ａ，３Ｂ，３Ｃの発光量をそれぞれの点灯期間を設定することによって制御している。具体的には、点灯制御ユニット１２は、明瞳孔画像の撮像時には光源３Ａ及び光源３Ｃを連続して（又は同時に）点灯させ、背景画像の撮像時には光源３Ｃのみを点灯させ、暗瞳孔画像の撮像時には光源３Ｂ及び光源３Ｃを連続して（又は同時に）点灯させるように制御する。検出ユニット１３は、撮像素子６から出力された眼画像データを利用して、当該眼画像データにおける瞳孔及び角膜反射を検出する機能要素である。検出された瞳孔及び角膜反射に関する情報の出力先は何ら限定されない。例えば、制御装置４は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

【0027】

検出ユニット１３は、機能的構成要素として、画像取得部１４と、差分画像生成部１６と、点灯時間設定部１７と、瞳孔検出部１８と、角膜反射検出部１９、とを有する。画像取得部１４は、撮像素子６から所定のフレームレートで順番に撮影される明瞳孔画像、背景画像、及び暗瞳孔画像を、眼画像データとして取得する。差分画像生成部１６は、明瞳孔画像、背景画像、及び暗瞳孔画像を用いて瞳孔検出用画像を生成する。具体的には、差分画像生成部１６は、明瞳孔画像と背景画像とから生成した差分明瞳孔画像と、暗瞳孔画像と背景画像とから生成した差分暗瞳孔画像との間で対応する画素間の輝度の減算もしくは除算を計算することにより、瞳孔検出用画像を生成する。瞳孔検出部１８は、瞳孔検出用画像を利用して瞳孔像の位置を算出する機能要素である。角膜反射検出部１９は、明瞳孔画像、背景画像、及び暗瞳孔画像を利用して角膜反射像の位置を算出する機能要素である。瞳孔検出部１８及び角膜反射検出部１９により行われる処理の一例は、次の通りである。まず、瞳孔検出部１８は、瞳孔検出用画像を２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔検出部１８は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、求まる楕円の式から瞳孔像の中心位置を算出する。また、角膜反射検出部１９は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い閾値で２値化し、角膜反射像の中心を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、２値化して得られた瞳孔を構成する画素の輝度平均で与えられる。角膜反射検出部１９は、角膜反射像の位置を、背景画像及び暗瞳孔画像を対象にしても算出する。背景画像から角膜反射像を求める際に用いる閾値は、過去に明瞳孔画像から角膜反射像を求める際に用いた閾値と過去に暗瞳孔画像から角膜反射像を求める際に用いた閾値とを参考に決定される。

【0028】

次に、検出ユニット１３の点灯時間設定部１７の機能構成について詳細に説明する。

【0029】

点灯時間設定部１７は、取得される明瞳孔画像と暗瞳孔画像との間で、カメラ２の露光時間内での対象者の顔を明るくする度合いが等しくなるように照明装置３の点灯時間を設定するとともに、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度が目標値で安定化するように照明装置３の点灯時間を設定する。画像での対象者の顔を明るくする度合い（以下、単に「照明強度」と言うものとする。）は、照明装置３の点灯時間のみで決定するものではなく、光源３Ａ，３Ｂ，３Ｃの出力光の波長、光源３Ａ，３Ｂ，３Ｃから顔までの距離、顔における光の反射率、光源３Ａ，３Ｂ，３Ｃの発光強度にも依存する。そのため、点灯時間設定部１７は、光源３Ａ，３Ｂ，３Ｃの出力光の波長、及び光源３Ａ，３Ｂ，３Ｃの発光強度を考慮して、それぞれの光源３Ａ，３Ｂ，３Ｃの点灯時間を設定する。点灯時間設定部１７は、設定した点灯時間で照明装置３が発光するように、点灯制御ユニット１２を経由して光源３Ａ，３Ｂ，３Ｃの動作を制御する。

【0030】

図５は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングを示すタイミングチャートであり、（ａ）は、カメラ２の撮像タイミング、（ｂ）は、光源３Ａの点灯タイミング、（ｃ）は、光源３Ｂの点灯タイミング、（ｄ）は、光源３Ｃの点灯タイミングをそれぞれ示している。図５に示すように、撮像素子駆動ユニット１１により、明瞳孔画像が撮像される撮影期間（露光期間、第１の期間）Ｔ_１、背景画像が撮像される撮影期間（第３の期間）Ｔ_３、暗瞳孔画像が撮像される撮影期間（第２の期間）Ｔ_２、及び背景画像が撮像される撮影期間Ｔ_３がこの順番で設定され、その後、撮影期間Ｔ_１、Ｔ_３、Ｔ_２、Ｔ_３が周期的に繰り返される。同時に、点灯制御ユニット１２により、撮影期間Ｔ_１に同期して光源３Ａ，３Ｃが点灯されるように、光源３Ａの点灯期間Ｔ_Ｂの点灯タイミング、及びそれに時間的に重なる光源３Ｃの点灯期間Ｔ_ＣＲの点灯タイミングが制御される。また、点灯制御ユニット１２により、撮影期間Ｔ_３に同期して光源３Ｃのみが点灯されるように、光源３Ｃの点灯期間Ｔ_ＣＲの点灯タイミングが制御され、撮影期間Ｔ_２に同期して光源３Ｂ，３Ｃが点灯されるように、光源３Ｂの点灯期間Ｔ_Ｄの点灯タイミング、及びそれに時間的に重なる光源３Ｃの点灯期間Ｔ_ＣＲの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源３Ａが明瞳孔画像を生成するために点灯期間Ｔ_Ｂだけ点灯されるとともに、光源３Ｂが消灯され、明瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間Ｔ_ＣＲだけ点灯される。また、背景画像の撮像時には、環境光によって照らされた顔の像に角膜反射像を発生させるために光源３Ｃが点灯期間Ｔ_ＣＲだけ点灯される。また、暗瞳孔画像の撮像時には、光源３Ｂが暗瞳孔画像を得るために点灯期間Ｔ_Ｄだけ点灯されるとともに、光源３Ａが消灯され、暗瞳孔画像における角膜反射像の強調のために光源３Ｃが点灯期間Ｔ_ＣＲだけ点灯される。このとき、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるようにするため、照明強度が同じになるように点灯期間Ｔ_Ｂと点灯期間Ｔ_Ｄとが設定される。加えて、明瞳孔画像、背景画像、及び暗瞳孔画像間で角膜反射像の輝度のバランスが取れるように、各画像の取得時の点灯期間Ｔ_ＣＲが等しくなるように設定される。これにより、明瞳孔画像と背景画像との差分画像において、環境光あるいは光源３Ｃによる輝度成分が差分により相殺され、光源３Ａによる輝度成分のみが残ることになる。同様に、暗瞳孔画像と背景画像との差分画像において、環境光あるいは光源３Ｃによる輝度成分が差分により相殺され、光源３Ｂによる輝度成分のみが残ることになる。

【0031】

具体的には、点灯時間設定部１７は、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度値を時間的に一定にするために、前回のタイミングのフレームで取得された明瞳孔画像、背景画像、及び暗瞳孔画像の角膜反射像の輝度値を基に次回のタイミングのフレームの点灯期間Ｔ_ＣＲを変更する。ここでいう「フレーム」とは１つの明瞳孔画像のフレームと１つの暗瞳孔画像のフレームと１つの背景画像とを含む連続したフレーム（例えば、連続した３フレーム）のことを指すものとする。それに合わせて、点灯時間設定部１７は、次回のタイミングのフレームの点灯期間Ｔ_ＣＲを変更する。すなわち、Ｃ_ｉを前回のフレームの角膜反射像のピークの輝度値とし（ｉは自然数）、Ｃ_Ｇをそのピークの所定の目標値とすると、次回のフレームの点灯期間Ｔ_ＣＲ^ｉ＋１は、前回のフレームの点灯期間Ｔ_ＣＲ^ｉに対して、下記式；
Ｔ_ＣＲ^ｉ＋１＝（Ｃ_Ｇ／Ｃ_ｉ）×Ｔ_ＣＲ^ｉ （１）
によって計算された値に変更される。言い換えると、点灯時間設定部１７は、角膜反射像の輝度値Ｃ_ｉと目標値Ｃ_Ｇとの大小関係（割合）に比例して、点灯期間Ｔ_ＣＲを増減させて光源３Ｃの発光量を調整するように制御する。

【0032】

次に、検出ユニット１３の差分画像生成部１６による瞳孔検出用画像の生成機能の詳細について説明する。

【0033】

差分画像生成部１６は、連続した３フレームの明瞳孔画像、背景画像、及び暗瞳孔画像を対象に、差分明瞳孔画像及び差分暗瞳孔画像を算出する。すなわち、差分画像生成部１６は、明瞳孔画像と背景画像とを角膜反射像の位置を規準に互いに位置合わせを行った後にそれらの画像間の輝度値の差分を計算することによって差分明瞳孔画像を取得する。その一方で、差分画像生成部１６は、暗瞳孔画像と背景画像とを角膜反射像の位置を規準に互いに位置合わせを行った後にそれらの画像間の輝度値の差分を計算することによって差分暗瞳孔画像を取得する。例えば、差分明瞳孔画像又は差分暗瞳孔画像を取得する際には、互いの画像の角膜反射像の位置が一致するように一方の画像の部分領域の画像の位置（座標）をずらした後に、一方の画像と他方の画像との差分画像を、角膜反射像の位置を含む部分領域において計算する。このようにすることで、明瞳孔画像及び暗瞳孔画像において、環境光による輝度成分のノイズが除去される。次に、差分画像生成部１６は、差分明瞳孔画像と差分暗瞳孔画像とを角膜反射像の位置を規準に互いに位置合わせを行った後に、それらの画像間で輝度値を減算あるいは除算することによって瞳孔検出用画像を取得する。例えば、瞳孔検出用画像を取得する際には、互いの画像の角膜反射像の位置が一致するように一方の画像の位置（座標）をずらした後に、一方の画像と他方の画像との間での減算あるいは除算を行う。このようにすることで、瞳孔検出用画像において、角膜反射像が除去されて対象者の瞳孔部のみが現れた画像を得ることができる。

【0034】

図６は、制御装置４の画像取得部１４及び差分画像生成部１６によって取得された眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、（ａ）部は明瞳孔画像の一次元分布、（ｂ）部は暗瞳孔画像の一次元分布、（ｃ）部は背景画像の一次元分布、（ｄ）部は瞳孔検出用画像の一次元分布をそれぞれ示している。これらのグラフには、角膜反射を含む直線上の眼画像データの一次元分布を示している。このように、明瞳孔画像と暗瞳孔画像において瞳孔部以外の輝度値Ｉ_Ｄ１，Ｉ_Ｄ２が同等な値となるように光源３Ａ，３Ｂの発光パワーが調整されている。また、明瞳孔画像においては瞳孔部の輝度値Ｉ_Ｂが比較的大きな値となっており、暗瞳孔画像においては瞳孔部の輝度値Ｉ_Ｂが比較的小さな値Ｉ_Ｅとなっている。さらに、明瞳孔画像、暗瞳孔画像、及び背景画像においては、角膜反射像のピークの輝度値Ｉ_Ａ１，Ｉ_Ａ２，Ｉ_Ａ３が目標値に近づくように制御されているため、輝度値の飽和値Ｉ_ＭＡＸを超えないように一定にされている。そのため、瞳孔検出用画像においては、瞳孔部以外の輝度がほぼ零にされて瞳孔部における輝度値Ｉ_Ｃのみが現れ、環境光によるノイズ及び角膜反射像が除去されている。その結果、瞳孔検出部１８によって算出される瞳孔像の位置の精度が向上する。

【0035】

以上説明した瞳孔検出装置１によれば、カメラ２の開口部８の中心から比較的近い位置に配置された光源３Ａの点灯タイミングに合わせてカメラ２で画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、その開口部８の中心から比較的遠い位置に配置された光源３Ｂの点灯タイミングに合わせてカメラ２で画像を取得することにより、瞳孔が相対的に暗く写った暗瞳孔画像が得られる。加えて、光源３Ａ，３Ｂが消灯され、開口部８の中心から中間的な位置に配置された光源３Ｃが点灯されたタイミングに合わせてカメラ２で画像を取得することにより、環境光による影響を含む背景画像が角膜反射像を含んで得られる。さらに、明瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分明瞳孔画像と、暗瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分暗瞳孔画像と、を用いて瞳孔像の位置が算出される。これにより、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができる。その結果、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。

【0036】

特に、明瞳孔画像の撮像期間Ｔ_１には光源３Ａ及び光源３Ｃが点灯され、暗瞳孔画像の撮像期間Ｔ_２には光源３Ｂ及び光源３Ｃが点灯され、背景画像の撮像期間Ｔ_３には光源３Ｃを点灯されている。この場合、明瞳孔画像、暗瞳孔画像、及び背景画像において安定して角膜反射像を発生させることができ、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを確実に補正することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。

【0037】

ここで、特開２００８−２４６００４号公報に開示されている瞳孔検出方法においては、明瞳孔画像と暗瞳孔画像のほかに、照明装置を消灯させることによって無照明画像を取得し、明瞳孔画像と無照明画像とを基に差分明瞳孔画像を作成し、暗瞳孔画像と無照明画像とを基に差分暗瞳孔画像を作成した後、差分明瞳孔画像と差分暗瞳孔画像とを用いて瞳孔を検出している。しかし、この方法では、中速度カメラを用いた場合は、対象者の頭部が動くと、明瞳孔画像、暗瞳孔画像、及び無照明画像の間で頭部の位置ずれが生じるため、正確に瞳孔像の位置を求めることができない場合がある。

【0038】

このような問題を解決するため、国際公開２０１６／０２７６２７号公報に開示された瞳孔検出方法では、差分明瞳孔画像および差分暗瞳孔画像において検出される角膜反射像の位置を基に、無照明画像において仮に照明装置が点灯していたら角膜反射像が発生すると予測される位置を等速モデルを用いて算出し、その位置を基に明瞳孔画像及び暗瞳孔画像と無照明画像との間で位置補正を行ってから差分明瞳孔画像及び差分暗瞳孔画像を取得するようにしている。しかし、この方法では、等速モデルが適用できない場合、すなわち、頭部が動き始めた際、あるいは頭部の動きが止まる直前等、頭部の加速度が大きい時には、位置補正がうまく機能しない場合がある。また、角膜反射は頭部の動きのみで移動するのではなく、眼球の回転によっても移動するが、眼球に回転に伴って角膜反射が移動する場合には等速モデルは成立しない。さらに、中速度カメラあるいは高速度カメラを用いて、明瞳孔画像、無照明画像、及び暗瞳孔画像の１セットを取得し、画像処理を行った後に再度これらの１セットを取得する際には、これらの２セットの間の時間が長くなる場合があり、瞳孔又は角膜反射の画像中の位置の予測が困難となる場合がある。その結果、正確に瞳孔像の位置を求めることができない場合がある。

【0039】

これらの従来の方法に比較して、本実施形態では、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができ、瞳孔像の位置の検出精度を確実に向上させることができる。

【0040】

上述した実施形態では、検出ユニット１３が明瞳孔画像と暗瞳孔画像との間で照明強度が等しくなるように光源３Ａ，３Ｂの発光量が制御されているが特開２０１６−０９３２５３号公報に開示された瞳孔検出用光源装置の制御方法にように、光源３Ａ，３Ｂの発光量を瞳孔の明るさに応じて調整するように制御してもよい。

【0041】

また、検出ユニット１３は、次に説明するように各光源３Ａ，３Ｂ，３Ｃの点灯期間を制御してもよい。

【0042】

つまり、図６に例示した明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値は飽和させないように制御することが好ましい。これは、明瞳孔画像あるいは暗瞳孔画像において眼鏡反射像が発生した場合にはこの眼鏡反射像は輝度が飽和しやすく、眼鏡反射像を角膜反射像あるいは瞳孔像として誤検出することを防ぐためには、眼鏡反射像以外は輝度が飽和しないことが望ましいからである。そこで、角膜反射像の輝度の飽和を防止るために、検出ユニット１３は、図７に示すように点灯期間を制御してもよい。図７は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、（ａ）部は、カメラ２の撮像タイミング、（ｂ）部は、光源３Ａの点灯タイミング、（ｃ）部は、光源３Ｂの点灯タイミング、（ｄ）部は、光源３Ｃの点灯タイミングをそれぞれ示している。

【0043】

すなわち、点灯時間設定部１７により、図５に示した制御方法と同様に、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるようにするため、照明強度が同じになるように点灯期間Ｔ_Ｂと点灯期間Ｔ_Ｄとが設定される。それとともに、点灯時間設定部１７により、明瞳孔画像取得時の撮影期間Ｔ_１においては、光源３Ｃの点灯期間が、光源３Ｃの照明強度が撮影期間Ｔ_３における光源３Ｃの照明強度から撮影期間Ｔ_１における光源３Ａの照明強度を差し引いた値になるように設定される。例えば、光源３Ａ，３Ｂ，３Ｃの照度が同一に設定されている場合には、撮影期間Ｔ_１においては、光源３Ｃの点灯期間がＴ_ＣＲ−Ｔ_Ｂとなるように設定される。同様に、点灯時間設定部１７により、暗瞳孔画像取得時の撮影期間Ｔ_２においては、光源３Ｃの点灯期間を、光源３Ｃの照明強度が撮影期間Ｔ_３における光源３Ｃの照明強度から撮影期間Ｔ_２における光源３Ｂの照明強度を差し引いた値になるように設定される。例えば、光源３Ａ，３Ｂ，３Ｃの照度が同一に設定されている場合には、撮影期間Ｔ_２においては、光源３Ｃの点灯期間がＴ_ＣＲ−Ｔ_Ｄとなるように設定される。このように、点灯時間設定部１７により、撮影期間Ｔ_１における光源３Ａ，３Ｃの発光量と、撮影期間Ｔ_２における光源３Ｂ，３Ｃの発光量と、撮影期間Ｔ_３における光源３Ｃの発光量とが均一化されるように、光源３Ｃの発光量が調整される。このような制御により、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度の高さを同等とすることができる。これにより、背景画像における角膜反射像の輝度を検出可能な程度に十分高くすることができるとともに、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度の飽和を防ぐことができる。

【0044】

また、図２に示した照明装置３の構成は一例であり、他の様々な変形形態が可能である。例えば、全ての光源３Ａ，３Ｂ，３Ｃを同心円状に配置する必要は無く、明瞳孔画像と暗瞳孔画像との間の瞳孔の輝度の明暗差を出したい場合には、図８及び図９に示すように、光源３Ｂ，３Ｃを開口部８から離して配置してもよい。すなわち、図８に示す構成においては、光源３Ｂ、３Ｃが、同心円であるリング形状を２つ形成し、これらの２つのリンク形状の光源３Ｂ，３Ｃが開口部８を規準に左右対称となる位置に配置されている。このような構成においては、光源３Ｂ，３Ｃの開口部８の中心からの距離が光源３Ａより大きくされ、一部の光源３Ｃの開口部８の中心からの距離が光源３Ｂよりも小さくされている。また、図９に示す構成は、超高輝度ＬＥＤをから構成される光源３Ａ，３Ｂ，３Ｃが直線上に配置された例である。ここでは、接近して配置された光源３Ｂ、３Ｃの２つの光源群が、開口部８を規準に左右対称となる位置に配置されている。この構成においても、光源３Ｂ，３Ｃの開口部８の中心からの距離が光源３Ａより大きくされ、光源３Ｃの開口部８の中心からの距離が光源３Ｂよりも小さくされている。

【0045】

ただし、図８及び図９に示す照明装置３の構成においては、明瞳孔画像取得時に発光する光源３Ａ，３Ｃの位置と暗瞳孔画像取得時に発光する光源３Ｂ，３Ｃの位置とが異なるため、それぞれの画像で生じる眼鏡反射像が減算あるいは除算によって相殺されにくくなる場合がある。従って、光源３Ｂは開口部８からできるだけ離さないようにすることが望ましい。その一方で、光源３Ｂの距離は瞳孔像の明暗差を生じさせるためには大きい方が望ましいので、眼鏡反射像の相殺の効果と瞳孔像の強度とはトレードオフの関係となる。瞳孔像の明暗差を大きくしつつ眼鏡反射像の影響を低減させるためには、検出ユニット１３は、図１０に示すように照明装置３の点灯期間を制御してもよい。図１０は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、（ａ）部は、カメラ２の撮像タイミング、（ｂ）部は、光源３Ａの点灯タイミング、（ｃ）部は、光源３Ｂの点灯タイミング、（ｄ）部は、光源３Ｃの点灯タイミングをそれぞれ示している。すなわち、点灯時間設定部１７は、暗瞳孔画像の撮影期間Ｔ_２において、光源３Ａを点灯期間Ｔ_Ｂよりもかなり短い期間で一瞬点灯させるように制御してもよい。これにより、撮影期間Ｔ_２において光源３Ａを撮影期間Ｔ_１よりも小さい発光量で点灯させることができる。この場合、暗瞳孔画像において、明瞳孔画像と一致する位置に輝度値が飽和した眼鏡反射像を発生させることができ、明瞳孔画像と暗瞳孔画像とを対象に減算あるいは除算することにより、眼鏡反射を相殺させることができる。

【0046】

あるいは、３フレームのうちで光源３Ａを２回点灯させることが回路設計上困難であるか、そのようなことを実現する回路設計が面倒である場合には、照明装置３を、図１１あるいは図１２に示すような構成としてもよい。図１１に示す構成例の図８に示す構成例との相違点は、眼鏡反射相殺用の光源３Ｄが追加されている点である。この光源３Ｄは開口部８の中心からの距離が光源３Ａより大きく光源３Ｃより小さい位置に配置される。同様に、図１２に示す構成例の図９に示す構成例との相違点は、眼鏡反射相殺用の光源３Ｄが追加されている点である。この光源３Ｄは開口部８の中心からの距離が光源３Ａより大きく光源３Ｃより小さい位置に配置される。この光源３Ｄは、図１０に示した光源３Ａの点灯タイミングと同様に、点灯時間設定部１７により、暗瞳孔画像の撮影期間Ｔ_２において点灯期間Ｔ_Ｂよりもかなり短い期間で一瞬点灯させるように制御される。なお、図２に示した照明装置３の構成において眼鏡反射が問題となりにくいのは、光源３Ａと他の光源３Ｂ，３Ｃとが開口部８を規準にして角度的に近い位置にあるため眼鏡反射像が相殺されやすいためである。

【0047】

ここで、図８、図９、図１１あるいは図１２に示した照明装置３は、装置の小型化あるいは光源の配置範囲を狭くすることが要求される場合には、その横幅をできるだけ小さくすることが好ましい。ただし、この場合は暗瞳孔画像取得時あるいは背景画像取得時に発光する光源が作る角膜反射像が、円形のものが２つではなく、横長の楕円の形状、あるいは円形が横に重なった形状になりやすい。これらの２つの円形の像は左右のそれぞれの光源群による像が合成された像であり、それぞれの像の輝度がアンバランスになると（例えば、涙などの影響により）、像全体の輝度の重心が揺らぐことになり結果的に角膜反射像の位置検出の精度に影響する。従って、角膜反射像がせめて楕円の形状になるような照明装置３の横幅が設定されることが好ましい。ただし、左右の光源３Ｂ，３Ｃのセット間の距離が非常に大きく、画像上に角膜反射像が２つ写る場合には、角膜反射検出部１９は、それぞれの角膜反射像の中心を求めて、それらの中点を位置補正に必要な角膜反射像の位置として算出する。また、明瞳孔画像において、光源３Ａによる角膜反射像と光源３Ｃによる角膜反射像とを合わせた３つの角膜反射像が分離されて写る場合には、角膜反射検出部１９は、中央の角膜反射像の位置を位置補正に必要な角膜反射像の位置として算出する。一方、明瞳孔画像において３つの角膜反射像が重なって写る場合には、角膜反射検出部１９は、角膜反射像の重心位置を位置補正に必要な角膜反射像の位置として算出する。この場合も、重なった角膜反射像の大きさが小さくなるように照明装置３の横幅が設定されることが好ましい。ただし、角膜反射像の位置の検出精度は、瞳孔像が小さい時などはそれほど高くなくてよく、画像間を位置補正するのに十分な、すなわち、瞳孔がロバストに検出できるだけの位置の検出精度があれば十分である。

【0048】

（第２実施形態）
［視線検出装置］

【0049】

以下、上述した瞳孔検出装置１を応用した第２実施形態にかかる視線検出装置２０１の構成について説明する。図１３は、視線検出装置２０１の機能構成を示すブロック図である。視線検出装置２０１は、上述した光源３Ａ，３Ｂ，３Ｃ，３Ｄと撮像素子６を含むカメラ２とによってそれぞれ構成される２つの光学系２０２ａ，２０２ｂと、制御装置４とを備える。ただし、光源３Ａ，３Ｂ，３Ｃ，３Ｄは２つの光学系２０２ａ，２０２ｂとの間で共有されていてもよい。制御装置４の検出ユニット１３は、対象者の視線方向を検出するための機能要素として視線検出部２０をさらに備えている。

【0050】

制御装置４の撮像素子駆動ユニット１１は、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングを制御し、点灯制御ユニット１２は、２つの光学系２０２ａ，２０２ｂの光源３Ａ，３Ｂ，３Ｃ，３Ｄの点灯タイミングを制御する。２つの光学系２０２ａ，２０２ｂは、互いの撮影タイミング及び点灯タイミングをずらして光源の光が互いに干渉しあわないように制御されることも可能である。また、各カメラ２による撮影の時間差を可能な限り少なくするために、２つの光学系２０２ａ，２０２ｂの撮像素子６の撮影タイミングが同期するように制御されてもよい。その際、２つの光学系２０２ａ，２０２ｂの各光源３Ａ，３Ｂ，３Ｃ，３Ｄの点灯期間の設定は、上述した点灯時間設定部１７による設定手順と同様に、２つの光学系２０２ａ，２０２ｂで独立に行われる。このような構成にすることで、複数のカメラ２で得られた眼画像データ間の時間差をなくすことができ、複数の瞳孔画像からステレオマッチングで瞳孔の三次元座標を求める際の誤差を小さくすることができ、視線検出の誤差を小さくすることができる。つまり、各光学系のカメラ２間で同期をとっていれば、２台のカメラどうしで眼画像データの取得時間差がないため対象者の頭部の動きによる誤差を少なくすることができる。

【0051】

詳細には、照明装置３の構成は図２に示した構成であってもよいし、図１４に示すように一部の光源が共用された構成であってもよい。図１４に示す構成例では、光学系２０２ａとして、第１の光源である光源３Ａ_１、暗瞳孔用光源である光源３Ｂ_１、角膜反射発生用光源である３Ｃ_１、及び眼鏡反射相殺用光源である３Ｄ_１が、カメラ２の開口部８_１の周辺に設けられ、光学系２０２ｂとして、第１の光源である光源３Ａ_２、暗瞳孔用光源である光源３Ｂ_２、角膜反射発生用光源である３Ｃ_２、及び眼鏡反射相殺用光源である３Ｄ_２が、カメラ２の開口部８_２の周辺に設けられている。それに加えて、２つの光学系２０２ａ，２０２ｂ間で共用される光源として、暗瞳孔用光源である３Ｂ_１２、及び角膜反射発生用光源である光源３Ｃ_１２が、２つの開口部８_１，８_２の中間に設けられている。２つの光学系２０２ａ，２０２ｂ間で共用される光源３Ｂ_１２及び光源３Ｃ_１２は、両方のカメラ２の撮影期間に同期して点灯させるように点灯時間設定部１７によって制御される。ここで、光源３Ｂ_１２及び光源３Ｃ_１２は、２つのカメラ２の撮影期間に点灯させる必要があるため、光源の発光素子の耐久性が低下しやすい傾向がある場合には、リング状に配置される発光素子の数を他の光源に比較して２倍程度に増やしてもよい。

【0052】

照明装置３の構成は、２つの光学系２０２ａ，２０２ｂのカメラ２の撮影タイミングを同期させる場合には、図１５に示すような構成であってもよい。図１５に示す構成例では、光学系２０２ａの専用光源として、第１の光源及び眼鏡反射相殺用光源である光源３Ａ_１がカメラ２の開口部８_１の周辺に設けられ、光学系２０２ｂの専用光源として、第１の光源及び眼鏡反射相殺用光源である光源３Ａ_２がカメラ２の開口部８_２の周辺に設けられ、光学系２０２ａ，２０２ｂの共用光源として、暗瞳孔用光源及び角膜反射発生用光源（第２の光源）である光源３Ｂ_１２が、２つの開口部８_１，８_２の中間に設けられている。このような照明装置３の構成が採用された場合は、図１６に示すように照明装置３の点灯期間が制御される。図１６は、点灯時間設定部１７及び点灯制御ユニット１２によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、（ａ）部は、カメラ２の撮像タイミング、（ｂ）部は、光源３Ａ_１，３Ａ_２の点灯タイミング、（ｃ）部は、光源３Ｂ_１２の点灯タイミングをそれぞれ示している。このように、各カメラ２の明瞳孔画像の撮影期間Ｔ_１においては、光源３Ａ_１，３Ａ_２、及び光源３Ｂ_１２が点灯され、各カメラ２の暗瞳孔画像の撮影期間Ｔ_２においては、光源３Ｂ_１２が点灯され、背景画像の撮影期間Ｔ_３においては、光源３Ｂ_１２のみが点灯される。加えて、各カメラ２の暗瞳孔画像の撮影期間Ｔ_２においては、非常に小さな発光量で光源３Ａ_１，３Ａ_２が点灯される。このような制御によれば、各画像の取得時において照明装置３の合計の発光量は同一にされる。それとともに、明瞳孔画像と暗瞳孔画像の間の瞳孔部の輝度差が、第１の光源と第２の光源との間の位置の差によって現れる。

【0053】

また、２台のカメラ２の距離が十分に取れない場合には、照明装置３は図１７に示す構成であってもよい。図１７に示す構成では、光学系２０２ａ，２０２ｂの共用光源として、暗瞳孔用光源及び角膜反射発生用光源である光源３Ｂ_１２が、２つの開口部８_１，８_２の外側に２か所に分割して設けられている。このような構成によれば、それぞれのカメラ２の開口部８_１，８_２からの距離の差が第１の光源と第２の光源との間で大きくなり、特に、開口部８_１から開口部８_２の外側に配置された光源３Ｂ_１２までの距離が大きくなり、開口部８_２から開口部８_１の外側に配置された光源３Ｂ_１２までの距離が大きくなる。これにより、照明装置３を小型化しても明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差を十分に大きくできる。なお、図１４、図１５、図１７の構成の照明装置３では、明瞳孔画像、暗瞳孔画像、及び背景画像の取得時に左右対称の光量で照明されているので、算出される角膜反射像の位置が安定化される。

【0054】

制御装置４の視線検出部２０は、２つの光学系２０２ａ，２０２ｂごとに、瞳孔検出用画像を基に検出された瞳孔像の位置と、差分暗瞳孔画像及び差分明瞳孔画像のそれぞれを対象に検出された角膜反射像の位置とを取得する。そして、視線検出部２０は、２つの光学系２０２ａ，２０２ｂに対応して得られた瞳孔像の位置を用いて、対象者の瞳孔の三次元位置を算出する。さらに、視線検出部２０は、算出した瞳孔の三次元位置、２つの光学系２０２ａ，２０２ｂごとに得られた瞳孔像の位置及び角膜反射像の位置とを用いて対象者の視線方向および注視点を検出する。この際、差分明瞳孔画像を差分暗瞳孔画像に対して位置補正した場合は、瞳孔検出用画像上の瞳孔像の中心は暗瞳孔画像の取得時の瞳孔像の中心と一致すると考えられるので、それと同期をとるためにこの瞳孔像の位置と暗瞳孔画像上で検出された角膜反射像の位置とを用いて視線が検出される。一方、差分暗瞳孔画像を差分明瞳孔画像に対して位置補正した場合は、明瞳孔画像上の瞳孔像の位置と明瞳孔画像上で検出された角膜反射像の位置とを用いて視線が検出される。上記の瞳孔三次元位置の算出手法、視線方向および注視点の算出手法は、本発明者らによって開発された手法（国際公開２０１２／０２０７６０号公報参照）を採用することができる。

【0055】

上述した視線検出装置２０１によれば、それぞれの２つの光学系において、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。さらに、２つの光学系で検出された瞳孔像の位置を利用することで、対象者の視線方向および注視点の検出精度も向上させることができる。

【0056】

本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。

【0057】

上述した第１実施形態及び第２実施形態では、制御装置４の検出ユニット１３は対象者の瞳孔位置、角膜反射位置、あるいは視線方向を検出していたが、それらに加えて、対象者の顔姿勢を検出してもよい。すなわち、検出ユニット１３は明瞳孔画像、背景画像、及び暗瞳孔画像の連続する３フレームについて、それらの画像上の対象者の左右の鼻孔の中心位置を算出する。これらの画像取得時には照明装置３が点灯しているので瞳孔像の位置を規準にしてウィンドウを設定して輝度を基に左右の瞳孔像の位置を算出することができる。そして、検出ユニット１３は、それぞれのフレーム上における左右の瞳孔像の位置と左右の鼻孔の中心位置とを用いて、対象者の顔方向（顔姿勢）を示す法線ベクトルをカメラ２のピンホールモデルを用いて算出することができる。鼻孔の中心位置の算出方法、及び顔方向の算出方法は、例えば、国際公開２０１０／０１０９２６号公報に記載の方法を用いることができる。また、検出ユニット１３は、同公報に開示された頭部姿勢を用いた明瞳孔画像と暗瞳孔画像との間の位置補正法を用いてもよい。同補正法により瞳孔像の検出時の位置補正が可能となるため、角膜反射像の検出のためのウィンドウもより小さい領域に設定することができる。その結果、角膜反射像の位置検出の精度が向上するだけでなく、画像処理も高速化される。

【0058】

上述した第２実施形態では、検出ユニット１３の角膜反射検出部１９は、２つの光学系２０２ａ，２０２ｂに対応したカメラ２_１，２_２で取得された各眼画像上で角膜反射像の位置を検出する際には、次のような処理によって真の角膜反射像か偽の角膜反射像かを判断してもよい。

【0059】

ここで、カメラ２_１，２_２は予めカメラ較正が施されているものとし、２台のカメラ２_１，２_２によって同期した（あるいは時間的に接近した）フレームのそれぞれの眼画像上で複数の角膜反射像の候補位置が算出されているものとする。図１８〜２０は、角膜反射検出部１９による角膜反射位置の真偽判定処理を説明するための概念図である。まず、角膜反射検出部１９は、一方のカメラ２_１によって取得された眼画像上で検出された複数の角膜反射像の候補位置と、他方のカメラ２_２によって取得された眼画像上で検出された複数の角膜反射像の候補位置とから、角膜反射像の候補位置のペアーを総当たりで選択する。そして、角膜反射検出部１９は、カメラ２_１を規準に特定される候補位置のペアーのうちの一方の位置と、カメラ２_２を規準に特定される候補位置のペアーのうちの他方の位置との間の距離を算出し、その距離を基にその候補位置のペアーの真偽を判定する。

【0060】

図１８に示すように、対象者の角膜を表面が球面である角膜球ＣＢと仮定し、各カメラ２_１，２_２にはカメラ中心（ピンホール）と一致しているとみなせる位置に照明装置３_１，３_２が取り付けられているとする。このように仮定すると、各カメラ２_１，２_２において写る角膜反射Ｒ_１，Ｒ_２の方向には角膜球ＣＢの中心Ｃが存在することになる。従って、カメラ較正が正確であれば、理想的には２つのカメラ２_１，２_２から角膜反射Ｒ_１，Ｒ_２に向けて伸びる直線Ｌ_１，Ｌ_２は、角膜球ＣＢの中心Ｃで互いに交点を持つ。一方で、２台のカメラ２_１，２_２の眼画像上でステレオマッチングの対象である角膜反射像の候補位置のペアーのうちの片方が真の角膜反射像の位置でなければ、図１９に示すように、２つのカメラカメラ２_１，２_２から伸びる２本の直線Ｌ_１，Ｌ_２がねじれの関係になって交点を持たない。

【0061】

そこで、角膜反射検出部１９は、総当たりで選択した候補位置のペアーのそれぞれに関して、２つの直線Ｌ_１，Ｌ_２の間で最も距離が小さくなる直線Ｌ_１，Ｌ_２上の点（最近点）Ｇ_１，Ｇ_２を特定し、それらの最近点Ｇ_１，Ｇ_２間の距離Ｇ_１Ｇ_２を算出する。そして、角膜反射検出部１９は、距離Ｇ_１Ｇ_２が予め設定された閾値以下となった候補位置のペアーを真の角膜反射像の位置のペアーと判定する。その後、検出ユニット１３では、真の角膜反射像の位置のペアーを用いて、眼画像間の位置補正、瞳孔像の検出、視線検出、顔姿勢検出の処理が実行される。また、角膜反射検出部１９は、候補位置のペアーを判定する際には、図２０に示すように、２台のカメラ２_１、２_２のカメラ中心Ｃ_１，Ｃ_２を規準にして、それらのカメラ中心Ｃ_１，Ｃ_２と最近点Ｇ_１を通る平面Ｃ_１Ｃ_２Ｇ_１と、それらのカメラ中心Ｃ_１，Ｃ_２と最近点Ｇ_２を通る平面Ｃ_１Ｃ_２Ｇ_２との間のなす角度δを計算し、その角度δが予め設定された閾値以下となったか否かを判定することによって、真の角膜反射像の位置のペアーを判定してもよい。

【0062】

このように処理することで、眼画像上で真の角膜反射像を正しく検出することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。

【0063】

ここで、上記実施形態では、第２の光源は、暗瞳孔用光源と、開口部中心からの距離が暗瞳孔用光源より近い角膜反射発生用光源とを含んでおり、点灯制御部は、第１の期間には、第１の光源及び角膜反射発生用光源を点灯させ、第２の期間には、暗瞳孔用光源及び角膜反射発生用光源を点灯させ、第３の期間には、角膜反射発生用光源を点灯させる、こととしてもよい。この場合、明瞳孔画像、暗瞳孔画像、及び背景画像において安定して角膜反射像を発生させることができ、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを確実に補正することができる。

【0064】

また、点灯制御部は、明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像の輝度が一定となるように、第１の期間、第２の期間、及び第３の期間における角膜反射発生用光源の発光量を調整する、こととしてもよい。この場合、対象者が変わったり、対象者の位置が変動した場合であっても明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像を正しく検出することができ、その結果瞳孔像の位置の検出精度を維持することができる。

【0065】

また、点灯制御部は、第１の期間における第１の光源及び角膜反射発生用光源の発光量と、第２の期間における暗瞳孔用光源及び角膜反射発生用光源の発光量と、第３の期間における角膜反射発生用光源の発光量とが均一化されるように、第１の期間、第２の期間、及び第３の期間における角膜反射発生用光源の発光量を調整する、こととしてもよい。こうすれば、明瞳孔画像と暗瞳孔画像と背景画像との間で角膜反射像の輝度を同等にすることができ、それらにおける角膜反射像の位置を正しく検出することができる。その結果、環境光の影響によるノイズが効果的に除去された明瞳孔画像及び暗瞳孔画像を得ることができる。

【0066】

また、点灯制御部は、第２の期間において第１の光源を第１の期間よりも小さい発光量で点灯させるように制御する、こととしてもよい。この場合には、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算あるいは除算することにより対象者の眼鏡反射を相殺することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。

【0067】

また、開口部中心からの距離が第２の光源より近く第１の光源より遠い眼鏡反射相殺用光源をさらに備え、点灯制御部は、第２の期間において眼鏡反射相殺用光源を第１の期間における第１の光源の発光量よりも小さい発光量で点灯させるように制御する、こととしてもよい。この場合にも、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算あるいは除算することにより対象者の眼鏡反射を相殺することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。

【0068】

さらに、カメラと第１の光源と第２の光源とを含む光学系を少なくとも２つ以上備え、算出部は、２つ以上の光学系のそれぞれによって取得された眼画像を対象にして、瞳孔像の位置及び角膜反射像の位置を算出し、瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出する、こととしてもよい。この場合にも、２つ以上の光学系による瞳孔像の位置の検出精度を向上させることができ、その結果視線方向の検出精度も向上させることができる。

【0069】

またさらに、算出部は、２つ以上の光学系の一方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置と、２つ以上の光学系の他方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置とのうちから、角膜反射像の候補位置のペアーを選択し、一方の光学系のカメラを規準に特定されるペアーのうちの一方の位置と、他方の光学系のカメラを規準に特定されるペアーのうちの他方の位置との間の距離を基に、候補位置のペアーの真偽を判定する、こととしてもよい。かかる構成を採れば、眼画像上で真の角膜反射像を正しく検出することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。

【0070】

さらにまた、算出部は、眼画像上における対象者の鼻孔の位置をさらに検出し、瞳孔の位置及び鼻孔の位置を基に対象者の顔姿勢を算出する、こととしてもよい。こうすれば、対象者の顔姿勢を精度よく算出することができる。

【産業上の利用可能性】

【0071】

本発明の一側面は、人の画像から瞳孔を検出する眼部画像処理装置を使用用途とし、環境光が存在する場合であっても画像中の瞳孔像の検出精度を向上させることができるものである。

【符号の説明】

【0072】

１…瞳孔検出装置、２，２_１，２_２…カメラ、３…照明装置、３Ａ，３Ａ_１，３Ａ_２…光源（第１の光源）、３Ｂ，３Ｂ_１，３Ｂ_１２，３Ｂ_２…光源（第２の光源、暗瞳孔用光源）、３Ｃ，３Ｃ_１２…光源（第２の光源、角膜反射発生用光源）、３Ｄ…光源（眼鏡反射相殺用光源）、４…制御装置、８，８_１，８_２…開口部、１２…点灯制御ユニット（点灯制御部）、１３…検出ユニット（算出部）、１７…点灯時間設定部（点灯制御部）、２０１…視線検出装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】