特許 7030317 瞳孔検出装置及び瞳孔検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-25

(45)【発行日】2022-03-07

(54)【発明の名称】瞳孔検出装置及び瞳孔検出方法

(51)【国際特許分類】

   A61B 3/113 20060101AFI20220228BHJP

【ＦＩ】

A61B3/113 ZDM

【請求項の数】 4

(21)【出願番号】P 2016245664

(22)【出願日】2016-12-19

(65)【公開番号】P2018099174

(43)【公開日】2018-06-28

【審査請求日】2019-11-12

(73)【特許権者】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(72)【発明者】

【氏名】海老澤 嘉伸

【審査官】佐藤 秀樹

(56)【参考文献】

【文献】特開２０１６－１０６６６８（ＪＰ，Ａ）

【文献】特開２０１３－２５２３０１（ＪＰ，Ａ）

【文献】特開２００８－１０２９０２（ＪＰ，Ａ）

【文献】特開平２－２２４６３７（ＪＰ，Ａ）

【文献】特開２００４－１６７１５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１２

３／１３－３／１６

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

対象者の顔を撮像する撮像装置と前記顔を照明する照明装置とを含む光学システムと、
前記撮像装置によって出力された画像を基に前記対象者の２つの瞳孔の三次元位置を算出する処理部と、
を備え、
前記処理部は、
前記画像上で検出した前記２つの瞳孔のそれぞれの位置と、前記２つの瞳孔のそれぞれに対応して生じる角膜反射の画像上の位置とを基に、前記対象者の２つの眼球のそれぞれの光軸の画像上の方向と、前記２つの眼球のそれぞれの光軸の画像上の位置とを特定し、前記２つの眼球のそれぞれの光軸の画像上の方向と、前記２つの眼球のそれぞれの光軸の画像上の位置とを基に、前記対象者の２つの眼球のそれぞれの回転中心の前記画像上の位置を算出する回転中心算出部と、
前記２つの眼球の回転中心の前記画像上の位置と、前記対象者の鼻孔の画像上の位置とを基に、前記２つの眼球の回転中心の三次元位置を算出し、前記２つの眼球の回転中心の三次元位置と、前記２つの瞳孔の画像上の位置とを基に、前記２つの瞳孔の三次元位置を算出する瞳孔位置算出部と、を有し、
前記瞳孔位置算出部は、前記２つの眼球のそれぞれにおいて、前記眼球の回転中心の三次元位置から所定の距離に位置する平面であり、前記撮像装置の光軸に略垂直な平面のうち、前記撮像装置に近い側に位置する平面を設定し、前記２つの眼球のそれぞれにおいて、前記瞳孔の画像上の位置を基に、前記撮像装置の中心と前記瞳孔の三次元位置とを通る直線を導出し、前記２つの眼球のそれぞれにおいて、前記平面と前記直線との交点を導出し、該交点を前記瞳孔の三次元位置として算出し、
前記直線は、前記撮像装置の中心と、前記撮像装置の中心から前記撮像装置の焦点距離ほど離れて配置された前記画像上の前記瞳孔の二次元位置とを通る三次元的直線である、
瞳孔検出装置。

【請求項2】

前記瞳孔位置算出部は、前記２つの眼球の回転中心の前記画像上の位置と、前記対象者の鼻孔の画像上の位置とを基に、前記２つの眼球の回転中心の三次元位置と前記鼻孔の三次元位置とを算出することにより、前記対象者の顔方向を検出する、
請求項１に記載の瞳孔検出装置。

【請求項3】

前記光学システムを少なくとも２系統備え、
前記処理部は、少なくとも２系統の前記光学システムから出力された画像を基に、前記２つの瞳孔の間の第１の距離、及び前記瞳孔と前記鼻孔との間の第２の距離とを計測し、前記第１の距離及び第２の距離とを用いて、前記２つの瞳孔の三次元位置を算出する、
請求項１又は２に記載の瞳孔検出装置。

【請求項4】

対象者の顔を照明装置によって照明しながら前記顔を撮像装置によって撮像するステップと、
前記撮像装置によって出力された画像を基に前記対象者の２つの瞳孔の三次元位置を算出するステップと、
を備え、
前記三次元位置を算出するステップは、
前記画像上で検出した前記２つの瞳孔のそれぞれの位置と、前記２つの瞳孔のそれぞれに対応して生じる角膜反射の画像上の位置とを基に、前記対象者の２つの眼球のそれぞれの光軸の画像上の方向と、前記２つの眼球のそれぞれの光軸の画像上の位置とを特定し、前記２つの眼球のそれぞれの光軸の画像上の方向と、前記２つの眼球のそれぞれの光軸の画像上の位置とを基に、前記対象者の２つの眼球のそれぞれの回転中心の前記画像上の位置を算出するステップと、
前記２つの眼球の回転中心の前記画像上の位置と、前記対象者の鼻孔の画像上の位置とを基に、前記２つの眼球の回転中心の三次元位置を算出し、前記２つの眼球の回転中心の三次元位置と、前記２つの瞳孔の画像上の位置とを基に、前記２つの瞳孔の三次元位置を算出するステップと、を有し、
前記２つの瞳孔の三次元位置を算出するステップでは、前記２つの眼球のそれぞれにおいて、前記眼球の回転中心の三次元位置から所定の距離に位置する平面であり、前記撮像装置の光軸に略垂直な平面のうち、前記撮像装置に近い側に位置する平面を設定し、前記２つの眼球のそれぞれにおいて、前記瞳孔の画像上の位置を基に、前記撮像装置の中心と前記瞳孔の三次元位置とを通る直線を導出し、前記２つの眼球のそれぞれにおいて、前記平面と前記直線との交点を導出し、該交点を前記瞳孔の三次元位置として算出し、
前記２つの瞳孔の三次元位置を算出するステップにおいて、前記直線は、前記撮像装置の中心と、前記撮像装置の中心から前記撮像装置の焦点距離ほど離れて配置された前記画像上の前記瞳孔の二次元位置とを通る三次元的直線である、
瞳孔検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一形態は、瞳孔検出装置及び瞳孔検出方法に関する。

【背景技術】

【0002】

従来から、１台のカメラとそのカメラの撮像レンズの近傍に設けられた光源とを用いて対象者の顔画像を取得し、その顔画像を用いて左右の瞳孔中心の二次元座標及び左右の鼻孔中心の二次元座標を検出し、それらの二次元座標を基に算出した左右の瞳孔中心の三次元座標及び左右の鼻孔中心の三次元座標を基に顔姿勢を検出する方法が知られている（下記特許文献１参照）。この方法によれば、左右の瞳孔のそれぞれの三次元位置と、左右の鼻孔間の中点の三次元座標が算出でき、それらの３点を通る平面の法線を頭部方向として検出し、それらの３点の重心を頭部位置として検出することができる。また、この方法を発展させた方法として、時系列に得られた画像フレームにおける瞳孔あるいは鼻孔等の特徴点の移動予測を高精度に行うことで、対象者の頭部に動きがあった場合に特徴点の追跡のロバスト性を向上させる方法が知られている（下記特許文献２参照）。

【0003】

一方で、対象者の視線を検出する装置において、１台のカメラで取得された顔画像を基に検出された瞳孔の二次元位置及び角膜反射の二次元位置を用いて視線および注視点を算出するために、２台のカメラをさらに設けて瞳孔の三次元位置を検出する構成が知られている（下記特許文献３参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第４４３１７４９号公報

【文献】特許第５４２９８８５号公報

【文献】特許第４５１７０４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１及び特許文献１に記載の方法においては、対象者の視線が変化した場合に、瞳孔の三次元位置の検出精度が低下する傾向にある。すなわち、視線が変化するとカメラから見た検出対象の２つの瞳孔と鼻孔との３点間の位置関係が変化するために、カメラで取得された顔画像を用いて検出された瞳孔の三次元位置に誤差が生じやすい。上述した特許文献３に記載の構成によれば、２台のカメラを用いることで瞳孔の三次元座標の検出精度は維持できるが光学システムの構成が複雑化する傾向にある。

【0006】

本発明は、上記課題に鑑みて為されたものであり、光学システムの構成を単純化しながら瞳孔の位置の検出精度をより向上させることが可能な瞳孔検出装置及び瞳孔検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一形態にかかる瞳孔検出装置は、対象者の顔を撮像する撮像装置と顔を照明する照明装置とを含む光学システムと、撮像装置によって出力された画像を基に対象者の２つの瞳孔の三次元位置を算出する処理部と、を備え、処理部は、画像上で検出した２つの瞳孔のそれぞれの位置と、対象者の眼球の光軸の方向とを基に、対象者の２つの眼球のそれぞれの回転中心の画像上の位置を算出する回転中心算出部と、２つの眼球の回転中心の画像上の位置と、対象者の鼻孔の画像上の位置とを基に、２つの瞳孔の三次元位置を算出する瞳孔位置算出部と、を有する。

【0008】

或いは、本発明の他の形態にかかる瞳孔検出方法は、対象者の顔を照明装置によって照明しながら顔を撮像装置によって撮像するステップと、撮像装置によって出力された画像を基に対象者の２つの瞳孔の三次元位置を算出するステップと、を備え、三次元位置を算出するステップは、画像上で検出した２つの瞳孔のそれぞれの位置と、対象者の眼球の光軸の方向とを基に、対象者の２つの眼球のそれぞれの回転中心の画像上の位置を算出するステップと、２つの眼球の回転中心の画像上の位置と、対象者の鼻孔の画像上の位置とを基に、２つの瞳孔の三次元位置を算出するステップと、を有する。

【0009】

上記形態の瞳孔検出装置、あるいは瞳孔検出方法によれば、光学システムによって取得された画像上の２つの瞳孔のそれぞれの位置と眼球の光軸の方向とを基に２つの眼球のそれぞれの回転中心の画像上の位置が算出され、算出された２つの眼球の回転中心の画像上の位置と鼻孔の画像上の位置とを基に、２つの瞳孔の三次元位置が算出される。これにより、対象者の視線方向が変化した場合であっても２つの眼球の回転中心と鼻孔との３点の位置関係は維持されるので、高精度の瞳孔の位置検出が実現される。加えて、光学システムにおける撮像装置の台数が削減可能とされ、光学システムの構成が単純化される。

【0010】

ここで、上記形態の瞳孔検出装置においては、回転中心算出部は、２つの瞳孔のそれぞれの位置と２つの瞳孔のそれぞれに対応して生じる角膜反射の画像上の位置とを基に眼球の光軸の方向を求め、眼球の光軸の方向を基に回転中心の画像上の位置を算出する、ことが好適である。この場合、瞳孔の画像上の位置と角膜反射の画像上の位置から眼球の回転中心の画像上の位置が算出され、簡易な演算で高精度の瞳孔の位置検出が可能となる。

【0011】

また、回転中心算出部は、画像上で検出される２つの瞳孔のそれぞれに関する楕円度を基に眼球の光軸の方向を求め、眼球の光軸の方向を基に回転中心の画像上の位置を算出する、ことも好適である。この場合にも、画像上での瞳孔に関する楕円度を使って求められた光軸の方向を基にして眼球の回転中心の画像上の位置が算出され、高精度の瞳孔の位置検出が可能となる。

【0012】

また、処理部は、回転中心算出部として、２つの瞳孔のそれぞれの位置と２つの瞳孔のそれぞれに対応して生じる角膜反射の画像上の位置とを基に眼球の光軸の方向を求め、眼球の光軸の方向を基に回転中心の画像上の位置を算出する第１の処理部と、画像上で検出される２つの瞳孔のそれぞれに関する楕円度を基に眼球の光軸の方向を求め、眼球の光軸の方向を基に回転中心の画像上の位置を算出する第２の処理部とを含んでおり、第１の処理部による処理結果と第２の処理部による処理結果を加味して２つの瞳孔の三次元位置を算出する、ことも好適である。この場合、角膜反射の画像上の位置を利用した算出結果と画像上で検出された瞳孔に関する楕円度を利用した算出結果を加味することにより、より高精度の瞳孔の位置検出が実現される。

【0013】

また、処理部は、回転中心算出部として、２つの瞳孔のそれぞれの位置と２つの瞳孔のそれぞれに対応して生じる角膜反射の画像上の位置とを基に眼球の光軸の方向を求め、眼球の光軸の方向を基に回転中心の画像上の位置を算出する第１の処理部と、画像上で検出される２つの瞳孔のそれぞれに関する楕円度を基に眼球の光軸の方向を求め、眼球の光軸の方向を基に回転中心の画像上の位置を算出する第２の処理部とを含んでおり、第１の処理部及び第２の処理部のいずれかの処理結果を選択して用いることにより２つの瞳孔の三次元位置を算出する、ことも好適である。かかる構成では、角膜反射の画像上の位置を利用した算出結果と画像上で検出された瞳孔に関する楕円度を利用した算出結果を選択して用いることにより、より高精度の瞳孔の位置検出が実現される。

【0014】

また、対象者の一方の瞳孔に対応する角膜反射が検出され、対象者の他方の瞳孔に対応する角膜反射が検出されなかった場合、第１の処理部及び第２の処理部の処理結果のうち、一方の瞳孔に関する第１の処理部の処理結果を優先して用いる、ことが好適である。これにより、より高精度の瞳孔の位置検出が実現される。

【0015】

さらに、瞳孔位置算出部は、２つの眼球の回転中心の画像上の位置と、対象者の鼻孔の画像上の位置とを基に、２つの眼球の回転中心の三次元位置と鼻孔の三次元位置とを算出することにより、対象者の顔方向を検出する、ことも好適である。かかる構成により、対象者の顔方向を高精度で検出することができる。

【0016】

またさらに、眼球の光軸の方向を基に対象者の視線方向を求める視線検出部をさらに備え、瞳孔位置算出部は、２つの眼球の回転中心の画像上の位置と、対象者の鼻孔の画像上の位置とを基に、２つの眼球の回転中心の三次元位置と鼻孔の三次元位置とを算出することにより、対象者の顔方向を検出し、視線検出部は、対象者の顔方向を基に、対象者の視線方向が二方向のうちのどちらであるかを判定する、ことも好適である。これにより、高精度の視線検出が可能となる。

【0017】

さらにまた、光学システムを少なくとも２系統備え、処理部は、少なくとも２系統の光学システムから出力された画像を基に、２つの瞳孔の間の第１の距離、及び瞳孔と鼻孔との間の第２の距離とを計測し、第１の距離及び第２の距離とを用いて、２つの瞳孔の三次元位置を算出する、ことが好適である。これにより、広範囲に位置する対象者を対象に高精度の視線検出が可能となる。

【発明の効果】

【0018】

本発明によれば、光学システムの構成を単純化しながら瞳孔の位置の検出精度をより向上させることができる。

【図面の簡単な説明】

【0019】

【図1】第１実施形態に係る瞳孔検出装置を示す平面図である。

【図2】図１の画像処理装置１のハードウェア構成を示すブロック図である。

【図3】図１の画像処理装置１の機能構成を示すブロック図である。

【図4】図３の特徴点検出部１７による計算の前提となる眼球モデルを示す平面図である。

【図5】図４の眼球モデルでモデル化された対象者Ａの眼部を対象にしてカメラ２で撮像された画像イメージを示す図である。

【図6】第２実施形態の瞳孔検出装置を構成する画像処理装置１Ａの機能構成を示すブロック図である。

【図7】（ａ）部及び（ｂ）部は、図６の視線検出部１９Ａの実行する瞳孔形状法の原理を説明するための図である。

【図8】図６の視線検出部１９Ａの実行する瞳孔形状法の原理を説明するための図である。

【図9】第３実施形態の瞳孔検出装置を構成する画像処理装置１Ｂの機能構成を示すブロック図である。

【図10】光学系４に対する対象者Ａの状態を示す平面図である。

【図11】光学系４に対する対象者Ａの状態を示す平面図である。

【発明を実施するための形態】

【0020】

以下、図面を参照しつつ本発明に係る瞳孔検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。また、各図面は説明用のために作成されたものであり、説明の対象部位を特に強調するように描かれている。そのため、図面における各部分の寸法比率は、必ずしも実際のものとは一致しない。
［第１実施形態］

【0021】

まず、図１～図３を参照しながら、第１実施形態に係る瞳孔検出装置１０の構成を説明する。図１は、瞳孔検出装置１０の平面図であり、図２は、図１の画像処理装置１のハードウェア構成を示すブロック図、図３は、図１の画像処理装置１の機能構成を示すブロック図である。本実施形態の瞳孔検出装置は、対象者の視線移動を検出することによってパーソナルコンピュータのモニタ画面上のカーソルを移動させるポインティングデバイス、瞳孔又は視線の動きを監視して運転者の眠気を検知する眠気検知システム、対象者の瞳孔又は視線の動きを検出して自閉症等の診断を行う診断システム等として利用される。

【0022】

図１に示すように、瞳孔検出装置１０は、対象者Ａの顔画像を撮像する１台のカメラ（撮像装置）２、カメラ２の前面２ａの撮像レンズの近傍に設けられ対象者Ａの顔を照明する光源（照明装置）３ａ、及びカメラ２の前面２ａから離れた位置に設けられ対象者Ａの顔を照明する光源（照明装置）３ｂを含む光学系（光学システム）４と、カメラ２及び光源３ａ，３ｂと接続された画像処理装置１とを備えている。この画像処理装置１は、カメラ２によって対象者Ａの顔画像を基に、対象者Ａの左右の瞳孔の三次元位置を算出するとともに、それを基に対象者Ａの視線方向あるいは注視点と対象者Ａの顔姿勢（顔方向）とを検出する演算部（プロセッサ）である。

【0023】

カメラ２は、対象者Ａの顔画像を生成できる撮像装置であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラを用いる。このカメラ２は、対象者Ａがカメラ２の前面２ａに向かい合うように配置されている。

【0024】

光源３ａは、カメラ２の光軸Ｌ１に沿って、光軸Ｌ１上に位置する対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源３ｂは、光軸Ｌ１からの距離が光源３ａよりも離れた位置に固定され、光軸Ｌ１に沿って対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、２つの光源３ａ，３ｂから照射される照明光が瞳孔の部分に輝度差を生じさせるような異なる波長成分（例えば、中心波長が850nmと950nm）を有するように設定され、かつ、光源３ｂは光軸Ｌ１からの距離が光源３ａと等しい位置に固定されていてもよい。また、光源３ａ，３ｂは、１つの発光素子で構成されるものには限らず、複数の発光素子が所定の形状（円形状、リング状等）で配置されているものであってもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。ただし、必ずしも光源３ａ，３ｂが異なる波長成分の照明光を照射するものでなくてもよいし、それぞれの光源３ａ，３ｂが、リング状でなくてもよい。

【0025】

なお、カメラ２及び光源３ａ，３ｂは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Ａの鼻孔を検出し易くする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１の水平面に対する傾斜角が２０～３５度となり、光軸Ｌ１が対象者Ａの方向を向くような位置）に設けられることが好ましい。

【0026】

画像処理装置１は、カメラ２による撮像、及び光源３ａ，３ｂによる照明光の照射を制御するとともに、カメラ２によって取得された対象者Ａの頭部画像に基づいて、対象者Ａの瞳孔の三次元位置、対象者Ａの視線方向および注視点、及び対象者Ａの顔姿勢を検出する処理を実行する。

【0027】

以下、図２及び図３を参照して、上述した画像処理装置１の構成について詳細に説明する。画像処理装置１は、カメラ２及び光源３ａ，３ｂの制御と、カメラ２によって取得された顔画像の処理を実行するコンピュータであり得る。画像処理装置１は、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置１は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

【0028】

図２に示されるように、画像処理装置１は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを備える。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭで構成される。補助記憶部１０３は、ハードディスクやフラッシュメモリなどで構成される。通信制御部１０４は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置１０５は、キーボードやマウスなどを含む。出力装置１０６は、ディスプレイやプリンタなどを含む。入力装置１０５及び出力装置１０６は、タッチパネルディスプレイであってもよい。

【0029】

後述する画像処理装置１の各機能要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。

【0030】

図３に示されるように、画像処理装置１は機能的構成要素として、カメラ駆動ユニット１１と、点灯制御ユニット１２と、検出ユニット（処理部）１３とを有する。カメラ駆動ユニット１１は、カメラ２の撮影タイミングを制御する機能要素である。具体的には、カメラ２を所定のフレームレート及び所定の露光時間で繰り返し撮像し、顔画像として交互に明瞳孔画像及び暗瞳孔画像を取得するように制御する。この明瞳孔画像は、相対的に対象者Ａの瞳孔が明るく映った状態の顔画像であり、暗瞳孔画像は、相対的に対象者Ａの瞳孔が暗く映った状態の顔画像である。点灯制御ユニット１２は、カメラ２の撮影タイミングに同期させて、光源３ａ，３ｂの点灯タイミングを制御する機能要素である。具体的には、点灯制御ユニット１２は、明瞳孔画像の撮像時には光源３ａを点灯させ、暗瞳孔画像の撮像時には光源３ｂを点灯させるように制御する。検出ユニット１３は、カメラ２から出力された顔画像データを処理する機能要素である。処理結果の出力先は何ら限定されない。例えば、画像処理装置１は、処理結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

【0031】

検出ユニット１３は、機能的構成要素として、画像取得部１４と、差分画像生成部１６と、特徴点検出部（回転中心算出部）１７と、顔姿勢検出部（瞳孔位置算出部）１８と、視線検出部（瞳孔位置算出部）１９とを有する。画像取得部１４は、カメラ２から所定のフレームレートで交互に撮影される明瞳孔画像及び暗瞳孔画像を、顔画像データとして取得する。差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像の差分画像を生成する。具体的には、差分画像生成部１６は、明瞳孔画像及び暗瞳孔画像の対応する画素間の輝度の差分を計算することにより、差分画像を生成する。

【0032】

特徴点検出部１７は、差分画像を利用して２つの瞳孔像の中心（瞳孔中心）の画像上位置（二次元位置）を算出し、明瞳孔画像及び暗瞳孔画像を利用してそれぞれの瞳孔像に対応する角膜反射像の二次元位置、及び２つの鼻孔像の中心（鼻孔中心）の二次元位置を算出する機能要素である。まず、特徴点検出部１７は、差分画像を２値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、特徴点検出部１７は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、求まる楕円の式から瞳孔中心の二次元位置を算出する。また、特徴点検出部１７は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い閾値で２値化し、角膜反射像の中心（角膜反射中心）の二次元位置を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、２値化して得られた瞳孔を構成する画素の輝度平均で与えられる。特徴点検出部１７は、角膜反射中心の二次元位置を、暗瞳孔画像を対象にしても算出する。さらに、特徴点検出部１７は、明瞳孔画像及び暗瞳孔画像を用いて、本発明者による特許第４４３１７４９号に記載の方法と同様にして、２つの鼻孔中心の二次元位置を算出する。

【0033】

上記機能に加えて、特徴点検出部１７は、対象者Ａの２つの眼球の回転中心の画像上の位置（二次元位置）を算出する機能も有する。すなわち、特徴点検出部１７は、図４に示すような眼球モデルを前提にして２つの眼球の回転中心の二次元位置を算出する。図４に示すように、対象者Ａの眼部は、略球状の眼球ＥＢの内部の前方寄りに略球状の角膜球ＣＢが固定された構造を有し、対象者Ａの視線が変化すると眼球ＥＢと角膜球ＣＢとが、眼球ＥＢの中心である回転中心Ｅを中心にして一体的に回転運動をするという眼球モデルでモデル化される。この眼球モデルでは、カメラ２の前面の光源３ａ，３ｂによって照射される照明光のうち角膜球中心Ｃを通る方向の成分ＢＭが角膜球ＣＢの表面の点Ｃｒで反射されて角膜反射としてカメラ２の画像上に写ることとなる。また、対象者Ａの視線に対応する眼球ＥＢの光軸Ｌ２は、眼球の回転中心Ｅと角膜球中心Ｃと瞳孔中心Ｐとを通る直線に近似すると考えることができる。図５には、図４の眼球モデルでモデル化された対象者Ａの眼部を対象にしてカメラ２で撮像された画像イメージを示しており、（ａ）部は眼部全体の画像イメージを、（ｂ）部は画像イメージにおける主要点の位置関係を、それぞれ示している。図５の（ａ）部に示すように、カメラ２の画像上では、眼球の回転中心Ｅと角膜球中心Ｃと瞳孔中心Ｐとはほぼ一直線上に位置し、この角膜球中心Ｃの位置に一致して角膜反射像が現れる。このとき、上述した眼球モデルに従えば、図５の（ｂ）部に示すように、画像上における瞳孔中心Ｐと角膜反射中心Ｃｒとの間の距離ＰＣｒと、画像上における瞳孔中心Ｐと眼球の回転中心Ｅとの間の距離ＰＥとの比は、既定の比（１：ｔ）で近似することができ、視線変化により対象者Ａの光軸Ｌ２（図４）の方向が変化しても一定となる。例えば、論文「伴野 明，“視線検出のための瞳孔撮影光学系の設計法”， 電子情報通信学会論文誌D-II Vol.74-DII No.6 pp.736-747, 1991年6月」に記載された眼球モデルによれば、PC=4.3mm，PE=9.8mmと設定され、t=PE/PC=2.3 と想定される。つまり、三次元空間における距離ＰＣと距離ＰＥとの比は、画像上における距離ＰＣｒと距離ＰＥとの比と同じとなる。

【0034】

このような眼球モデルを想定して、特徴点検出部１７は、顔画像上で検出した２つの瞳孔中心のそれぞれの二次元位置と、それに対応して検出された角膜反射中心を基に推定される対象者Ａの眼球の光軸Ｌ２の画像上の方向とを基に、次のように処理する機能を有する。具体的には、特徴点検出部１７は、それぞれの撮影タイミングで算出された瞳孔中心の二次元位置を示す位置ベクトルＶ_Ｐとそれに対応する角膜反射中心の二次元位置を示す位置ベクトルＶ_Ｃとを基に、下記式（１）；
Ｖ_Ｅ＝Ｖ_Ｐ＋ｔ（Ｖ_Ｃ－Ｖ_Ｐ）＝（１－ｔ）Ｖ_Ｐ＋ｔＶ_Ｃ …（１）
によって、眼球の回転中心の二次元位置を示す位置ベクトルＶ_Ｅを算出する。ここで、上記式（１）中の係数ｔは、想定する眼球モデルに対応して予め設定される。特徴点検出部１７は、同様の手順で、対象者の２つの眼球の回転中心の二次元位置を算出する。

【0035】

顔姿勢検出部１８は、特徴点検出部１７によって算出された２つの眼球の回転中心の二次元位置及び２つの鼻孔中心の二次元位置とを基に、対象者Ａの顔姿勢を検出する。すなわち、本発明者による特許第４４３１７４９号に記載の方法を応用して、２つの眼球の回転中心の二次元位置及び２つの鼻孔中心の２次元位置とを基に、２つの眼球の回転中心の三次元位置及び２つの鼻孔中心の三次元位置を算出する。さらに、同特許に記載の方法を応用して、顔姿勢検出部１８は、２つの眼球の回転中心と２つの鼻孔中心とのうちの３点の組み合わせを第１及び第２基準部位群として選択して、それぞれの基準部位群を含む平面の法線ベクトルを算出して、それらの法線ベクトルの合成ベクトルを対象者Ａの顔姿勢として導き出す。加えて、顔姿勢検出部１８は、それぞれの第１及び第２基準部位群に含まれる３点の重心を算出し、２つの重心間の重心を対象者Ａの顔位置として算出する。なお、顔姿勢検出部１８は、２つの鼻孔中心の二次元位置の中点を用いて顔姿勢及び顔位置を算出してもよいし、２つの鼻孔中心の二次元位置のいずれか一方のみを用いて顔姿勢及び顔位置を算出してもよい。

【0036】

ここで、顔姿勢検出部１８は、顔姿勢の検出時には、基準部位群を構成する３点間の実測距離が画像処理装置１内の補助記憶部１０３（図２）等の記憶部から参照される。これにより、基準部位群を構成する３点の三次元位置を精度よく求めることができる。例えば、２つの鼻孔中心の二次元位置の中点を用いる場合には、２つの眼球の回転中心間の実測距離と、２つの鼻孔中心間の中点とそれぞれの眼球の回転中心との間の実測距離とが予め記憶されて、顔姿勢の検出時に参照される。これらの実測距離は、予め物差し等の計測具で実測することができる。例えば、２つの眼球の回転中心間の実測距離は、対象者Ａに正面を遠方視させた状態で両目の瞳孔間距離を測定し、その測定値を眼球の回転中心間の距離と等しい仮定することにより得ることができる。一方で、２つの眼球の回転中心間の実測距離としては、人間の平均的な値として所定値（例えば、65mm）に設定されてもよい。鼻孔中心間の中点とそれぞれの眼球の回転中心までの実測距離の精度は、瞳孔の三次元位置の精度にはあまり影響しないが、検出される対象者Ａの頭部の上下方向及び左右方向の姿勢に影響する。顔姿勢の左右方向の検出精度が高精度である必要がなければ、鼻孔中心間の中点とそれぞれの眼球の回転中心との間の実測距離が等しく設定されてもよい。また、顔姿勢の検出精度が高精度である必要がなければ、２つの瞳孔を結ぶ直線と鼻孔間中点の間の距離を実測した値が予め設定されてもよい。

【0037】

視線検出部１９は、特徴点検出部１７によって検出された対象者Ａの２つの瞳孔中心の二次元位置と、顔姿勢検出部１８によって検出された対象者Ａの２つの眼球の回転中心の三次元位置とを基に、対象者Ａの２つの瞳孔の三次元位置を算出する。ここで、カメラ２の画像上に瞳孔像と角膜反射像とが同時に現れるのは光学系４と対象者Ａの瞳孔中心Ｐとを結ぶ直線と眼球の光軸Ｌ２（図４）との成す角θが最大で３０度と想定される。そもそも、眼球の回転中心Ｅは瞳孔中心Ｐと近く、それらの間の距離は上述した眼球モデルでは9.4mm程度と小さい。従って、対象者Ａの視線が３０度変化しても瞳孔中心のカメラ２からの距離は（1-cos30°）×100＝13パーセント変化するだけである。よって、カメラ２から見て瞳孔中心Ｐは眼球の回転中心Ｅよりも手前の所定距離（例えば、9.4mm）の位置に存在すると推定できる。このことを利用して、視線検出部１９は、カメラ２の光軸Ｌ１に垂直であってカメラ２からの距離が眼球の回転中心から所定距離（例えば、9.4mm）手前に位置する平面を設定し、その平面と、顔画像から得られるカメラ２の中心（ピンホール）と瞳孔中心Ｐとを通る直線と、の交点を求め、その交点を瞳孔中心Ｐの三次元位置として算出する。同様にして、視線検出部１９は、２つの瞳孔中心Ｐの三次元位置を算出する。

【0038】

さらに、視線検出部１９は、対象者Ａの眼部それぞれについて視線ベクトル（視線方向）および注視点を算出する。すなわち、瞳孔中心Ｐの三次元位置と、瞳孔中心Ｐの二次元位置と角膜反射中心の二次元位置とから計算される瞳孔中心Ｐから角膜反射中心までのベクトルｒとを用いて、本発明者による特許第４５１７０４９の方法と同様にしてカメラ２と瞳孔中心とを通る直線と光軸Ｌ２とのなす角θを求めることにより、視線ベクトルおよび所定平面上の注視点を算出する。そして、視線検出部１９は、２つの眼部それぞれについて算出した２つの視線ベクトルを用いて最終的な視線方向および注視点を算出する。

【0039】

なお、視線検出部１９は、瞳孔中心Ｐの代わりに角膜球中心Ｃを用いて視線方向を算出してもよい。すなわち、上述した眼球モデルでは、光軸Ｌ２は眼球の回転中心Ｅと角膜球中心Ｃとを通り、それらの間の距離は上述した眼球モデルでは5.6mm程度となる。そして、対象者Ａの視線が３０度変化しても角膜球中心のカメラ２から見た距離は13パーセント変化するだけであるので、カメラ２から見て角膜球中心Ｃは眼球の回転中心Ｅよりも手前の所定距離（例えば、5.6mm）の位置に存在すると推定できる。このことを利用して、視線検出部１９は、カメラ２の光軸Ｌ１に垂直であってカメラ２からの距離が眼球の回転中心から所定距離（例えば、5.6mm）手前に位置する平面を設定し、その平面と、顔画像から得られるカメラ２の中心（ピンホール）と角膜反射中心Ｃｒとを通る直線と、の交点を求め、その交点を角膜球中心Ｃの三次元位置として算出する。さらに、視線検出部１９は、角膜球中心Ｃの三次元位置と、瞳孔中心Ｐの二次元位置と角膜反射中心の二次元位置とから計算される瞳孔中心Ｐから角膜反射中心Ｃｒまでのベクトルｒとを用いて、カメラ２と角膜球中心とを通る直線と光軸Ｌ２とのなす角θを求めることにより、視線ベクトルおよび所定平面上の注視点を算出することができる。

【0040】

次に、上述した瞳孔検出装置１０の動作手順について説明するとともに、本実施形態にかかる瞳孔検出方法について説明する。

【0041】

まず、瞳孔検出装置１０に対するユーザによる入力装置１０５を用いた指示入力によって瞳孔検出処理が起動されると、画像処理装置１によって、対象者Ａの顔を光源３ａ，３ｂによって照明しながらその顔をカメラ２によって連続的に撮像するように制御される（撮像ステップ）。

【0042】

その後、画像処理装置１の検出ユニット１３により、カメラ２によって取得された明瞳孔画像と暗瞳孔画像を基に２つの眼球の回転中心Ｅの二次元位置が算出され、それを基に２つの瞳孔中心Ｐの三次元位置が算出される（瞳孔検出ステップ）。この瞳孔検出ステップは、明瞳孔画像と暗瞳孔画像とから生成された差分画像を基に瞳孔中心Ｐの二次元位置と対象者Ａの眼球の光軸Ｌ２の画像上の方向とを検出し、それらを基に対象者Ａの眼球の回転中心Ｅの二次元位置を算出するステップと、眼球の回転中心Ｅの二次元位置と対象者Ａの鼻孔中心の二次元位置とを基に瞳孔中心Ｐの三次元位置を算出するステップとを含む。

【0043】

最後に、画像処理装置１の検出ユニット１３により、対象者Ａの顔姿勢が算出されるとともに、対象者Ａの視線方向および注視点が算出され、それらの結果が出力装置１０６に出力される（顔姿勢・視線検出ステップ）。

【0044】

以上説明した瞳孔検出装置１０によれば、光学系４によって取得された顔画像上の２つの瞳孔中心Ｐのそれぞれの二次元位置と眼球の光軸Ｌ２の画像上の方向とを基に２つの眼球のそれぞれの回転中心Ｅの二次元位置が算出され、算出された２つの眼球の回転中心Ｅの二次元位置と鼻孔中心の二次元位置とを基に、２つの瞳孔中心Ｐの三次元位置が算出される。ここで、対象者Ａの視線方向が変化した場合であっても２つの眼球の回転中心Ｅと鼻孔中心との３点の位置関係は維持される。つまり、眼球は眼窩の中で回転運動をする球体であるとモデル化され、視線が変化して眼球が回転しても眼球の回転中心の位置はほとんど変化しない。従って、視線方向の変化があっても、眼球の骨格座標系に対する変動は限りなく少ない。一方で鼻孔も骨格座標系に対して固定されているので、結果的に、２つの眼球の回転中心と鼻孔中心との３点間の距離は視線方向が骨格座標系に対して変動しても変化しないことになる。この性質を利用することで、高精度の瞳孔の位置検出、さらには、高精度の顔姿勢の検出、高精度の視線方向および注視点の検出が実現される。加えて、瞳孔検出装置１０の構成によれば、光学系におけるカメラの台数が削減可能とされ、光学系の構成が単純化される。

【0045】

また、上記形態の瞳孔検出装置１０においては、２つの瞳孔中心Ｐのそれぞれの二次元位置と２つの瞳孔中心Ｐのそれぞれに対応して生じる角膜反射中心Ｃｒの二次元位置とを基に眼球の光軸Ｌ２の方向が求められ、眼球の光軸Ｌ２の方向を基に回転中心Ｅの二次元位置が算出される。この場合、瞳孔中心Ｐの二次元位置と角膜反射中心Ｃｒの二次元位置から眼球の回転中心Ｅの二次元位置が算出されるので、簡易な演算で高精度の瞳孔の位置検出が可能となる。

【0046】

さらに、２つの眼球の回転中心Ｅの二次元位置と、鼻孔中心の二次元位置とを基に、２つの眼球の回転中心Ｅの三次元位置と鼻孔中心の三次元位置とが算出されることにより対象者Ａの顔姿勢が検出されるので、対象者Ａの顔姿勢を高精度で検出することができる。
［第２実施形態］

【0047】

次に、第２実施形態にかかる瞳孔検出装置の構成について説明する。図６は、第２実施形態の瞳孔検出装置を構成する画像処理装置１Ａの機能構成を示すブロック図である。同図に示す画像処理装置１Ａと第１実施形態にかかる画像処理装置１とでは、検出ユニット１３に含まれる特徴点検出部１７Ａ、視線検出部１９Ａの機能が異なっている。

【0048】

視線検出部１９Ａは、第１実施形態における瞳孔中心Ｐから角膜反射中心までのベクトルｒとを用いた視線ベクトルの算出方法（以下、「瞳孔－角膜反射法」と呼ぶ。）に代えて、顔画像上で検出された瞳孔の形状を用いた視線ベクトルの算出方法（以下、「瞳孔形状法」と呼ぶ。）を実行する機能を有する。

【0049】

視線検出部１９Ａが実行する瞳孔形状法の原理について説明する。図７の（ａ）部は、対象者Ａがカメラ２を含む光学系４を見ているときの対象者Ａの眼球ＥＢを示す。図７の（ｂ）部は、対象者Ａが光学系４とは別の場所を見ているときの対象者Ａの眼球ＥＢを示す。図７の（ａ）部及び図７の（ｂ）部では、対象者Ａの眼球ＥＢがカメラ２を含む光学系４から無限遠にあると仮定している。図７の（ａ）部に示されるように、対象者Ａが光学系４を見ているとき、カメラ２から得られる顔画像における瞳孔ＥＰの形状は、円である。この円の直径ＴＤは長さＡ１である。一方、図７の（ｂ）部及び図８に示されるように、カメラ２と瞳孔中心とを結ぶ軸線Ａ３に対して眼球ＥＢの光軸Ｌ２が傾きθ_Ｓだけ傾いた場合には、画像における瞳孔ＥＰの形状は、楕円である。この楕円の長径Ｌ_Ａと短径Ｌ_Ｂは下記式（２），（３）により示される。
長径Ｌ_Ａ＝Ａ１ …（２）
短径Ｌ_Ｂ＝Ａ１・cos(θ_Ｓ) …（３）

【0050】

ここで、楕円度Ｒを定義する。画像における瞳孔ＥＰの形状が楕円であるとき、楕円度Ｒは長径Ｌ_Ａと短径Ｌ_Ｂとにより示される（下記式（４）参照）。
楕円度＝長径Ｌ_Ａ／短径Ｌ_Ｂ …（４）

【0051】

そして、式（２）～（４）によれば、傾きθ_Ｓは式（５）により示される。この傾きθ_Ｓは、カメラ２と瞳孔中心とを通る直線と光軸Ｌ２とのなす角θの大きさ｜θ｜に対応する。
θ_Ｓ＝cos^-1(短径Ｌ_Ｂ／長径Ｌ_Ａ)＝cos^-1(１／楕円度) …（５）

【0052】

図８は、光学系４から見た眼球ＥＢを示す。例えば、瞳孔Ｐａは、対象者Ａが光学系４を見ているときの様子を示す。瞳孔Ｐｂは、対象者Ａが光学系４よりも上方を見ているときの様子を示す。その他の瞳孔Ｐｃは、対象者Ａが光学系４とは別の位置を見ているときの様子をそれぞれ示す。矢印Ｄは、視線の方向を示す。図８に示されるように、視線の方向（矢印Ｄ）の向きによって、瞳孔ＥＰの形状を示す楕円の短軸方向が変化する。短軸方向は、世界座標系の水平軸Ｘ’に対する視線の方向（矢印Ｄ）の傾きφにより示される。

【0053】

上記の原理を利用して、視線検出部１９Ａは、特徴点検出部１７によって楕円フィッティングにより特定された顔画像上の２つの瞳孔ＥＰの形状を基に、それぞれの形状の楕円度及び楕円の短軸の方向を算出する。そして、視線検出部１９Ａは、楕円度の逆数の逆余弦成分（傾きθ_Ｓ）と、短軸の方向（傾きφ）とを得ることにより、傾き角θ_Ｓと傾きφとにより特定される視線ベクトルＰＴを、２つの眼球を対象に算出する。このとき、視線検出部１９Ａは、視線ベクトルＰＴの始点を顔姿勢検出部１８によって検出される眼球の回転中心Ｅの三次元位置に設定する。

【0054】

なお、瞳孔形状法によって得られる算出結果は、光軸Ｌ２の方向である。従って、上記の算出方法では、光軸Ｌ２が視線に対応すると仮定されている。視軸（瞳孔中心の位置Ｐ及び中心窩をとおる軸）と光軸Ｌ２（眼球光学系の対称軸）との間にはずれがある。従って、瞳孔形状法によって得られる結果を較正すれば、瞳孔検出装置の出力結果を実際の視線に近づけることができる。視線検出部１９Ａは、視軸に対する光軸Ｌ２のずれを示すずれ角θ_０を導入する。すなわち、視線検出部１９Ａは、下記式（６）により傾きθ_Ｓを較正して較正後の傾きθ_Ｓａを算出することもできる。
θ_Ｓａ＝θ_Ｓ－θ_０ …（６）
上記式（６）において、傾きθ_Ｓａは、視軸を示す視線ベクトルに対応する。ずれ角θ_０は、視軸に対する光軸Ｌ２のずれを示すベクトルである。ずれ角θ_０は、ずれ角θ_０の大きさ｜θ_０｜と傾きφ_０とにより定義され、θ_０＝（｜θ_０｜，φ_０）として示される。

【0055】

特徴点検出部１７Ａは、視線検出部１９Ａによって算出された視線ベクトルの方向を基に、２つの眼球の回転中心Ｅの二次元位置を算出する。詳細には、特徴点検出部１７Ａは、直前の画像フレームの顔画像を対象に顔姿勢検出部１８によって算出された眼球の回転中心Ｅの三次元座標を基に、カルマンフィルタ等の等速運動モデルを用いた推定手法を用いて処理対象の画像フレームにおける眼球の回転中心Ｅの三次元座標を推定する。次に、特徴点検出部１７Ａは、第１実施形態の視線検出部１９と同様にして、瞳孔中心Ｐの三次元位置を算出する。このとき、特徴点検出部１７Ａは、顔画像上に角膜反射像が現れない場合を想定して光学系４と瞳孔中心Ｐとを結ぶ直線と眼球の光軸Ｌ２との成す角θが３０度程度とし、カメラ２から見て瞳孔中心Ｐは眼球の回転中心Ｅの手前の所定距離（例えば、9.4mm×cos30°＝8.1mm）に位置すると仮定して瞳孔中心Ｐの三次元位置を算出する。さらに、特徴点検出部１７Ａは、算出した瞳孔中心Ｐの三次元位置を示す位置ベクトルＷ_Ｐと、視線検出部１９Ａによって瞳孔形状法を用いて算出された眼球の光軸Ｌ２の方向を示す単位ベクトルＷ_０とを基に、下記式（７）によって眼球の回転中心Ｅの三次元位置を示す位置ベクトルＷ_Ｅを算出する。
Ｗ_Ｅ＝Ｗ_Ｐ－κ_Ｅ・Ｗ_０ …（７）
上記式（７）中、κ_Ｅは、予め設定された瞳孔中心Ｐと回転中心Ｅとの間の距離を示す数値である。そして、特徴点検出部１７Ａは、求めた眼球の回転中心Ｅの三次元位置をカメラ２のピンホールモデルを用いて顔画像上の二次元位置に変換する。同様の手順で、特徴点検出部１７は、２つの眼球の回転中心Ｅの二次元位置を算出する。算出した２つの眼球の回転中心Ｅの二次元位置は、処理対象の画像フレームにおける顔姿勢検出部１８による顔姿勢の検出に用いられる。

【0056】

以上説明した第２実施形態の瞳孔検出装置によれば、対象者Ａの頭部の変則的な動きに対して、瞳孔位置および視線を比較的正確に検出することができる。第１実施形態の瞳孔検出装置では顔画像に現れた瞳孔像と角膜反射像との両方を利用して瞳孔位置を検出していたが、鼻孔像を検出するためにカメラ２を対象者Ａの正面の下方（正面から下方３０度）に設置する場合、対象者Ａが正面より上方を見ると角度θが３０度を超えるため、対象者Ａによっては角膜反射が出現しなくなる。その一方で、カメラ２から観察される瞳孔の楕円度は高くなり、視線の角度変化に対する楕円度の変化割合が高くなり、その結果瞳孔形状法を利用した際の角度θの検出分解能が高くなる。同時に、楕円度が増すと短軸の方向も高精度に求まるようになる。その結果、対象者Ａがカメラ２の方向から離れた方向を見る際には、第２実施形態の瞳孔形状法を用いることにより、瞳孔位置および視線検出の精度が上昇する。
［第３実施形態］

【0057】

次に、第３実施形態にかかる瞳孔検出装置の構成について説明する。図９は、第３実施形態の瞳孔検出装置を構成する画像処理装置１Ｂの機能構成を示すブロック図である。同図に示す画像処理装置１Ｂと第１実施形態にかかる画像処理装置１とでは、検出ユニット１３に含まれる特徴点検出部１７Ｂ、視線検出部１９Ｂの機能が異なっている。

【0058】

すなわち、視線検出部１９Ｂは、第１実施形態の視線検出部１９と同様にして瞳孔－角膜反射法を用いて視線ベクトルを算出する機能を有する処理部２２ａと、第２実施形態の視線検出部１９Ａと同様にして瞳孔形状法を用いて視線ベクトルを算出する機能を有する処理部２２ｂと有し、最終的に処理部２２ａの処理結果と処理部２２ｂの処理結果とを加味して視線ベクトルを算出する。例えば、両方の処理部の処理結果の平均値を算出したり、両方の処理部の処理結果を重み付け加算して視線ベクトルを算出する。また、視線検出部１９Ｂは、処理部２２ａと処理部２２ｂとの処理結果のいずれかを選択して用いることにより視線ベクトルを算出してもよい。例えば、計算される瞳孔形状の楕円度が所定の値以上の場合は処理部２２ｂの処理結果が選択され、瞳孔形状の楕円度が所定の値未満の場合は処理部２２ａの処理結果が選択される。

【0059】

特徴点検出部１７Ｂは、第１実施形態の特徴点検出部１７と同様にして２つの眼球の回転中心Ｅの二次元位置を算出する処理部２１ａと、第２実施形態と同様にして２つの瞳孔中心Ｐの三次元位置及び２つの眼球の回転中心Ｅの二次元位置を算出する処理部２１ｂとを有し、２つの処理部２１ａ，２１ｂの処理結果が加味されて利用されてもよい。例えば、顔姿勢検出部１８は、処理部２１ａによる処理結果を用いて算出した２つの瞳孔中心Ｐの三次元位置と、処理部２１ｂによって算出された２つの瞳孔中心Ｐの三次元位置とを加味して、最終的な２つの瞳孔中心Ｐの三次元位置を算出する。例えば、両方の処理結果の平均値を算出したり、両方の処理結果を重み付け加算して瞳孔中心Ｐの三次元位置を算出する。また、顔姿勢検出部１８は、処理部２１ａと処理部２１ｂとの処理結果のいずれかを選択して用いることにより瞳孔中心Ｐの三次元位置又は顔姿勢を求めてもよい。例えば、視線検出部１９Ｂにおいて計算される瞳孔形状の楕円度が所定の値以上の場合は処理部２１ｂの処理結果が選択され、瞳孔形状の楕円度が所定の値未満の場合は処理部２１ａの処理結果が選択される。

【0060】

以上の第３実施形態にかかる瞳孔検出装置によれば、角膜反射像の二次元位置を利用した算出結果と画像上で検出された瞳孔像に関する楕円度を利用した算出結果を加味することにより、より高精度の瞳孔位置検出および視線検出が実現される。また、角膜反射像の二次元位置を利用した算出結果と画像上で検出された瞳孔像に関する楕円度を利用した算出結果を選択して用いることにより、より高精度の瞳孔位置検出および視線検出が実現される。

【0061】

本発明は、上述した実施形態に限定されるものではない。上記実施形態においては下記の構成に変更されてもよい。

【0062】

例えば、上述した各実施形態における顔姿勢検出部１８による顔姿勢の検出は、本発明者による特許第４５０１００３号に記載の方法を用いて、両眼と右鼻孔とからなる平面の法線の方向と、両眼と左鼻孔とからなる平面の法線の方向とを検出することによって行われてもよい。さらに、顔姿勢検出部１８による顔姿勢の検出においては、両眼と鼻孔の追尾性を良くするために、顔姿勢を利用した差分位置補正法および特徴点追跡の方法（本発明者による特許第５４２９８８５号に記載の方法）を用いてもよい。

【0063】

対象者Ａの両眼を対象にして、第１実施形態における特徴点検出部１７、顔姿勢検出部１８、及び視線検出部１９による瞳孔の三次元位置及び視線ベクトルの算出方法と、第２実施形態における特徴点検出部１７Ａ、顔姿勢検出部１８、及び視線検出部１９Ａによる瞳孔の三次元位置及び視線ベクトルの算出方法とが、同時に別々に使用されてもよい。

【0064】

また、第２実施形態にかかる特徴点検出部１７Ａにおける瞳孔中心Ｐの三次元位置の算出は、視線検出部１９Ｂによって算出された光軸Ｌ２の方向を基に行ってもよい。具体的には、特徴点検出部１７Ａは、光軸Ｌ２の方向に沿って回転中心Ｅから手前の所定距離にある平面を設定し、その平面と、顔画像から得られるカメラ２のピンホールと瞳孔中心Ｐとを通る直線と、の交点を求め、その交点を瞳孔中心Ｐの三次元位置として算出してもよい。

【0065】

第３実施形態の画像処理装置１Ｂでは、対象者Ａの一方の眼に関してのみ角膜反射の画像上の位置が検出され、他方の眼の角膜反射の位置が検出されなかった場合、処理部２２ａの処理結果を優先して視線ベクトルを決定してもよい。例えば、一方の眼に関して処理部２２ａによって検出された視線ベクトルのみを用いて視線ベクトルを算出してもよいし、処理部２２ａによる処理結果に対する重み付けを大きくして視線ベクトルを算出してもよい。

【0066】

また、第３実施形態の視線検出部１９Ｂは、瞳孔形状法を用いて視線ベクトルを算出する際には、次のようにして、視線ベクトルがカメラ２に対して右方向を向いているか左方向を向いているかを判定してもよい。つまり、瞳孔形状法を単に用いた場合には対象者Ａがカメラに対してどちらの方向を向いているかは判別できないため、下記の方法により視線ベクトルの方向を判定する。

【0067】

図１０及び図１１は、光学系４に対する対象者Ａの状態を示す平面図である。図１０の（ａ）部は、光学系４に対して対象者Ａが光学系４に向かってやや右方向を見ている場合を示している。この場合、対象者Ａの頭部の回転は少ないため、視線検出部１９Ｂは瞳孔－角膜反射法を用いて視線ベクトルを検出できる。また、図１０の（ｂ）部は、対象者Ａがカメラ２の右側に視線を移した場合を示しているが、この場合角度θが大きいため角膜反射像が現れない。そこで、視線検出部１９Ｂは瞳孔形状法を用いて視線ベクトルを検出することになるが、対象者Ａがカメラ２の右側を見ているか左側を見ているかは瞳孔形状からは判別できない。しかし、対象者Ａが意図的に視線を移さない限り、図１０の（ｃ）部に示すように、視線ベクトルＤＰＴだけでなく顔方向ＤＰも右方向に回転する。図１１の（ａ）部には、対象者Ａが光学系４に対して比較的大きく左側を見た場合を示しており、この場合視線検出部１９Ｂは瞳孔形状法を用いて視線ベクトルを検出する。この場合は、視線ベクトルＤＰＴだけでなく顔方向ＤＰも左方向に回転する。この傾向を利用して、視線検出部１９Ｂは、視線ベクトルを求める際には、顔姿勢検出部１８によって検出された顔方向を参照することにより、右方向を向いているか左方向を向いているかを判定する。具体的には、視線検出部１９Ｂは、角度θの絶対値が３０度を超えている場合には、顔方向ＤＰが左方向に所定角度Ｔｈ以上傾いている場合には視線ベクトルが左方向に傾いているものとして視線ベクトルを算出し、顔方向ＤＰが右方向に所定角度Ｔｈ以上傾いている場合には視線ベクトルが右方向に傾いているものとして視線ベクトルを算出する。ここで、閾値としての角度Ｔｈは、５度程度に設定される。この際、対象者Ａの正面方向は、本発明者による特許第５００４０９９号に記載の方法を利用して較正してもよい。すなわち、２つの眼球の回転中心と鼻孔間中点からなる三角形の法線と顔正面は上下に大きくずれているのが一般的であるため、それらの間のずれ角度を較正値として求め、その較正値を利用して顔方向を較正する。

【0068】

なお、図１１の（ｂ）部に示す状態のように、対象者Ａの頭部は比較的大きく左側を見ているにもかかわらず眼部の光軸はむしろ頭部方向より右側を向いている場合のように、対象者Ａがどこか１点を見ながら頭部を回転させることが起こりうる。しかし、この場合は角度θが小さく、瞳孔－角膜反射法を用いて視線ベクトルを検出できるため問題はない。図１１の（ｃ）部に示す状態では、図１１の（ｂ）部に示す状態よりも対象者Ａがさらに右側を見ているケースを想定しているが、顔方向に対ししてこのように大きく右方向に視線を向けることは不自然であるだけでなく、この状態でさえも角度θが３０度以下であるため瞳孔－角膜反射法を用いて視線ベクトルを検出できるため問題はない。

【0069】

上述した視線検出部１９Ｂによる視線ベクトルの方向の判定方法は、光学系４を中心とした左右方向だけでなく、光学系４を中心とした点対称のその他の方向（例えば、上下方向）に応用してもよい。

【0070】

また、上述した第１～第３の実施形態の瞳孔検出装置においては、予め光学系４を少なくとも２系統で複数系統備えていてもよい。この複数系統の光学系４のうちの２系統の光学系４の組み合わせは予めカメラ較正がされてステレオマッチングによる対象物の三次元計測が可能とされている。例えば、対象者Ａの存在範囲の中心位置から見て左右に１５度の方向に配置された２つの光学系４を備えてもよい。左右の両方向に４５度の範囲で撮像可能な光学系を２系統備えれば、例えば、全体で水平方向の１２０度の範囲で対象者Ａが撮像可能となる。このような瞳孔検出装置の画像処理装置１，１Ａ，１Ｂでは、予め対象者Ａを中心位置において２つの光学系４に正対するように位置させた状態で、２つの光学系４から出力された画像を基に、ステレオマッチングにより、対象者Ａの２つの瞳孔中心及び鼻孔中心（または、２つの鼻孔中心間の中点）の三次元位置を計測することができる。そして、画像処理装置１，１Ａ，１Ｂは、計測した対象者Ａの２つの瞳孔中心及び鼻孔中心の三次元位置を基に、２つの瞳孔中心間の距離（第１の距離）と、２つの瞳孔中心と鼻孔中心との間の距離（第２の距離）とを計算しておく。その後、画像処理装置１，１Ａ，１Ｂは、それらの距離を基に、上述した第１～第３の実施形態に記載の方法により、対象者Ａの瞳孔の三次元位置、顔姿勢、顔位置、視線ベクトル、及び注視点を検出することができる。このとき、計算する第２の距離としては、２つの瞳孔中心のそれぞれと鼻孔中心との間の距離であってもよいし、２つの瞳孔中心を結ぶ直線と鼻孔中心との間の距離であってもよい。このような瞳孔検出装置によれば、広い角度範囲に位置する対象者Ａを対象にして顔方向及び視線方向を検出することができる。また、２つの光学系４の組み合わせが複数組配置された瞳孔検出装置によれば、さらに広い角度範囲で顔方向及び視線方向を検出することができる。

【符号の説明】

【0071】

１，１Ａ，１Ｂ…画像処理装置，２…カメラ（撮像装置）、３ａ，３ｂ…光源（照明装置）、４…光学系（光学システム）、１０…瞳孔検出装置、１３…検出ユニット（処理部）、１７，１７Ａ，１７Ｂ…特徴点検出部（回転中心算出部、瞳孔位置算出部）、１８…顔姿勢検出部（瞳孔位置算出部）、１９，１９Ａ，１９Ｂ…視線検出部（瞳孔位置算出部）、２１ａ，２２ａ…処理部（第１の処理部）、２１ｂ，２２ｂ…処理部（第２の処理部）、Ａ…対象者、Ｃ…角膜球中心、ＣＢ…角膜球、Ｃｒ…角膜反射中心、Ｅ…眼球回転中心、ＥＢ…眼球、ＥＰ…瞳孔、Ｐ…瞳孔中心。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】