特許 7269617 顔画像処理装置、画像観察システム、及び瞳孔検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-26

(45)【発行日】2023-05-09

(54)【発明の名称】顔画像処理装置、画像観察システム、及び瞳孔検出システム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20230427BHJP

   G06T 7/70 20170101ALI20230427BHJP

   G06T 7/00 20170101ALI20230427BHJP

【ＦＩ】

A61B3/113

G06T7/70 Z

G06T7/00 660Z

【請求項の数】 10

(21)【出願番号】P 2018225770

(22)【出願日】2018-11-30

(65)【公開番号】P2020081756

(43)【公開日】2020-06-04

【審査請求日】2021-10-12

(73)【特許権者】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(72)【発明者】

【氏名】海老澤 嘉伸

【審査官】▲高▼木 尚哉

(56)【参考文献】

【文献】特開２０１７－１１１７４６（ＪＰ，Ａ）

【文献】国際公開第９８／０３００２９（ＷＯ，Ａ１）

【文献】特開２０１７－１８８７６６（ＪＰ，Ａ）

【文献】特表２０１６－５０２１６５（ＪＰ，Ａ）

【文献】特開２０１７－１０２７３１（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７８８５７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象者の顔及び前記顔とは独立した固定点を撮像することで顔画像を取得する少なくとも１台のカメラと、
前記顔画像を対象に画像処理を実行する算出部と、を備え、
前記算出部は、前記顔画像上における前記固定点の位置を基に前記カメラの位置あるいは姿勢を検出し、前記カメラの位置あるいは姿勢を基に前記画像処理を実行し、
前記画像処理として、前記顔画像の複数のフレームを対象として、前記対象者の瞳孔の三次元位置を算出する位置算出処理を連続して実行し、
処理対象のフレームを対象にした前記位置算出処理は、
前のフレームを対象にした前記位置算出処理によって算出された前記瞳孔の三次元位置を基に、前記処理対象のフレームにおける前記瞳孔の三次元位置を予測する処理と、
予測した前記瞳孔の三次元位置と、前記処理対象のフレームにおいて検出された前記カメラの位置とを基に、前記処理対象のフレームの前記顔画像上の前記瞳孔の位置を推測する処理と、
前記前のフレームの前記顔画像上の前記瞳孔の位置と、推測した前記処理対象のフレームの前記顔画像上の前記瞳孔の位置とを基に、前記顔画像の位置補正を行ってから前記前のフレームと前記処理対象のフレームとの間で処理した画像を生成することによって前記対象者の瞳孔の前記処理対象のフレームの前記顔画像上の位置を検出する処理と、
当該位置を基に前記処理対象のフレームにおける前記瞳孔の三次元位置を算出する処理と、を含む
顔画像処理装置。

【請求項2】

前記カメラの位置あるいは姿勢を制御する駆動系をさらに備える、
請求項１記載の顔画像処理装置。

【請求項3】

前記カメラは、３箇所以上の前記固定点を撮像する、
請求項１又は２に記載の顔画像処理装置。

【請求項4】

前記算出部は、前記固定点の位置を基に前記カメラの位置及び姿勢を検出し、前記カメラの位置及び姿勢を用いて前記画像処理を実行する、
請求項１～３のいずれか１項に記載の顔画像処理装置。

【請求項5】

前記算出部は、前記画像処理を用いて、前記対象者の瞳孔の前記カメラから見た方向あるいは距離を算出する、
請求項１～４のいずれか１項に記載の顔画像処理装置。

【請求項6】

前記算出部は、前記カメラの位置及び／又は姿勢を基に前記顔画像のブレを補正する、
請求項２記載の顔画像処理装置。

【請求項7】

請求項６記載の顔画像処理装置と、
前記対象者とは別の観察者の頭部の位置及び姿勢を検出する光学系と、
前記観察者に対して前記顔画像を表示する表示装置とを備え、
前記駆動系は、前記頭部の位置及び姿勢に基づいて前記カメラの位置及び姿勢を制御し、
前記算出部は、ブレが補正された前記顔画像を前記表示装置に表示させる、
画像観察システム。

【請求項8】

前記算出部は、前記カメラの位置及び姿勢を基に前記顔画像を拡大あるいは縮小を行ってから前記表示装置に表示させる、
請求項７に記載の画像観察システム。

【請求項9】

請求項１記載の顔画像処理装置を備え、
前記カメラは、前記対象者が操作する可動物体に取り付けられ、前記対象者の顔及び前記固定点を撮像し、
前記算出部は、前記対象者の瞳孔を検出する、
瞳孔検出システム。

【請求項10】

前記算出部は、前記カメラの位置あるいは姿勢の変化を反映した異なる時間での複数の前記顔画像の位置補正を行うことによって前記対象者の瞳孔の前記顔画像上の位置あるいは形状を検出する、
請求項９記載の瞳孔検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像を処理する顔画像処理装置、画像観察システム、及び瞳孔検出システムに関する。

【背景技術】

【0002】

近年、ビデオカメラを使用して得られた顔画像を処理する顔画像処理装置が普及しつつある（例えば、下記特許文献１，２参照）。例えば、このような顔画像処理装置では、顔画像を処理することによって、瞳孔の三次元座標、及びカメラから瞳孔中心を結ぶ直線に対する視線の角度を求め、これらを基に視線を検出している。これらの装置では、２台以上のカメラの画像に対象者の眼が映っていれば、瞳孔の三次元座標を求めることが可能である。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４５００９９２号

【文献】特許第４５１７０４９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１，２に記載の装置では、対象者が急にあるいは広範囲に移動する場合、あるいは、対象者の姿勢が急にあるいは広範囲で変化する場合に、それに対応して対象者の顔画像をカメラで捉えることが困難である。カメラとして広視野のカメラを用いることも考えられるが、その場合はカメラの分解能を高くする必要がある等の制約が生じる。また、カメラの光学中心の３自由度の位置、あるいはカメラの光軸の方向とカメラの光軸周りの回転角度とで表現されるカメラの姿勢を、対象者の動きあるいは姿勢に対応して制御することも考えられるが、その場合にカメラの画像を対象にしたカメラの位置あるいは姿勢に基づいた画像処理を精度よく行うことができない傾向にある。また、カメラを自動車のハンドル等の可動物体に取り付ける場合にも、カメラの画像を対象にしたカメラの位置に基づいた画像処理を精度よく行うことができない傾向にある。

【0005】

本発明は、上記課題に鑑みて為されたものであり、カメラの位置あるいは姿勢が変化する場合であっても、対象者の画像を対象にカメラの位置あるいは姿勢に基づいて高精度に画像処理を行うことが可能な顔画像処理装置、画像観察システム、及び瞳孔検出システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の一形態に係る顔画像処理装置は、対象者の顔及び顔とは独立した固定点を撮像することで顔画像を取得する少なくとも１台のカメラと、顔画像を対象に画像処理を実行する算出部と、を備え、算出部は、顔画像上における固定点の位置を基にカメラの位置あるいは姿勢を検出し、カメラの位置あるいは姿勢を基に画像処理を実行する。

【0007】

上記形態の顔画像処理装置によれば、対象者の顔とそれとは独立した固定点を撮像した顔画像を用いてカメラの位置あるいは姿勢を検出することにより、顔画像を取得した際のカメラの位置あるいは姿勢をズレが生じることなく検出することができる。そして、検出したカメラの位置あるいは姿勢を基に画像処理を実行することにより、カメラの位置あるいは姿勢が変化する場合であっても、対象者の画像を対象に、カメラの位置あるいは姿勢に基づいて高精度に画像処理を施すことができる。

【0008】

ここで、カメラの位置あるいは姿勢を制御する駆動系をさらに備える、こととしてもよい。かかる構成においては、カメラの位置あるいは姿勢を駆動系を用いて制御する場合に、対象者の画像を対象に、カメラの位置あるいは姿勢に基づいて高精度に画像処理を施すことができる。

【0009】

また、前記カメラは、３箇所以上の前記固定点を撮像する、こととしてもよい。この場合、顔画像を取得した際のカメラの位置あるいは姿勢を精度よく検出することができる。

【0010】

また、算出部は、固定点の位置を基にカメラの位置及び姿勢を検出し、カメラの位置及び姿勢を用いて画像処理を実行する、こととしてもよい。こうすれば、カメラの位置と姿勢の両方が変化する場合であっても、対象者の画像を対象に、カメラの位置及び姿勢に基づいて高精度に画像処理を施すことができる。

【0011】

また、算出部は、画像処理を用いて、対象者の瞳孔のカメラから見た方向あるいは距離を算出する、こととしてもよい。この場合、対象者の画像をカメラの位置あるいは姿勢に基づいて画像処理することにより、高精度に対象者の瞳孔の方向あるいは距離を算出することができる。

【0012】

また、算出部は、画像処理を用いて、対象者の瞳孔の三次元位置を算出する、こととしてもよい。この場合にも、対象者の画像をカメラの位置あるいは姿勢に基づいて画像処理することにより、高精度に対象者の瞳孔の三次元位置を算出することができる。

【0013】

また、算出部は、カメラの位置あるいは姿勢の変化を反映した異なる時間での複数の顔画像の位置補正を行うことによって対象者の瞳孔の顔画像上の位置を検出する、こととしてもよい。この場合には、対象者の画像をカメラの位置あるいは姿勢に基づいて位置補正処理することにより、高精度に対象者の顔画像上の位置を検出することができる。

【0014】

また、 算出部は、カメラの位置及び／又は姿勢を基に顔画像のブレを補正する、こととしてもいてもよい。この場合には、対象者の画像をカメラの位置及び／又は姿勢に基づいてブレ補正処理することにより、高精度に対象者の画像上のブレを補正することができる。

【0015】

あるいは、本発明の他の形態に係る画像観察システムは、上記形態の顔画像処理装置と、対象者とは別の観察者の頭部の位置及び姿勢を検出する光学系と、観察者に対して顔画像を表示する表示装置とを備え、駆動系は、頭部の位置及び姿勢に基づいてカメラの位置及び姿勢を制御し、算出部は、ブレが補正された顔画像を表示装置に表示させる。

【0016】

上記形態の画像観察システムによれば、観察者の頭部の位置及び姿勢に応じてカメラの位置及び姿勢が制御され、そのカメラによって取得された対象者の顔画像が表示装置に表示される。この際、顔画像処理装置によって、カメラの位置あるいは姿勢が検出され、そのカメラの位置あるいは姿勢を基に顔画像のブレが補正される。その結果、ブレが安定的に補正された対象者の顔を表示装置に表示することができる。

【0017】

ここで、算出部は、カメラの位置あるいは姿勢を基に顔画像を拡大あるいは縮小を行ってから表示装置に表示させる、こととしてもよい。かかる構成によれば、対象者の顔をカメラの位置あるいは姿勢に応じた好適なサイズで表示装置に表示させることができる。

【0018】

あるいは、本発明の他の形態に係る瞳孔検出システムは、上記形態の顔画像処理装置を備え、カメラは、対象者が操作する可動物体に取り付けられ、対象者の顔及び固定点を撮像し、算出部は、対象者の瞳孔を検出する。

【0019】

上記形態の瞳孔検出システムによれば、カメラの位置が可動物体の操作により変化する場合であっても、対象者の顔画像を対象に、カメラの位置に基づいて画像処理を施すことにより、高精度に対象者の瞳孔を検出することができる。

【0020】

ここで、算出部は、カメラの位置あるいは姿勢の変化を反映した異なる時間での複数の顔画像の位置補正を行うことによって対象者の瞳孔の顔画像上の位置あるいは形状を検出する、こととしてもよい。この場合、対象者の顔画像を対象に、カメラの位置あるいは姿勢に基づいて位置補正処理を施すことにより、高精度に対象者の瞳孔の顔画像上の位置あるいは形状を検出することができる。

【発明の効果】

【0021】

本発明によれば、カメラの位置あるいは姿勢が変化する場合であっても、対象者の画像を対象にカメラの位置あるいは姿勢に基づいて高精度に画像処理を行うことができる。

【図面の簡単な説明】

【0022】

【図1】第１実施形態に係る顔画像処理装置を示す側面図である。

【図2】第１実施形態に係る顔画像処理装置を示す正面図である。

【図3】第１実施形態に係る顔画像処理装置を示す平面図である。

【図4】第１実施形態に係る顔画像処理装置の撮像対象である対象者とマーカーとの位置関係を示す図である。

【図5】第１実施形態に係るコンピュータのハードウェア構成を示す図である。

【図6】第１実施形態に係るコンピュータの機能構成を示すブロック図である。

【図7】変形例に係るカメラ駆動系の構成を示す平面図である。

【図8】変形例に係るカメラ駆動系の構成を示す平面図である。

【図9】第２実施形態に係る画像観察システムの構成を示す側面図である。

【図10】第２実施形態に係るコンピュータの機能構成を示すブロック図である。

【図11】第２実施形態に係るコンピュータによる処理前の顔画像と処理後の顔画像のイメージを示す図である。

【図12】第２実施形態に係る画像観察システムの別の使用形態を示す側面図である。

【図13】第３実施形態に係る自動車用監視システムを構成する顔画像処理装置の構成を示す側面図である。

【図14】第３実施形態に係る顔画像取得用ステレオカメラの配置状態を示す図である。

【発明を実施するための形態】

【0023】

以下、図面を参照しつつ本発明に係る顔画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0024】

［第１実施形態に係る顔画像処理装置の構成］
まず、図１～３を用いて、実施形態に係る顔画像処理装置１の全体構成を説明する。図１は、顔画像処理装置１の側面図、図２は、顔画像処理装置１の正面図、図３は、顔画像処理装置１の平面図である。顔画像処理装置１は、対象者Ｓｐを撮像することにより顔画像を取得し、その顔画像を対象に画像処理を実行する装置群である。一例として、対象者Ｓｐがガラス板等の透明な物体又は電子基板等の不透明な物体である検査対象物Ｓｏ等を目視検査する際に、対象者Ｓｐの検査対象物Ｓｏ上の注視点を検出する装置として説明する。ここでは、顔画像処理装置１を対象者Ｓｐの瞳孔および角膜反射の検出結果を基に視線を検出する装置として例示しているが、対象者Ｓｐの顔自体の検出のほか、対象者Ｓｐの鼻孔、口、耳、眉、鼻先、頭部等の顔上の様々な部位、あるいは、眼鏡、ゴーグル、イヤホン等の対象者Ｓｐの顔に付属する物体を検出する装置であってもよい。顔画像処理装置１は、マーカー検出用カメラ３、顔画像取得用ステレオカメラ５、カメラ駆動系７、及び、コンピュータ（算出部）９を含んで構成されている。以下、顔画像処理装置１の各構成要素について説明する。なお、検査対象物Ｓｏとして、電子基板等不透明な物体を対象とする場合には、検査対象物Ｓｏが顔画像取得用ステレオカメラ５による対象者Ｓｐの撮像の邪魔にならないようにその位置が調整される。

【0025】

マーカー検出用カメラ３は、対象者Ｓｐに向けて固定されたカメラであり、対象者Ｓｐ、及び、対象者Ｓｐの後方に対象者Ｓｐと独立して固定された複数のマーカー（固定点）を撮像することにより画像情報を生成し、その画像情報に画素毎の被写体までの距離に関する情報を含めることができるＴＯＦ（Time of Flight）カメラである。このマーカー検出用カメラ３は、カメラ駆動系７を制御するための情報を生成するために用いられ、後述する顔画像取得用ステレオカメラ５に比較して広い範囲を撮影可能な広角カメラである。マーカー検出用カメラ３は、コンピュータ９からの命令に応じて画像情報を生成し、その画像情報をコンピュータ９に出力する。ここで、後述するコンピュータ９の機能により、顔画像取得用ステレオカメラ５により取得される顔画像を基に複数のマーカーの三次元座標を算出可能な場合には、マーカー検出用カメラ３は省略されてもよい。

【0026】

顔画像取得用ステレオカメラ５は、対象者Ｓｐに向けられた２台のカメラ５ａ，５ｂを含み、それぞれのカメラ５ａ，５ｂは、カメラ駆動系７に搭載されてから予めカメラ較正がされており、対象者Ｓｐの顔を複数のマーカーと同時に撮像し、顔画像を取得および出力する。本実施形態では、カメラ５ａ，５ｂは、インターレーススキャン方式の一つであるＮＴＳＣ方式のビデオカメラであり、各カメラ５ａ，５ｂには、対象者Ｓｐの瞳孔、角膜反射、あるいは鼻孔等の特徴点を検出するために特許第４５００９９２号に記載の構成の近赤外光源１１ａ，１１ｂが取り付けられているが、マーカーが顔画像上で検出できるのであれば近赤外光源１１ａ，１１ｂは省かれていてもよい。カメラ５ａ，５ｂは、コンピュータ９からの命令に応じて対象者Ｓｐ及びマーカーを撮像し、顔画像のデータをコンピュータ９に出力する。

【0027】

カメラ駆動系７は、カメラ５ａ，５ｂを搭載する台座７ａ、台座７ａを垂直方向に移動可能に支持する支持部７ｃ、支持部７ｃを水平方向に移動可能に支持する支持部７ｂを備えている。カメラ駆動系７は、コンピュータ９からの命令に応じて、台座７ａに載置されたカメラ５ａ、５ｂの位置を、対象者Ｓｐに対するそれらの姿勢を保ったまま垂直面に沿って垂直方向および水平方向に移動させるように駆動する。このようなカメラ駆動系７としては、ＩＡＩ社製のロボシリンダ（登録商標）を使用することができる。なお、カメラ駆動系７の駆動方向は、垂直面に沿ったものには限定されず、垂直面に対して傾いた面に沿った方向であってもよい。カメラ駆動系７は、例えば、１ｍ／１秒の速度でカメラ５ａ，５ｂを移動させることができる。

【0028】

上記の顔画像処理装置１を用いる際には、マーカー検出用カメラ３及び顔画像取得用ステレオカメラ５の前方において、暗幕、壁等の垂直面Ｓｖ上に固定された複数のマーカーを用意し、垂直面Ｓｖと顔画像取得用ステレオカメラ５の間にカメラ５ａ，５ｂの光軸に対して斜めに傾くように検査対象物Ｓｏを固定する。マーカーとしては、白色等のカメラ画像上で目立つ色彩のマーカーが好ましく、ＬＥＤ等の発光体をマーカーとして用いてもよく、発光体を用いる場合はカメラの画像において中心精度が高まるような形状に映るように、発光部の高さが低く指向性が弱いＬＥＤを用いる。また、マーカー検出用カメラ３及び顔画像取得用ステレオカメラ５として近赤外線カメラを使用する場合には、再帰（再帰性）反射材料のマーカーを用いることが好ましく、マーカー検出用カメラ３及び顔画像取得用ステレオカメラ５としてカラーカメラを使用する場合には、背景に対して目立つ色（例えば、青色）のマーカーＭを用いてもよい。さらに、対象者Ｓｐには、垂直面Ｓｖと検査対象物Ｓｏの間で顔画像取得用ステレオカメラ５側を向かせた状態で、検査対象物Ｓｏの任意の位置を目視で検査させる。

【0029】

図４には、垂直面Ｓｖ上におけるマーカーＭの配置状態を示している。このように、複数のマーカーＭは、例えば、垂直面Ｓｖ上で垂直方法及び水平方向に沿って等間隔で二次元的に配列されている。複数のマーカーＭ間の距離は、カメラ５ａ，５ｂが動いた場合に、対象者Ｓｐによって一部のマーカーＭが隠れたとしても、カメラ５ａ，５ｂによって取得されるそれぞれの顔画像上に最低１個のマーカーＭが映るように調整されている。このように調整されることで、カメラ５ａ，５ｂが大きく動いた場合であっても、それらによって取得される顔画像上に常にマーカーＭを捉えることができる。

【0030】

ただし、マーカーＭの配置は、二次元的に等間隔の状態に限定されるものではなく、マーカーＭ間の距離が不均一であってもよいし、複数のマーカーＭを結ぶ線が斜めを向いていてもよいし、カメラ５ａ，５ｂが動いた場合に１個のマーカーＭが確実に顔画像上に映るのであればマーカーＭは１つであってもよい。また、マーカーＭは垂直面Ｓｖ上に配置されるものには限定されず、垂直面に対して斜めな面に対して配置されてもよい。また、複数のマーカーＭは互いに独立したものである必要もなく、例えば、枠状の物体の隅部を複数のマーカーＭとして用いてもよい。つまり、マーカーＭは、任意の形状の物体であってよく、カメラ５ａ，５ｂによって撮影可能であって物体上の相対位置が分かり得るような物体の一部であってもよい。その場合は、物体の特定の位置にマーカーＭが仮想的に存在していると考えることができる。さらに、顔画像の取得に２台以上のカメラを使用する場合には、マーカーＭが含まれる対象の物体は、立体的な物体でもよい。その場合は、コンピュータ９にて、画像を用いて物体の３次元構造を推定し、その構造中で位置推定精度の低下しにくい位置(例えば、突起部分)に仮想的なマーカーＭを設定して，そのマーカーＭを利用しても良い。

【0031】

図１に戻って、コンピュータ９は、マーカー検出用カメラ３、顔画像取得用ステレオカメラ５、及びカメラ駆動系７の制御と、顔画像取得用ステレオカメラ５によって取得された顔画像を対象にした画像処理とを実行するデータ処理装置である。コンピュータ９は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、コンピュータ９は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続されうる。

【0032】

コンピュータ９の一般的なハードウェア構成を図５に示す。コンピュータ９は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。

【0033】

後述するコンピュータ９の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

【0034】

図６に示すように、コンピュータ９は、機能的構成要素として、カメラ駆動系制御部２１、撮像制御部２３、カメラ位置検出部２５、及び画像処理部２７を備える。以下、コンピュータ９の各構成要素の機能を説明する。

【0035】

カメラ駆動系制御部２１は、対象者Ｓｐの視線検出処理が開始された後に、マーカー検出用カメラ３によって取得された画像情報を基に、カメラ駆動系７による顔画像取得用ステレオカメラ５の駆動を制御する。すなわち、カメラ駆動系制御部２１は、画像情報を参照して対象者Ｓｐの頭部の三次元位置を算出し、その三次元位置に対向する位置にカメラ５ａ，５ｂが位置するように駆動を制御する。加えて、カメラ駆動系制御部２１は、画像情報を基に複数のマーカーＭの三次元座標も算出し、複数のマーカーＭの三次元座標の情報をカメラ位置検出部２５に引き渡す。一般に、検査対象物Ｓｏを目視検査する際には、対象者Ｓｐは、特に検査対象物Ｓｏの面積が大きい場合は、足腰を動かしながら検査対象物Ｓｏに対して上下左右に頭部および視線を動かすことによって、検査対象物Ｓｏを隅から隅まで観察および検査する。このような場合であっても、カメラ駆動系制御部２１の制御により、顔画像取得用ステレオカメラ５によって取得される顔画像上に対象者Ｓｐの顔を捉えることができる。

【0036】

撮像制御部２３は、対象者Ｓｐの視線検出処理が開始された後に、顔画像取得用ステレオカメラ５による撮像を制御する。その際、撮像制御部２３は、特許第４５００９９２号に記載のように、顔画像取得用ステレオカメラ５による撮像タイミングに応じて、顔画像取得用ステレオカメラ５に取り付けられた近赤外光源１１ａ，１１ｂの点灯タイミングを制御する。このような撮像制御部２３の制御により、各カメラ５ａ，５ｂにおいては、１秒間に３０枚得られる１フレームの顔画像として、奇数番目の水平画素ラインで構成される奇数フィールドの画像と、偶数番目の水平画素ラインで構成される偶数フィールドの画像とが得られ、奇数フィールドの画像と偶数フィールドの画像とが、瞳孔が比較的明るく写る顔画像（明瞳孔画像）及び瞳孔が比較的暗く写る顔画像（暗瞳孔画像）として、１／６０秒の間隔で交互に撮影されることで生成される。また、これらの顔画像はそれらの画像上にマーカーＭの像も映った状態で得られる。なお、マーカーＭの像のブレを防止してマーカーＭの画像上の位置を正確に検出するためには、各カメラ５ａ，５ｂの露光時間をできるだけ短く（例えば、５００μ秒）に設定することが好ましい。また、マーカーＭと瞳孔との位置検出の同時性を高めるために、各カメラ５ａ，５ｂのシャッタータイミングと、近赤外光源１１ａ，１１ｂの点灯タイミングとを同期させることも好ましく、マーカーＭとしてＬＥＤ等の発光体を用いる場合は近赤外光源１１ａ，１１ｂの点灯タイミングと同期させてマーカーＭを点灯させるように制御することが好ましい。

【0037】

カメラ位置検出部２５は、顔画像取得用ステレオカメラ５の各カメラ５ａ，５ｂによって取得された顔画像上のマーカーＭの位置を基に、各カメラ５ａ，５ｂの位置を検出する。ここでは、各カメラ５ａ，５ｂのカメラモデルをピンホールモデルと仮定されており、各カメラ５ａ，５ｂのピンホール（光学中心）とマーカーＭの位置する垂直面Ｓｖとの距離Ｌが既知であり、コンピュータ９内にその距離Ｌが設定されている。この距離Ｌは、カメラ５ａ，５ｂを用いてステレオ計測によって求めることもできるし、予めマニュアルで計測して設定しておいてもよい。カメラ位置検出部２５は、この距離Ｌと、顔画像上のマーカーＭの位置と、そのマーカーＭの三次元座標の情報とを基に、各カメラ５ａ，５ｂのピンホールの位置（三次元座標）Ｃｉを算出することができる。詳細には、ピンホールモデルを利用することにより、顔画像上のマーカーＭの位置を基に各カメラ５ａ，５ｂのピンホールからマーカーＭへ向かう方向ベクトルが算出され、その方向ベクトルとマーカーＭの三次元座標と距離Ｌとから各カメラ５ａ，５ｂのピンホールの位置Ｃｉが導出される。そして、カメラ位置検出部２５は、各カメラ５ａ，５ｂの顔画像毎に検出したピンホールの位置Ｃｉを画像処理部２７に引き渡す。

【0038】

このとき、カメラ位置検出部２５は、顔画像上に映るマーカーＭを区別するために、２台のカメラ５ａ，５ｂの顔画像を用いてステレオマッチングを行ってもよい。例えば、２台のカメラの５ａ，５ｂの並び方向（水平方向）に交わる方向に２つ以上のマーカーＭが存在していれば、特許第６０８３７６１号に記載の手法を用いて、ステレオマッチングしたマーカーＭが同一のマーカーであるか否かを判定することができる。また、カメラ位置検出部２５は、カメラ駆動系７から出力される台座７ａの位置を示す信号、あるいは、カメラ駆動系制御部２１から出力されるカメラ駆動系７を制御する信号を基に、おおよそのカメラ５ａ，５ｂの位置を推定し、カメラ５ａ，５ｂの画像に映っているはずのマーカーＭを判断し、そのマーカーＭを複数のマーカーＭの中から特定してもよい。

【0039】

なお、カメラ位置検出部２５は、各カメラ５ａ，５ｂで同時に得られた顔画像を基に検出された各カメラ５ａ，５ｂの位置Ｃｉを対象に、それぞれの位置の変化の平均値を求め、その平均値を反映した位置を各カメラ５ａ，５ｂの位置として検出してもよい。また、カメラ位置検出部２５は、カメラ５ａ，５ｂで得られた顔画像にひずみ等がある場合には、ピンホールからマーカーＭへ向かう方向ベクトルを、カメラ較正時に得られたカメラパラメータを用いて補正することが好ましい。

【0040】

画像処理部２７は、カメラ５ａ，５ｂで得られたそれぞれの顔画像を対象に、それぞれの顔画像に対応してカメラ位置検出部２５によって検出されたカメラ５ａ，５ｂの位置を基に画像処理を実行する。すなわち、画像処理部２７は、顔画像の取得タイミングにおける対象者Ｓｐの視線方向、あるいは検査対象物Ｓｏ上の注視点を検出し、視線方向あるいは注視点の情報を、画像あるいはデータとして出力装置１０６に時系列に出力する。

【0041】

より具体的には、画像処理部２７は、顔画像上で検出された瞳孔の位置を基に、ピンホールモデルを用いてカメラ５ａ，５ｂのピンホールから瞳孔に向かう単位方向ベクトルＶｎを算出し、その単位方向ベクトルＶｎと、カメラ５ａ，５ｂのピンホールの位置Ｃｉとを基に、瞳孔位置（三次元座標）Ｐを、下記式；
Ｐ＝Ｃｉ＋ｋ×Ｖｎ
により、計算する（上記式中、ｋは未定定数）。この未定定数ｋは、マーカー検出用カメラ３等のＴＯＦカメラによる検出結果を用いて計算された対象者Ｓｐまでの距離を用いて求めてもよいし、特許第４４３１７４９号に記載されたように瞳孔及び鼻孔を検出して瞳孔の三次元座標を計測する手法を用いて求めてもよい。ここでも、顔画像にひずみ等がある場合には、ピンホールから瞳孔へ向かう単位方向ベクトルを、カメラ較正時に得られたカメラパラメータを用いて補正することが好ましい。一方で、画像処理部２７は、２台のカメラ５ａ，５ｂの顔画像を基にピンホールの位置から瞳孔に向かうベクトルを求め、それらの２つのベクトルの交点を求めることで、瞳孔位置Ｐを検出することもできる。また、画像処理部２７は、国際公開ＷＯ２０１５／１９０２０４号に記載の手法を用いて、２本のベクトルの最近点を瞳孔位置Ｐとして検出することもできる。この場合には、誤差のため２つのベクトルの交点が存在しない場合にも瞳孔位置Ｐを求めることができる。

【0042】

さらに、画像処理部２７は、顔画像を基に算出した瞳孔位置Ｐと、顔画像を基に検出した顔画像上の瞳孔及び角膜反射の位置を基に、特許第４５００９９２号に記載の手法を用いて、対象者Ｓｐの視線ベクトル及び検査対象物Ｓｏ上の注視点を算出する。ここで、視線とは、瞳孔と注視点とを結ぶ直線であり、注視点とは、視対称面と視線との交点である。

【0043】

上記の瞳孔位置Ｐの検出時には、画像処理部２７は、明瞳孔画像と暗瞳孔画像とを差分して得た差分画像を対象に、顔画像上の瞳孔の位置を検出する。この差分画像の取得時には、差分する前に少なくとも一方の画像に対して位置補正（位置合わせ）の処理を加えてもよい。このような差分位置補正により、対象者Ｓｐが眩しくて瞳孔が小さくなった場合等に、検出のロバスト性および瞳孔位置の検出精度を高めることができる。具体的には、画像処理部２７は、特許第４４５２８３２号に記載の手法を用いて、異なる時間で得られた明瞳孔画像と暗瞳孔画像にそれぞれにおいて鼻孔を検出し、フレーム間の鼻孔の移動量に応じて小ウィンドウ中の画像をずらしてから差分処理してもよいし、特許第４４５２８３６に記載の手法を用いて、フレーム間の角膜反射の移動量に応じて位置補正してから差分処理してもよいし、特許第５４２９８８５号に記載の手法を用いて、２個の瞳孔と鼻孔間中点の３点を１つの塊として捉えてそれらの位置を推定してその推定結果を基に位置補正してから差分処理してもよい。また、画像処理部２７は、特許第６０８３７６１号に記載の手法を用いて、２個の瞳孔を三次元追跡してその結果を基に位置補正してから差分処理してもよいし、特開２０１６－０９５５８４号公報に記載の手法を用いて、角膜反射を２次元座標上で追跡してその結果を基に位置補正してから差分処理してもよい。ただし、本実施形態では、カメラ５ａ，５ｂの位置が比較的高速で移動するため、その位置の変化を反映させない場合には、瞳孔、鼻孔、角膜反射等の運動が正しく推定できないため顔画像上の瞳孔の位置を正確に検出できない。そのため、本実施形態の画像処理部２７は、次のようにして、差分位置補正を行う。

【0044】

すなわち、画像処理部２７は、過去のフレームの顔画像を対象に検出された瞳孔位置（三次元座標）Ｐと、処理対象のフレームの顔画像に対応して検出されたカメラ５ａ，５ｂの位置Ｃｉとを用いて、処理対象のフレームにおける瞳孔位置（三次元座標）Ｐを推定する。より詳細には、画像処理部２７は、処理対象のフレームの１つ前のフレームの瞳孔位置Ｐ_ｉ－１と、さらに１つ前のフレームの瞳孔位置Ｐ_ｉ－２とを基に、等速モデルを用いて、処理対象のフレームにおける瞳孔位置Ｐ_ｉを、下記式により算出する。
Ｐ_ｉ＝Ｐ_ｉ－１＋（Ｐ_ｉ－１－Ｐ_ｉ－２）
この場合、等速モデルの代わりに線形カルマンフィルターを用いてもよい。そして、画像処理部２７は、処理対象のフレームに対応するカメラ５ａ，５ｂの位置Ｃｉと、計算した瞳孔位置Ｐ_ｉとから、ピンホールモデルを用いて、処理対象の顔画像中の瞳孔の位置Ｐ_Ｃｉを推測する。そして、画像処理部２７は、差分位置補正の際に、対象のフレームの１つ前のフレームにおける瞳孔の位置Ｐ_{Ｃ（ｉ－１）}が対象のフレームでの瞳孔の位置Ｐ_Ｃｉに位置するように画像の位置補正を行う。この際に、画像処理部２７は、前のフレームで角膜反射が検出されている場合には、対象のフレームで瞳孔の位置Ｐ_Ｃｉを中心とした小ウィンドウ中から角膜反射を検出し、前のフレームにおける角膜反射が対象のフレームにおける角膜反射に一致するように前のフレームの同サイズの小ウィンドウをずらした上で、対象フレームの小ウィンドウ内の画像と差分して差分画像を生成する。さらに、画像処理部２７は、差分画像を対象に瞳孔を抽出し対象のフレームの顔画像上における瞳孔の位置（中心位置）を検出する。このような処理を繰り返すことにより、画像処理部２７は、毎フレームにおける顔画像上の瞳孔の位置を検出する。

【0045】

ここで、画像処理部２７は、差分位置補正時に、上述したように、瞳孔間距離が一定であると仮定して両瞳孔を１つの塊として追尾してもよいし、角膜球中心を瞳孔の代わりに追尾してもよいし、瞳孔のみでなく鼻孔も検出して、頭部姿勢のフレーム間での等速変動を仮定して瞳孔を追尾してもよい。さらには、特開２０１８－０９９１７４号公報に記載の手法を用いて、各眼球の眼球回転中心が等速運動することを仮定して、それを追尾してもよいし、両眼球の回転中心間距離を一定と仮定して追尾してもよい。また、画像処理部２７は、瞳孔の位置を検出する際には、位置補正後の画像を差分する以外に、特許5145555号に記載のように、画像を除算あるいは乗算等の他の演算により瞳孔位置を検出してもよい。

【0046】

以上説明した第１実施形態に係る顔画像処理装置１によれば、対象者Ｓｐの顔とそれとは独立したマーカーＭを撮像した顔画像を用いてカメラ５ａ，５ｂの位置を検出することにより、顔画像を取得した際のカメラ５ａ，５ｂの位置をズレが生じることなく検出することができる。そして、検出したカメラ５ａ，５ｂの位置を基に画像処理を実行することにより、カメラ５ａ，５ｂの位置が変化する場合であっても、対象者Ｓｐの画像を対象に、カメラ５ａ，５ｂの位置に基づいて高精度に画像処理を施すことができる。これは、顔画像を取得するカメラ自体によって、画像処理を行う対象である瞳孔、角膜反射等の特徴点と、マーカーとを同時に撮像することによって、完全な同時性が得られるからである。

【0047】

特に、顔画像処理装置１は、カメラ５ａ，５ｂの位置を制御するカメラ駆動系７をさらに備えている。かかる構成においては、対象者Ｓｐの動き或いは姿勢に応じて顔画像上に対象者の顔を確実に捉えることができる。さらに、対象者Ｓｐの位置あるいは姿勢に応じてカメラ５ａ，５ｂの位置を制御する場合に、対象者Ｓｐの画像を対象に、カメラ５ａ，５ｂの位置に基づいて高精度に画像処理を施すことができる。本実施形態のように、検査対象物Ｓｏの面積が大きく、対象者Ｓｐの動きが大きい場合において対象者Ｓｐの視線を確実に検出したい場合には、カメラに取り付けた光源の指向性を弱くし、広角カメラを用いることも考えられる。しかし、その場合、光源の指向性を弱くした分、光源のパワーが必要となり、カメラの視野角を広げれば広げるほど、小さな角膜反射等の特徴点を検出するために、カメラの分解能を高くしなければならず、制約が多くなる。ここで、カメラの視野角を広げるために、横に並べるカメラの台数を３台以上に増やして配置することも考えられるが、その場合でもカメラの撮影範囲は広がりにくい。特にカメラの近い距離では、２台のカメラで撮影できる範囲は得られにくい。３台のカメラを近づけて配置しても、一般に奥行き方向の三次元計測の精度が低下する結果、視線あるいは注視点の検出精度が大きく低下してしまう。これに対して、本実施形態では、そのような制約は生じない。

【0048】

また、顔画像処理装置１のコンピュータ９により、高精度に対象者Ｓｐの瞳孔の方向、距離、及び三次元位置を算出することができる。特に、コンピュータ９により、顔画像を対象にカメラの位置に基づいて差分位置補正の処理を行うことにより、高精度に対象者Ｓｐの特徴点の顔画像上の位置を検出することができる。例えば、カメラの位置が特に加速度を持って移動する場合は、顔画像に映る瞳孔画像が対象者Ｓｐの頭部の動きとはずれて撮影されるため、顔画像の各フレームでのカメラの位置あるいはカメラの台座の位置が把握できなければ、瞳孔の位置もしくは方向が正確にわからない。本実施形態では、カメラの動きに関わらず、瞳孔の位置あるいは方向を正確に検出でき、その結果、視線及び注視点を正確に検出することができる。

【0049】

本発明は、上述した実施形態に限定されるものではない。以下に、第１実施形態の変形例および他の実施形態の構成について説明する。

【0050】

［第１実施形態の変形例］
第１実施形態に係るコンピュータ９においては、画像処理部２７が画像処理として対象者Ｓｐの視線および注視点を検出していたが、このような画像処理には限定されず、瞳孔の三次元位置から対象者Ｓｐの頭部の動きを検出するようにしてもよいし、鼻孔の検出結果も併せて頭部姿勢を検出するようにしてもよい。この場合、画像処理部２７は、特許第４７６５００８号、あるいは、特許第４４３１７４９号に記載の手法を実行する機能を有する。

【0051】

また、第１実施形態に係る顔画像処理装置１は、対象者Ｓｐの顔画像をステレオカメラを用いて取得し、視線検出、瞳孔検出、あるいは頭部姿勢検出等を実行しているが、１台のカメラによって顔画像を取得してこれらの検出処理を実行するように構成されていてもよい。例えば、１台のカメラの画像を基に頭部姿勢を検出する手法は特許第４４３１７４９号に記載の手法を採用できる。

【0052】

また、第１実施形態に係る顔画像処理装置１は、カメラ駆動系７を用いてカメラ５ａ，５ｂの位置を変更するように構成されていたが、カメラ５ａ，５ｂの姿勢を変更するように構成されていてもよい。このような構成を採用すれば、対象者Ｓｐがカメラ５ａ，５ｂに対して大きく横方向を向いた場合に、顔画像で捉えられる角膜反射が白目における反射になって角膜反射の検出が不可能となる、あるいは、顔画像における瞳孔の形状が変形して視線検出精度が低下することを防止できる。

【0053】

図７には、変形例に係るカメラ駆動系２０７の構成を示している。このように、カメラ駆動系２０７は、台座７ａを、台座７ａ上の２台のカメラ５ａ，５ｂの中間点に設けられた回転軸２０７ａを中心に回転駆動するように構成されている。つまり、カメラ駆動系２０７は、カメラ５ａ，５ｂの姿勢を水平面に沿って回転させるように駆動する。このような構成の場合には、コンピュータ９のカメラ位置検出部２５は、次のようにして各カメラ５ａ，５ｂの位置Ｃｉ及び姿勢を検出する。すなわち、台座７ａの回転中心からカメラ５ａ，５ｂの位置がずれていることから、カメラ位置検出部２５は、カメラ較正時に特定された回転軸２０７ａからカメラピンホールまでの相対位置を利用して、台座７ａの回転角度および各カメラ５ａ，５ｂのピンホールの位置Ｃｉを計算する。より具体的には、カメラ５ａ，５ｂのピンホールを通る光軸は回転円の接線となっており、回転円の接線の方程式を用いることで台座７ａの回転角度が計算できる。水平方向にｘ軸及びｚ軸を仮定した場合に、半径ｄ_ｐの回転円の式は、下記式；
ｘ^２＋ｚ^２＝ｄ_ｐ ^２
によって与えられ、回転円上にある点Ｃ（ｘ_ｃ，ｚ_ｃ）を通る接線の方程式は、下記式；
ｘｘ_ｃ＋ｚｚ_ｃ＝ｄ_ｐ ^２
によって与えられる。カメラ位置検出部２５は、各カメラ５ａ，５ｂからマーカーＭへ向かう方向ベクトルが既知であるので、その方向ベクトルと顔画像上のマーカーＭの位置を基に各カメラ５ａ，５ｂの光軸の方向ベクトルを計算し、光軸の方向ベクトルと上記式で与えられる接線とが一致するという条件から点Ｃの座標を求め、その座標を各カメラ５ａ，５ｂのピンホールの位置Ｃｉとして得ることができる。さらに、カメラ位置検出部２５は、ピンホールの位置Ｃｉを基に、各カメラ５ａ，５ｂの回転角度を得ることができ、その回転角度から、各カメラ５ａ，５ｂの姿勢を取得することができる。

【0054】

この変形例では、コンピュータ９の画像処理部２７が、カメラ５ａ，５ｂの位置及び姿勢を用いて画像処理を実行することで、高精度の画像処理が実現できる。具体的には、カメラ５ａ，５ｂの位置及び姿勢の変化を反映した差分位置補正を行うことにより、カメラ５ａ，５ｂが高速で回転駆動される場合であっても、瞳孔の顔画像上の位置を高精度に検出できる。

【0055】

図８には、別の変形例に係るカメラ駆動系２５７の構成を示している。このように、カメラ駆動系２５７は、台座７ａ上において各カメラ５ａ，５ｂに設けられた回転軸２５７ａ，２５７ｂを中心に各カメラ５ａ，５ｂを独立に回転駆動するように構成されている。つまり、カメラ駆動系２５７は、カメラ５ａ，５ｂの姿勢を水平面に沿って回転させるように駆動することにより、その位置を変化させることなく姿勢のみ変化させる。このような構成の場合には、コンピュータ９のカメラ位置検出部２５は、各カメラ５ａ，５ｂからマーカーＭへ向かう方向ベクトルが既知であるので、その方向ベクトルと顔画像上のマーカーＭの位置を基に各カメラ５ａ，５ｂの光軸の方向ベクトルを計算し、その光軸の方向ベクトルを基に各カメラ５ａ，５ｂの姿勢を検出することができる。そして、コンピュータ９の画像処理部２７は、カメラ５ａ，５ｂの姿勢を用いて差分位置補正等の画像処理を実行することで、高精度の画像処理が実現できる。ただし、カメラ５ａ，５ｂのピンホールと回転軸２５７ａ，２５７ｂにずれがある場合には、図７に示した変形例の場合と同様にして、カメラ５ａ，５ｂの位置及び姿勢を検出し、それらを基に画像処理を実行することもできる。この変形例では、カメラ駆動系２５７を含む装置の奥行きが小さく構成できるという利点がある。

【0056】

［第２実施形態に係る画像観察システムの構成］
図９には、第２実施形態に係る画像観察システム３００の構成を示している。この画像観察システム３００は、観察者が遠隔地から観察者とは別の対象者の顔を観察するための画像処理システムである。この画像処理システムは、互いに遠隔地に存在する観察者と対象者との間のコミュニケーションシステムとしての用途が考えられる。図９に示すように、画像観察システム３００は、観察者Ｓｐ１側に配置される観察者検出用カメラ（光学系）３０５ａ、コンピュータ３０９ａ、及びディスプレイ装置（表示装置）３１１と、観察対象である対象者Ｓｐ２側に配置される顔画像処理装置３０１とを含んで構成される。顔画像処理装置３０１は、顔画像取得用カメラ３０５ｂ、カメラ駆動系３０７、及びコンピュータ（算出部）３０９ｂを含んでいる。これらのコンピュータ３０９ａ，３０９ｂは、図５に示したハードウェア構成と同様なハードウェア構成を有し、図示しない通信ネットワークを介して互いに画像データ等のデータを送受信可能に構成される。

【0057】

観察者検出用カメラ３０５ａは、カメラ５ａ，５ｂと同様な構成を有する固定配置されたビデオカメラであり、コンピュータ３０９ａからの命令に応じて、観察者Ｓｐ１の顔（頭部）を撮像して顔画像を出力する。コンピュータ３０９ａは、観察者検出用カメラ３０５ａから出力された顔画像を用いて、コンピュータ９と同様にして、フレーム毎に観察者Ｓｐ１の左右の瞳孔の位置（三次元座標）の中点座標及び観察者Ｓｐ１の顔姿勢を検出し、中点座標及び顔姿勢に関する情報をコンピュータ３０９ｂに送信する。加えて、コンピュータ３０９ａは、コンピュータ３０９ｂから受信された対象者Ｓｐ２が映った顔画像をディスプレイ装置３１１に表示させる機能も有する。このとき、コンピュータ３０９ａは、特開２０１７－０２６８９３号公報に記載の手法を用いて、対象者Ｓｐ２が映った顔画像を、観察者Ｓｐ１の顔姿勢に応じて、斜めから見ても正面から見たように映る画像に変換してからディスプレイ装置３１１に表示させてもよい。

【0058】

顔画像取得用カメラ３０５ｂは、対象者Ｓｐ２と対象者Ｓｐ２の背後の垂直面Ｓｖ上に二次元的に配置された複数のマーカーＭとを同時に撮影するビデオカメラである。顔画像取得用カメラ３０５ｂは、コンピュータ３０９ｂからの命令に応じて対象者Ｓｐ２及びマーカーＭを撮像し、その結果得られた顔画像をコンピュータ３０９ｂに出力する。

【0059】

カメラ駆動系３０７は、顔画像取得用カメラ３０５ｂをパンチルト可能に支持するパンチルト台３１９、顔画像取得用カメラ３０５ｂをパンチルト台３１９と一体に移動可能に支持するアクチュエータ３１３，３１５，３１７により構成される。このアクチュエータ３１３は、顔画像取得用カメラ３０５ｂを対象者Ｓｐ２側から見て左右方向に駆動し、アクチュエータ３１５は、顔画像取得用カメラ３０５ｂを対象者Ｓｐ２側から見て上下方向に駆動し、アクチュエータ３１７は、顔画像取得用カメラ３０５ｂを対象者Ｓｐ２側から見て前後方向に駆動する。パンチルト台３１９、及びアクチュエータ３１３，３１５，３１７は、コンピュータ３０９ｂからの命令に応じて、顔画像取得用カメラ３０５ｂの三次元位置及び姿勢を変化させるように駆動する。

【0060】

図１０に示すように、コンピュータ３０９ｂは、機能的構成要素として、カメラ駆動系制御部３２１、撮像制御部３２３、カメラ位置／姿勢検出部３２５、及び画像処理部３２７を備える。以下、コンピュータ３０９ｂの各構成要素の機能を説明する。

【0061】

カメラ駆動系制御部３２１は、対象者Ｓｐ２の顔画像の取得処理が開始されたことに応じて、コンピュータ３０９ａから受信された観察者Ｓｐ１の位置及び顔姿勢に関する情報を基に、顔画像取得用カメラ３０５ｂの三次元位置及び姿勢をそれらに対応するように、カメラ駆動系３０７の駆動を制御する。これにより、観察者Ｓｐ１があたかも対象者Ｓｐ２に対面しているような状態を仮想的に作り出してその状態に応じた顔画像を取得できる。具体的には、観察者Ｓｐ１が、頭部を動かすことによってディスプレイ装置３１１上に表示される対象者Ｓｐ２を別の距離及び角度で見ようとすると、それに相当する位置及び姿勢に変更されるようにカメラが制御される。

【0062】

撮像制御部３２３は、対象者Ｓｐ２の顔画像の取得処理が開始されたことに応じて、顔画像取得用カメラ３０５ｂによる対象者Ｓｐ２の顔画像の取得を開始するように制御する。また、撮像制御部３２３は、顔画像取得用カメラ３０５ｂによって取得されたフレーム毎の顔画像を、カメラ位置／姿勢検出部３２５及び画像処理部３２７に引き渡す。

【0063】

カメラ位置／姿勢検出部３２５は、顔画像取得用カメラ３０５ｂによって取得された顔画像上のマーカーＭの位置を基に、顔画像取得用カメラ３０５ｂの位置（三次元座標）及び姿勢をフレーム毎に検出する。具体的には、顔画像上において３個以上のマーカーＭの位置を検出し、それらのマーカーＭの間の距離が既知であることを利用して、特許第４４３１７４９号に記載の手法を応用して、顔画像取得用カメラ３０５ｂの位置及び姿勢を検出する。すなわち、上記特許に記載の手法では、カメラ座標系における互いの距離が既知の点の三次元座標を計算したが、この手法を応用して、三次元座標が既知の３個のマーカーＭの顔画像上の位置から、顔画像取得用カメラ３０５ｂの位置及び姿勢を導出することができる。

【0064】

画像処理部３２７は、カメラ位置／姿勢検出部３２５によって検出されたフレーム毎の顔画像取得用カメラ３０５ｂの位置及び姿勢を基に、顔画像取得用カメラ３０５ｂによって取得されたフレーム毎の顔画像に対して画像処理を施し、画像処理後の顔画像をコンピュータ３０９ａに送信する。具体的には、画像処理部３２７は、フレーム毎に次のような処理を実行する。すなわち、予め、顔画像上に検出される３点のマーカーＭの三次元座標を基に、対象者Ｓｐ２の中心及び向きを規定する三次元座標である視対象座標系が定義されている。そして、画像処理部３２７は、顔画像取得用カメラ３０５ｂの位置及び姿勢を基に、顔画像取得用カメラ３０５ｂの光軸の位置及び方向を基準にした三次元座標であるカメラ座標系を規定し、カメラ座標系における視対象座標系の位置及び姿勢を取得する。さらに、画像処理部３２７は、フレーム毎の顔画像を、顔画像取得用カメラ３０５ｂの光学中心から視対象座標系の中心に向かうベクトルがその顔画像取得用カメラ３０５ｂの光軸に一致したときの画像になるように変換することにより、その顔画像のブレを補正する。これにより、顔画像において対象者Ｓｐ２（視対象）の中心が画像の中心と一致し、視対象の像が歪んでいない顔画像が得られる。ここでは、顔画像取得用カメラ３０５ｂの光学中心から視対象座標系の中心に向かうベクトルを法線ベクトルとする平面を理想的な撮像面（理想画像面）と設定し、射影変換により顔画像を理想画像面に投影することにより、ブレが補正された顔画像が得られる。

【0065】

加えて、画像処理部３２７は、顔画像に次のような画像処理を加えてもよい。すなわち、理想画像面の中心座標と視対象座標系の中心座標とを基に、顔画像の拡大あるいは縮小の処理を行ってもよい。例えば、顔画像取得用カメラ３０５ｂの光学中心から理想画像面の中心までの距離をＺ_Ｉ、顔画像取得用カメラ３０５ｂの光学中心から視対象座標系の中心までの距離をＺ_Ｖとした場合に、透視投影モデルを適用して、顔画像をＺ_Ｖ／Ｚ_Ｉ倍に拡大あるいは縮小することにより顔画像を加工する。

【0066】

図１１には、コンピュータ３０９ｂの画像処理部３２７による処理前の顔画像と処理後の顔画像のイメージを示している。このように、顔画像取得用カメラ３０５ｂの駆動によって顔画像において対象者Ｓｐ２の像の大きさ、位置、姿勢などがブレて小さく写っていても、画像処理によってブレが補正されて適切な大きさの像を反映した画像に加工することができる。

【0067】

上記の画像観察システム３００によれば、観察者Ｓｐ１の頭部の位置及び姿勢に応じて顔画像取得用カメラ３０５ｂの位置及び姿勢が制御され、顔画像取得用カメラ３０５ｂによって取得された対象者Ｓｐ２の顔画像がディスプレイ装置３１１に表示される。この際、顔画像処理装置３０１によって、顔画像取得用カメラ３０５ｂの位置あるいは姿勢が検出され、顔画像取得用カメラ３０５ｂの位置あるいは姿勢を基に顔画像のブレが補正される。その結果、ブレが安定的に補正された対象者の顔を表示させることができる。

【0068】

また、顔画像処理装置３０１においては、顔画像取得用カメラ３０５ｂの位置あるいは姿勢を基に顔画像を拡大あるいは縮小を行ってからディスプレイ装置３１１に表示させている。このような構成により、対象者Ｓｐ２の顔を顔画像取得用カメラ３０５ｂの位置あるいは姿勢に応じた好適なサイズでディスプレイ装置３１１に表示させることができる。

【0069】

なお、上記第２実施形態の画像観察システム３００における視対象は、人の顔には限定されず、美術品を代表とする鑑賞物、商品等の様々な有体物であってもよい。図１２には、第２実施形態に係る画像観察システム３００における観察対象を美術品等の有体物Ｓｐ３に変更した場合の使用形態を示している。

【0070】

また、上記第２実施形態の画像観察システム３００においては、コンピュータ３０９ａが観察者検出用カメラ３０５ａから出力された顔画像を用いて観察者Ｓｐ１の視線ベクトルあるいはディスプレイ装置３１１上の注視点を検出し、その結果得られた検出情報をコンピュータ３０９ｂに送信してもよい。コンピュータ３０９ｂは、その検出情報を用いて顔画像取得用カメラ３０５ｂの三次元位置及び姿勢を制御してもよい。その結果、例えば、観察者Ｓｐ１がディスプレイ装置３１１上に表示された対象者Ｓｐ２の顔のある部分に視線を向けると、顔画像取得用カメラ３０５ｂが観察者Ｓｐ１の顔姿勢と対応するように制御される。その結果、顔画像取得用カメラ３０５ｂが観察者Ｓｐ１の視線あるいは注視点に対応した撮影方向で撮影した顔画像を観察者Ｓｐ１側に送信でき、観察者Ｓｐ１側では実際に実物を覗き込んだような対象者Ｓｐ２の顔画像を観察できる。この場合に、観察時に観察者Ｓｐ１の視線が頻繁に動いて、顔画像取得用カメラ３０５ｂが頻繁に動いても、本実施形態によればマーカーを利用してディスプレイ装置３１１の表示画像がぶれるのを抑えることができる。

【0071】

［第３実施形態に係る自動車用監視システムの構成］
図１３には、第３実施形態に係る瞳孔検出システムである自動車用監視システムを構成する顔画像処理装置４００の構成を示し、図１４には、顔画像処理装置４００に含まれる顔画像取得用ステレオカメラ４０５の配置状態を示している。この顔画像処理装置４００は、自動車の車内に設けられ、自動車のドライバーである対象者Ｓｐの視線、顔姿勢、又は眼の開閉状態を検出する装置群である。

【0072】

図１３に示すように、顔画像処理装置４００は、顔画像取得用ステレオカメラ４０５と、コンピュータ（算出部）４０９とを備える。顔画像取得用ステレオカメラ４０５は、第１実施形態の顔画像取得用ステレオカメラ５と同様な構成を有し、２台のカメラ４０５ａ，４０５ｂを備え、それらのカメラ４０５ａ，４０５ｂが、それらの光軸を対象者Ｓｐに向けるように、対象者Ｓｐが操作する可動物体であるステアリングホイール（ハンドル）Ｈの中央部に埋め込んで設けられる。コンピュータ４０９は、自動車内に設けられた図５に示すハードウェア構成を有するコンピュータであり、第２実施形態に係る撮像制御部３２３、カメラ位置／姿勢検出部３２５、及び第１実施形態に係る画像処理部２７と同様な機能部を有する。また、自動車の社内の天井あるいは座席のヘッドレスト等のカメラ４０５ａ，４０５ｂの視野に常に収まるような位置には複数のマーカーＭが設けられる。このマーカーＭは１つであってもよいが、画像処理の精度の観点からは複数設けられることが好ましい。

【0073】

コンピュータ４０９は、ステアリングホイールの回転に伴って変化する各カメラ４０５ａ，４０５ｂの位置及び姿勢を、得られた顔画像上のマーカーＭの位置に基づいて検出し、その検出結果を利用して各カメラ４０５ａ，４０５ｂで得られた顔画像に差分位置補正を施すことによって、対象者Ｓｐの瞳孔位置あるいは瞳孔形状を取得する。これは、自動車においてステアリングホイールＨが回転すると、各カメラ４０５ａ，４０５ｂにおいて回転と並進移動が生じ、それに応じて各カメラ４０５ａ，４０５ｂに映る顔画像に回転と並進移動が生じるために、正しい瞳孔位置あるいは瞳孔形状を得るためにはそれを反映する必要があるからである。また、各カメラ４０５ａ，４０５ｂにおいて回転と並進移動が生じると、顔画像上で角膜反射と瞳孔中心とを結ぶベクトルｒの位置及び方向にも変化が生じる。例えば、コンピュータ４０９は、差分位置補正を行う際には、第１実施形態と同様にして、現在のフレームの顔画像中の瞳孔位置を予測して小ウィンドウを設定し、その小ウィンドウ内で角膜反射を検出し、前のフレームでの角膜反射位置が現在のフレームでの角膜反射位置と一致するように、顔画像上のベクトルｒの回転角度に相当する角度で前のフレームの小ウィンドウ内の画像の所定の一部を回転させながらずらした後に、その所定の一部の画像について前のフレームと現在のフレームとで差分する。一方、コンピュータ４０９は、第１実施形態と同様にして、鼻孔（鼻孔間中点）あるいは頭部姿勢を利用して差分位置補正を行ってもよい。

【0074】

上記形態の自動車用監視システムによれば、カメラ４０５ａ，４０５ｂの位置がステアリングホイールの回転により変化する場合であっても、対象者Ｓｐの顔画像を対象に、カメラ４０５ａ，４０５ｂの位置及び姿勢に基づいて画像処理を施すことにより、高精度にドライバーの瞳孔位置、視線、顔姿勢、あるいは瞳孔形状を基にした眼の開閉状態等を検出することができる。

【0075】

特に、自動車用監視システムのコンピュータ４０９は、カメラ４０５ａ，４０５ｂの位置及び姿勢の変化を反映した顔画像の差分処理によって対象者の瞳孔の顔画像上の位置あるいは形状を検出している。この場合、対象者Ｓｐの顔画像を対象に、高精度に対象者Ｓｐの瞳孔の顔画像上の位置あるいは形状を検出することができる。

【0076】

また、自動車用監視システムの顔画像取得用ステレオカメラ４０５は、ステアリングホイールに設けられているので、ハンドルコラム、コンソール等に設ける場合と比較して計測できる内容の可能性を広げることができる。特に、ステアリングホイールの向こう側のコンソールなどにカメラを取り付けた場合は、カメラと対象者の瞳孔の間に、運転者がステアリングホイールを回した際など、ハンドルコラムあるいは運転者の腕などが介在することになり、例えば、ハンドルコラムに顔が隠れたり、光源の光が反射して画像を乱す等が生じ、連続的に乱れのない理想的な顔画像を取得する妨げになると課題がある。本実施例では、例えば、ハンドルコラムよりも低い位置から対象者Ｓｐを見上げるような位置にカメラ４０５ａ，４０５ｂを設けることができ、対象者Ｓｐの鼻孔の検出が容易になり、鼻孔が検出できると、２個の瞳孔と鼻孔間中点を１つの塊として追跡できるために、動きの速い頭部運動に対してもロバストに顔姿勢を追跡することができる。結果的に、ロバストな瞳孔検出、さらには、正確な視線検出も可能となる。特に、カメラ４０５ａ，４０５ｂのビデオレートが遅い場合にはこのような効果が大きくなる。一方で、自動車内のステアリングホイールに設けられるカメラの位置及び姿勢を検出するには、自動車内の制御装置から出力される操舵角度を示すステアリング信号を利用することも考えられるが、このような信号にはノイズが含まれていたり遅延が生じるため、画像処理の精度が低くなる。これに対して、本実施形態では、顔画像で同時検出されるマーカーＭを利用しているので、そのような問題も解決できる。

【0077】

ここで、第３実施形態に係る瞳孔検出システムは、自動車での用途には限定されず、対象者が操作する可動物体を備える装置におけるシステムとしても応用できる。例えば、他の種類の乗り物、操作シミュレータ、遊技機、ゲーム機器、遠隔操作卓等の機器に応用できる。

【0078】

なお、上記第１～第３実施形態で撮像するマーカーＭとしては、実際に個別に設置されたマーカーである必要はない。例えば、顔画像に含まれる背景画像からマーカーとみなせるような特徴点を抽出して、それをマーカーとして認識してもよい。

【符号の説明】

【0079】

１，３０１，４００…顔画像処理装置、５，４０５…顔画像取得用ステレオカメラ、３０５ｂ…顔画像取得用カメラ、５ａ，５ｂ，４０５ａ，４０５ｂ…カメラ、７，２０７，２５７，３０７…カメラ駆動系、９，３０９ｂ，４０９…コンピュータ（算出部）、３００…画像観察システム、３０５ａ…観察者検出用カメラ（光学系）、３１１…ディスプレイ装置（表示装置）、Ｈ…ステアリングホイール（ハンドル）、Ｓｐ，Ｓｐ２…対象者、Ｓｐ１…観察者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】