特許 7354761 距離推定装置、距離推定方法及び距離推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-25

(45)【発行日】2023-10-03

(54)【発明の名称】距離推定装置、距離推定方法及び距離推定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230926BHJP

   G06T 7/60 20170101ALI20230926BHJP

【ＦＩ】

G06T7/00 660A

G06T7/60 180B

【請求項の数】 15

(21)【出願番号】P 2019192727

(22)【出願日】2019-10-23

(65)【公開番号】P2021068161

(43)【公開日】2021-04-30

【審査請求日】2022-08-17

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(74)【代理人】

【識別番号】100179213

【弁理士】

【氏名又は名称】山下 未知子

(74)【代理人】

【識別番号】100170542

【弁理士】

【氏名又は名称】桝田 剛

(72)【発明者】

【氏名】西行 健太

(72)【発明者】

【氏名】日向 匡史

(72)【発明者】

【氏名】田▲崎▼ 博

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１０－１５７０７３（ＪＰ，Ａ）

【文献】特開２００３－０５２０３９（ＪＰ，Ａ）

【文献】特開２０１０－２１７２３１（ＪＰ，Ａ）

【文献】特開２００６－１８９３８１（ＪＰ，Ａ）

【文献】特開２０１６－００９２５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得する取得部と、
取得された前記撮像画像において、前記対象者の顔のうち目の写る目領域を検出する目検出部と、
検出された前記目領域から第１対象領域を注目領域として抽出する抽出部と、
抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する距離推定部と、
を備え、
前記抽出部は、検出された前記目領域のうち前記対象者の白目の写る白目領域から前記第１対象領域を抽出する、
距離推定装置。

【請求項2】

前記目領域を検出することは、前記目領域内で前記目の輪郭及び瞳孔を検出することを含み、
前記第１対象領域を抽出することは、
検出された前記目の輪郭及び瞳孔の位置から前記白目領域を特定すること、及び
特定された前記白目領域から前記第１対象領域を抽出すること、
により構成される、
請求項１に記載の距離推定装置。

【請求項3】

前記対象者の目が第１遮蔽物により遮蔽されているか否かを判定する第１判定部を更に備え、
前記対象者の目が前記第１遮蔽物に遮蔽されていないと判定される場合に、
前記目検出部は、取得された前記撮像画像において、前記目領域を検出し、
前記抽出部は、検出された前記目領域から前記第１対象領域を前記注目領域として抽出し、
前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する、
請求項１または２に記載の距離推定装置。

【請求項4】

取得された前記撮像画像において、前記対象者の前記顔のうち肌の写る肌領域を特定する肌特定部を更に備え、
前記対象者の目が前記第１遮蔽物に遮蔽されていると判定される場合に、
前記抽出部は、前記第１対象領域の抽出を省略し、特定された前記肌領域から第２対象領域を前記注目領域として抽出し、
前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する、
請求項３に記載の距離推定装置。

【請求項5】

前記第２対象領域を抽出することは、
前記肌領域から複数の候補領域を抽出すること、
抽出された前記各候補領域の画素値の平均値を算出すること、
算出された平均値により前記各候補領域をソートすること、及び
ソートされた前記複数の候補領域の列から中央付近の候補領域を前記第２対象領域として抽出すること、
により構成される、
請求項４に記載の距離推定装置。

【請求項6】

前記抽出部は、特定された前記肌領域のうちの口角近傍領域であって、前記対象者の口よりも外側でかつ頬の中央よりも口角寄りの口角近傍領域から前記第２対象領域を抽出する、
請求項４又は５に記載の距離推定装置。

【請求項7】

前記対象者の口の周囲が第２遮蔽物により遮蔽されているか否かを判定する第２判定部を更に備え、
前記対象者の口の周囲が前記第２遮蔽物に遮蔽されていないと判定される場合に、
前記抽出部は、前記口角近傍領域から前記第２対象領域を前記注目領域として抽出し、
前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する、
請求項６に記載の距離推定装置。

【請求項8】

前記対象者の口の周囲が前記第２遮蔽物に遮蔽されていると判定される場合に、
前記抽出部は、前記口角近傍領域からの抽出を省略し、特定された前記肌領域のうち前記対象者の額の写る額領域から前記第２対象領域を前記注目領域として抽出し、
前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する、
請求項７に記載の距離推定装置。

【請求項9】

前記距離を推定することは、
前記注目領域内の画素値のヒストグラムを算出すること、
距離に応じて予め得られた参照用ヒストグラムと算出された前記ヒストグラムとを比較すること、及び
比較の結果に基づいて、前記距離を導出すること、
により構成される、
請求項１から８のいずれか１項に記載の距離推定装置。

【請求項10】

前記光源から照射される前記光は近赤外線である、
請求項１から９のいずれか１項に記載の距離推定装置。

【請求項11】

前記対象者は、車両を運転する運転者である、
請求項１から１０のいずれか１項に記載の距離推定装置。

【請求項12】

前記対象者は、工場の製造ラインで作業する作業者である、
請求項１から１０のいずれか１項に記載の距離推定装置。

【請求項13】

コンピュータが、
光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得するステップと、
取得された前記撮像画像において、前記対象者の顔のうち目の写る目領域を検出するステップと、
検出された前記目領域から第１対象領域を注目領域として抽出するステップと、
抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定するステップと、
を実行し、
前記抽出するステップは、検出された前記目領域のうち前記対象者の白目の写る白目領域から前記第１対象領域を抽出する、
距離推定方法。

【請求項14】

コンピュータに、
光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得するステップと、
取得された前記撮像画像において、前記対象者の顔のうち目の写る目領域を検出するステップと、
検出された前記目領域から第１対象領域を注目領域として抽出するステップと、
抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定するステップと、
を実行させ、
前記抽出するステップにおいて、前記コンピュータに、検出された前記目領域のうち前記対象者の白目の写る白目領域から前記第１対象領域を抽出させる、
距離推定プログラム。

【請求項15】

光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得する取得部と、
取得された前記撮像画像において、前記対象者の前記顔のうち肌の写る肌領域を特定する肌特定部と、
特定された前記肌領域から対象領域を抽出する抽出部と、
抽出された前記対象領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する距離推定部と、
を備え、
前記対象領域を抽出することは、
前記肌領域から複数の候補領域を抽出すること、
抽出された前記各候補領域の画素値の平均値を算出すること、
算出された平均値により前記各候補領域をソートすること、及び
ソートされた前記複数の候補領域の列から中央付近の候補領域を前記対象領域として抽出すること、
により構成される、
距離推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離推定装置、距離推定方法及び距離推定プログラムに関する。

【背景技術】

【0002】

従来、対象者の顔の写る撮像画像から、実世界における対象者の顔の位置、すなわち、対象者の顔までの距離を推定する技術が開発されている。対象者の顔までの距離を推定する当該技術は、例えば、運転者の状態を推定する場面、製造ラインで作業する作業者の状態を推定する場面等、様々な場面に利用可能である。また、対象者の顔までの距離を推定する目的も様々である。

【0003】

一例として、特許文献１では、運転者の状態を推定するために、運転者の頭部（顔）までの距離を推定する推定装置が提案されている。具体的に、特許文献１で提案されている推定装置は、運転者を撮像する撮像部及び運転者の顔に光を照射する照射部を備える。推定装置は、照射部から光が照射されたときに撮像部により撮像された第１の画像、及び照射部から光が照射されていないときに撮像部により撮像された第２の画像を取得する。推定装置は、第１の画像中の運転者の顔の明るさと第２の画像中の運転者の顔の明るさとの比に基づいて、運転者の頭部から撮像部までの距離を推定する。これにより、運転者の顔領域の中心位置を検出しなくても、運転者の顔までの距離を推定することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１５１９３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１に例示される従来の方法では、撮像画像に写る顔の明るさに基づいて、対象者の顔までの距離を推定する。本件発明者らは、この従来の方法には、次のような問題点があることを見出した。すなわち、対象者の顔には、化粧等の装飾が施される場合がある。また、対象者の顔には、髪の毛、眉毛、まつ毛、髭等の毛の生えた領域が存在する。この装飾及び毛は、光の反射に影響を及ぼす。例えば、白い化粧が施された領域は、光の反射率が向上する。一方、毛の生えた領域は、光の反射率が低下する。したがって、これらの領域の明るさ（すなわち、画素値）は、その顔の位置で本来得られるはずの明るさとは異なる可能性がある。これに起因して、これらの領域の明るさに基づいて対象者の顔までの距離の推定を実施した場合に、推定精度が悪化してしまう可能性がある。

【0006】

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、対象者の顔までの距離を推定する精度の向上を図るための技術を提供することである。

【課題を解決するための手段】

【0007】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0008】

すなわち、本発明の一側面に係る距離推定装置は、光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得する取得部と、取得された前記撮像画像において、前記対象者の顔のうち目の写る目領域を検出する目検出部と、検出された前記目領域から第１対象領域を注目領域として抽出する抽出部と、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する距離推定部と、を備える。

【0009】

当該構成に係る距離推定装置では、対象者の顔に向けて光源から光を照射し、対象者の顔より反射された光を撮像装置で撮像する。この撮像により得られた撮像画像において、対象者の顔のうち目の写る目領域を検出し、検出された目領域内から注目領域を抽出する。そして、抽出された注目領域内の画素値に基づいて、対象者の顔までの距離を推定する。化粧等の装飾を目に施すことは困難である。また、目には毛が生えることはない。そのため、目領域内の画素値であれば、顔に施された装飾及び顔に生えた毛の影響を殆ど受けることなく、対象者の顔までの距離を評価可能である。したがって、当該構成によれば、対象者の顔までの距離を推定する精度の向上を図ることができる。

【0010】

なお、光源の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。光源は、例えば、ＬＥＤ（light emitting diode）、ハロゲンランプ等であってよい。光源から照射される光は、例えば、近赤外線（波長：０．７５μｍ～１．４μｍ）、可視光線（３８０ｎｍ～７５０ｎｍ）等の帯域の光であってよい。撮像装置は、光源から照射された光が対象物に当たり、対象物で反射された光を撮像するように構成される。撮像装置の種類は、特に限定されなくてもよく、光源の種類に応じて適宜選択されてよい。光源及び撮像装置は、別個に用意されてもよいし、或いは一体化された撮像システムとして用意されてよい。撮像システムの構成に応じて、撮像装置は、例えば、撮像部、撮像素子、撮像光学系等と読み替えられてよい。

【0011】

上記一側面に係る距離推定装置において、前記抽出部は、検出された前記目領域のうち前記対象者の白目の写る白目領域から前記第１対象領域を抽出してもよい。目領域のうち白目領域は、瞳の色等の対象者の属性に影響を受け難い。そのため、当該構成によれば、対象者の属性に影響を受けて、対象者の顔までの距離を推定する精度が悪化するのを避けることができ、これにより、当該推定の精度の向上を図ることができる。

【0012】

上記一側面に係る距離推定装置において、前記目領域を検出することは、前記目領域内で前記目の輪郭及び瞳孔を検出することを含んでよい。前記第１対象領域を抽出することは、検出された前記目の輪郭及び瞳孔の位置から前記白目領域を特定すること、及び特定された前記白目領域から前記第１対象領域を抽出すること、により構成されてよい。白目領域は、目の輪郭と瞳孔との間に位置する。当該構成によれば、様々な状態の目から白目領域を容易に特定することができる。

【0013】

上記一側面に係る距離推定装置は、前記対象者の目が第１遮蔽物により遮蔽されているか否かを判定する第１判定部を更に備えてよい。前記対象者の目が前記第１遮蔽物に遮蔽されていないと判定される場合に、前記目検出部は、取得された前記撮像画像において、前記目領域を検出してもよく、前記抽出部は、検出された前記目領域から前記第１対象領域を前記注目領域として抽出してもよく、前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定してもよい。

【0014】

遮蔽物により目が遮蔽されていると、目領域を適切に検出できなかったり、目領域の画素値が遮蔽物の影響を受けてしまったりすることで、上記一連の処理による距離の推定に誤りが生じる可能性がある。当該構成では、遮蔽物（第１遮蔽物）により目が遮蔽されているか否かを判定する。そして、遮蔽物により目が遮蔽されていないと判定される場合に、上記一連の処理による距離の推定を実施する。これにより、当該構成によれば、遮蔽物に目が遮蔽されていることに起因する推定の誤りの発生を防止することができる。

【0015】

なお、遮蔽物により目が遮蔽されていると判定される場合の処理は任意でよい。例えば、上記一連の処理による距離の推定を省略してもよいし、或いは目領域以外の他の領域から得られる画素値に基づいて、対象者の顔までの距離を推定してもよい。第１遮蔽物は、目の少なくとも一部を覆うものであれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第１遮蔽物は、例えば、眼鏡、サングラス、アイマスク、眼帯等であってよい。ただし、列挙されたこれらの物のうち、距離の推定に影響の少ない物（例えば、レンズが透明な眼鏡）は第１遮蔽物から省かれてよい。

【0016】

上記一側面に係る距離推定装置は、取得された前記撮像画像において、前記対象者の前記顔のうち肌の写る肌領域を特定する肌特定部を更に備えてよい。前記対象者の目が前記第１遮蔽物に遮蔽されていると判定される場合に、前記抽出部は、前記第１対象領域の抽出を省略し、特定された前記肌領域から第２対象領域を前記注目領域として抽出してもよく、前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定してもよい。当該構成によれば、目領域の画素値に基づいて適切に距離推定を実施するのが困難である場合に、目領域以外の他の領域（肌領域）の画素値に基づいて、対象者の顔までの距離の推定を実施することができる。

【0017】

上記一側面に係る距離推定装置において、前記第２対象領域を抽出することは、前記肌領域から複数の候補領域を抽出すること、抽出された前記各候補領域の画素値の平均値を算出すること、算出された平均値により前記各候補領域をソートすること、及びソートされた前記複数の候補領域の列から中央付近の候補領域を前記第２対象領域として抽出すること、により構成されてよい。

【0018】

肌領域の画素値に基づいて、対象者の顔までの距離を推定する場合、上記のとおり、顔に施された装飾及び顔に生えた毛の少なくとも一方に影響を受ける可能性がある。基本的には、化粧等の装飾の影響を受けると画素値が高くなり、毛の影響を受けると画素値が低くなる。そこで、当該構成では、画素値の平均値で複数の候補領域をソートし、ソートされた列の中央付近の候補領域を対象領域として選択する。これにより、顔に施された装飾及び顔に生えた毛の影響が比較的に少ない領域を対象領域として抽出することができる。したがって、当該構成によれば、対象者の顔までの距離の推定に肌領域を利用する場合でも、当該推定の精度の向上を図ることができる。

【0019】

なお、「中央付近」の候補領域を選択することは、ソートされた列の先頭及び最後尾の候補領域を除いて、中央寄りの候補領域を選択することである。中央寄りの候補領域は、ソートされた列の真に中央の候補領域であることが望ましいが、当該真に中央の候補領域に限られなくてもよい。ソートされた列の中央周辺の範囲から中央寄りの候補領域が選択されてよい。

【0020】

上記一側面に係る距離推定装置において、前記抽出部は、特定された前記肌領域のうちの口角近傍領域であって、前記対象者の口よりも外側でかつ頬の中央よりも口角寄りの口角近傍領域から前記第２対象領域を抽出してもよい。口の上下の領域には髭が生えている可能性がある。頬の中央には化粧が施されている可能性が高い。一方で、経験的に、口角近傍領域には、髭が生えておらず、化粧等の装飾が施されていない（或いは装飾の程度が低い）可能性が高い。当該構成によれば、この口角近傍領域から画素値を取得することで、装飾及び毛の影響を避けることができる。これにより、対象者の顔までの距離を推定する精度の向上を図ることができる。

【0021】

上記一側面に係る距離推定装置は、前記対象者の口の周囲が第２遮蔽物により遮蔽されているか否かを判定する第２判定部を更に備えてもよい。前記対象者の口の周囲が前記第２遮蔽物に遮蔽されていないと判定される場合に、前記抽出部は、前記口角近傍領域から前記第２対象領域を前記注目領域として抽出し、前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定してもよい。

【0022】

遮蔽物により口の周囲が遮蔽されていると、口角近傍領域から肌の画素値が得られず、これにより、口角近傍領域を利用した上記一連の処理による距離の推定に誤りが生じる可能性がある。当該構成では、遮蔽物（第２遮蔽物）により対象者の口の周囲が遮蔽されているか否かを判定する。そして、遮蔽物により口の周囲が遮蔽されていないと判定される場合に、口角近傍領域を利用した上記一連の処理による距離の推定を実施する。これにより、当該構成によれば、遮蔽物により口の周囲が遮蔽されていることに起因する推定の誤りの発生を防止することができる。

【0023】

なお、第２遮蔽物により口の周囲が遮蔽されていると判定される場合の処理は任意でよい。例えば、口角近傍領域を利用した上記一連の処理による距離の推定を省略してもよいし、或いは口角近傍領域以外の更に他の領域から得られる画素値に基づいて、対象者の顔までの距離を推定してもよい。第２遮蔽物は、口を含む領域の少なくとも一部を覆うものであれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第２遮蔽物は、例えば、マスク等であってよい。

【0024】

上記一側面に係る距離推定装置において、前記対象者の口の周囲が前記第２遮蔽物に遮蔽されていると判定される場合に、前記抽出部は、前記口角近傍領域からの抽出を省略し、特定された前記肌領域のうち前記対象者の額の写る額領域から前記第２対象領域を前記注目領域として抽出してもよく、前記距離推定部は、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定してもよい。当該構成によれば、口角近傍領域から肌の画素値を得るのが困難である場合に、口角近傍領域以外の更に他の領域（額領域）から得られる画素値に基づいて、対象者の顔までの距離の推定を実施することができる。また、経験的に、額領域には、化粧等の装飾が施されておらず、毛が生えていない可能性が高い。当該構成によれば、この額領域から画素値を取得することで、装飾及び毛の影響を避けることができる。これにより、対象者の顔までの距離を推定する精度の向上を図ることができる。

【0025】

上記一側面に係る距離推定装置において、前記距離を推定することは、前記注目領域内の画素値のヒストグラムを算出すること、距離に応じて予め得られた参照用ヒストグラムと算出された前記ヒストグラムとを比較すること、及び比較の結果に基づいて、前記距離を導出すること、により構成されてよい。当該構成によれば、ヒストグラムの算出及び比較という比較的に簡単な処理により、対象者の顔までの距離の推定を実現することができる。これにより、当該距離の推定の情報処理のコストを低減し、比較的に性能の低いコンピュータでも当該距離の推定を実施することができる。

【0026】

上記一側面に係る距離推定装置において、前記光源から照射される前記光は近赤外線であってよい。当該構成によれば、可視光による外乱の影響を避けて、対象者の顔までの距離の推定を実施することができる。したがって、対象者の顔までの距離を推定する精度の向上を図ることができる。

【0027】

上記一側面に係る距離推定装置において、前記対象者は、車両を運転する運転者であってよい。当該構成によれば、運転者の状態を観測する場面で、運転者の顔までの距離を推定する精度の向上を図ることができる。これにより、当該運転者の状態を観測する性能の向上を期待することができる。

【0028】

上記一側面に係る距離推定装置において、前記対象者は、工場の製造ラインで作業する作業者であってよい。当該構成によれば、製造ラインで作業する作業者の状態を観測する場面で、作業者の顔までの距離を推定する精度の向上を図ることができる。これにより、当該作業者の状態を観測する性能の向上を期待することができる。

【0029】

なお、上記各形態に係る距離推定装置によれば、目領域及び肌領域（口角近傍領域、額領域）の各領域から得られた画素値に基づいて、対象者の顔までの距離を推定することができる。いずれかの領域から画素値を得て、対象者の顔までの距離の推定する部分を抽出して、別の形態に係る距離推定装置を構成してもよい。

【0030】

例えば、本発明の一側面に係る距離推定装置は、光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得する取得部と、取得された前記撮像画像において、前記対象者の前記顔のうち肌の写る肌領域を特定する肌特定部と、特定された前記肌領域から対象領域を抽出する抽出部と、抽出された前記対象領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定する距離推定部と、を備える。前記対象領域を抽出することは、前記肌領域から複数の候補領域を抽出すること、抽出された前記各候補領域の画素値の平均値を算出すること、算出された平均値により前記各候補領域をソートすること、及びソートされた前記複数の候補領域の列から中央付近の候補領域を前記対象領域として抽出すること、により構成される。当該構成によれば、対象者の顔までの距離の推定に肌領域を利用する場合でも、当該推定の精度の向上を図ることができる。

【0031】

上記各形態に係る距離推定装置の別の態様として、本発明の一側面は、以上の距離推定装置の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等が読み取り可能な記憶媒体であってもよい。コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

【0032】

例えば、本発明の一側面に係る距離推定方法は、コンピュータが、光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得するステップと、取得された前記撮像画像において、前記対象者の顔のうち目の写る目領域を検出するステップと、検出された前記目領域から第１対象領域を注目領域として抽出するステップと、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定するステップと、を実行する、情報処理方法である。

【0033】

また、例えば、本発明の一側面に係る距離推定プログラムは、コンピュータに、光源から対象者の顔に向けて光を照射し、当該対象者の顔より反射された光を撮像装置により撮像することで生成された撮像画像を取得するステップと、取得された前記撮像画像において、前記対象者の顔のうち目の写る目領域を検出するステップと、検出された前記目領域から第１対象領域を注目領域として抽出するステップと、抽出された前記注目領域内の画素値に基づいて、前記対象者の前記顔までの距離を推定するステップと、を実行させるための、プログラムである。

【発明の効果】

【0034】

本発明によれば、対象者の顔までの距離を推定する精度の向上を図ることができる。

【図面の簡単な説明】

【0035】

【図1】図１は、本発明が適用される場面の一例を模式的に例示する。

【図2】図２は、実施の形態に係る距離推定装置のハードウェア構成の一例を模式的に例示する。

【図3】図３は、実施の形態に係る距離推定装置のソフトウェア構成の一例を模式的に例示する。

【図4A】図４Ａは、実施の形態に係る距離推定装置の処理手順の一例を例示する。

【図4B】図４Ｂは、実施の形態に係る距離推定装置の処理手順の一例を例示する。

【図5】図５は、実施の形態に係る距離推定装置による第１対象領域の抽出に関するサブルーチンの処理手順の一例を例示する。

【図6】図６は、実施の形態に係る距離推定装置による第２対象領域の抽出に関するサブルーチンの処理手順の一例を例示する。

【図7】図７は、実施の形態に係る第２対象領域の抽出場面の一例を模式的に例示する。

【図8】図８は、実施の形態に係る距離推定装置による注目領域内の画素値に基づく対象者の顔までの距離の推定に関するサブルーチンの処理手順の一例を例示する。

【図9】図９は、実施の形態に係る距離推定の処理過程の一例を模式的に例示する。

【図10A】図１０Ａは、本発明が適用される他の場面の一例を模式的に例示する。

【図10B】図１０Ｂは、本発明が適用される他の場面の一例を模式的に例示する。

【図11】図１１は、実施の形態に係る距離推定装置の変形例を模式的に例示する。

【発明を実施するための形態】

【0036】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

【0037】

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る距離推定装置１の適用場面の一例を模式的に例示する。本実施形態に係る距離推定装置１は、撮像装置３１及び光源３２を備える撮像システム３に接続されており、対象者Ｒの顔Ｆまでの距離を推定するように構成されたコンピュータである。

【0038】

具体的には、まず、本実施形態に係る距離推定装置１は、光源３２から対象者Ｒの顔Ｆに向けて光を照射し、当該対象者Ｒの顔Ｆより反射された光を撮像装置３１により撮像することで生成された撮像画像５０を取得する。対象者Ｒは、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。次に、本実施形態に係る距離推定装置１は、取得された撮像画像５０において、対象者Ｒの顔Ｆのうち目の写る目領域５５を検出し、検出された目領域５５から対象領域６１を注目領域として抽出する。そして、本実施形態に係る距離推定装置１は、抽出された注目領域内の画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定する。

【0039】

以上のとおり、本実施形態に係る距離推定装置１は、上記一連の処理により、撮像画像５０において検出された目領域５５内の対象領域６１を注目領域として抽出し、抽出された注目領域内の画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定する。化粧等の装飾を目に施すことは困難である。また、目には毛が生えることはない。そのため、目領域５５内の画素値であれば、顔Ｆに施された装飾及び顔Ｆに生えた毛の影響を殆ど受けることなく、対象者Ｒの顔Ｆまでの距離を評価可能である。したがって、本実施形態に係る距離推定装置１によれば、対象者Ｒの顔までの距離を推定する精度の向上を図ることができる。

【0040】

§２ 構成例
［ハードウェア構成］
次に、図２を用いて、本実施形態に係る距離推定装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る距離推定装置１のハードウェア構成の一例を模式的に例示する。

【0041】

図２に示されるとおり、本実施形態に係る距離推定装置１は、制御部１１、記憶部１２、通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６、及びドライブ１７が電気的に接続されたコンピュータである。なお、図２では、通信インタフェース及び外部インタフェースを「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

【0042】

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、距離推定プログラム８１、参照データ１２１等の各種情報を記憶する。

【0043】

距離推定プログラム８１は、対象者Ｒの顔までの距離を推定するための後述の情報処理（図４Ａ及び図４Ｂ）を距離推定装置１に実行させるためのプログラムである。距離推定プログラム８１は、当該情報処理の一連の命令を含む。参照データ１２１は、被験者の顔までの距離に応じて予め得られた画素値に関する情報を示す。参照データ１２１は、注目領域内の画素値に基づく距離の推定に利用される。詳細は後述する。

【0044】

通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。距離推定装置１は、この通信インタフェース１３を利用することで、ネットワークを介したデータ通信を他の情報処理装置と行うことができる。

【0045】

外部インタフェース１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１４の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、距離推定装置１は、外部インタフェース１４を介して、撮像装置３１及び光源３２を備える撮像システム３に直接的に接続されている。これにより、本実施形態に係る距離推定装置１は、光源３２から光を照射し、撮像装置３１により撮像画像を生成するように撮像システム３を制御することができる。

【0046】

光源３２の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。光源３２は、例えば、ＬＥＤ、ハロゲンランプ等であってよい。光源３２から照射される光は、例えば、近赤外線（波長：０．７５μｍ～１．４μｍ）、可視光線（３８０ｎｍ～７５０ｎｍ）等の帯域の光であってよい。撮像装置３１は、光源３２から照射された光が対象物に当たり、対象物で反射された光を撮像するように構成される。撮像装置３１の種類は、特に限定されなくてもよく、光源３２の種類に応じて適宜選択されてよい。撮像装置３１には、例えば、ＲＧＢ画像を取得するよう構成された一般的なデジタルカメラ、赤外線量を画像化するように構成された赤外線カメラ等であってよい。

【0047】

一例として、近赤外線の光を照射するよう構成された光源が光源３２として選択されてよい。これに応じて、近赤外線の光を画像化するように構成された撮像装置が撮像装置３１として選択されてよい。これにより、可視光による外乱の影響を避けて、対象者Ｒの顔までの距離の推定を実施することができる。そのため、対象者Ｒの顔までの距離を推定する精度の向上を期待することができる。

【0048】

撮像装置３１及び光源３２は、対象者Ｒの顔Ｆが存在すると仮定される範囲に向けて光源３２より光を照射し、対象者Ｒの顔Ｆより反射された光を撮像装置３１で受光するように適宜配置される。撮像装置３１及び光源３２の具体的な配置は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。

【0049】

なお、撮像システム３との接続方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜変更されてよい。例えば、撮像システム３が通信インタフェースを備える場合、距離推定装置１は、通信インタフェース１３を介して、撮像システム３に接続されてもよい。加えて、撮像システム３は、コントローラ等の他のコンピュータに接続されてよい。この場合、撮像システム３は、他のコンピュータにより、光源３２から光を照射し、撮像装置３１により撮像画像を生成するように制御されてよい。本実施形態に係る距離推定装置１は、通信インタフェース１３又は外部インタフェース１４により、他のコンピュータを介して撮像システム３に間接的に接続されてよい。

【0050】

また、撮像システム３の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。撮像システム３の構成に応じて、撮像装置３１は、例えば、撮像部、撮像素子、撮像光学系等と読み替えられてよい。本実施形態では、撮像装置３１及び光源３２は、一体化された撮像システム３として用意される。しかしながら、撮像装置３１及び光源３２の構成は、このような例に限定されなくてもよい。撮像装置３１及び光源３２は、別個に用意されてもよい。

【0051】

入力装置１５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置１５及び出力装置１６を利用することで、距離推定装置１を操作することができる。

【0052】

ドライブ１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記距離推定プログラム８１及び参照データ１２１の少なくともいずれかは、この記憶媒体９１に記憶されていてもよい。

【0053】

記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。距離推定装置１は、この記憶媒体９１から、上記距離推定プログラム８１及び参照データ１２１の少なくともいずれかを取得してもよい。

【0054】

ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

【0055】

なお、距離推定装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６及びドライブ１７の少なくともいずれかは省略されてもよい。距離推定装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、距離推定装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ、携帯電話、スマートフォン等であってもよい。

【0056】

［ソフトウェア構成］
次に、図３を用いて、本実施形態に係る距離推定装置１のソフトウェア構成の一例について説明する。図３は、本実施形態に係る距離推定装置１のソフトウェア構成の一例を模式的に例示する。

【0057】

距離推定装置１の制御部１１は、記憶部１２に記憶された距離推定プログラム８１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された距離推定プログラム８１に含まれる命令をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図３に示されるとおり、本実施形態に係る距離推定装置１は、取得部１１１、顔検出部１１２、第１判定部１１３、目検出部１１４、第２判定部１１５、肌特定部１１６、抽出部１１７、距離推定部１１８、及び出力部１１９をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、距離推定装置１の各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。

【0058】

取得部１１１は、光源３２から対象者Ｒの顔Ｆに向けて光を照射し、当該対象者Ｒの顔Ｆより反射された光を撮像装置３１により撮像することで生成された撮像画像５０を取得する。顔検出部１１２は、取得された撮像画像５０において、対象者Ｒの顔Ｆの写る顔領域５１を検出する。第１判定部１１３は、対象者Ｒの目が第１遮蔽物Ｚ１により遮蔽されているか否かを判定する。

【0059】

第１遮蔽物Ｚ１は、目の少なくとも一部を覆うものであれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第１遮蔽物Ｚ１は、例えば、眼鏡、サングラス、アイマスク、眼帯等であってよい。ただし、列挙されたこれらの物のうち、距離の推定に影響の少ない物（例えば、レンズが透明な眼鏡）は第１遮蔽物Ｚ１から省かれてよい。

【0060】

対象者Ｒの目が第１遮蔽物Ｚ１により遮蔽されていないと判定される場合に、目検出部１１４は、取得された撮像画像５０（顔領域５１）において、対象者Ｒの顔Ｆのうち目の写る目領域５５を検出し、抽出部１１７は、検出された目領域５５から対象領域６１を注目領域として抽出する。対象領域６１は、本発明の「第１対象領域」の一例である。

【0061】

本実施形態では、抽出部１１７は、検出された目領域５５のうち対象者Ｒの白目の写る白目領域５５７から対象領域６１を抽出する。白目領域５５７を抽出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。抽出方法の一例として、目領域５５を検出することは、目領域５５内で目の輪郭５５１及び瞳孔５５２を検出することを含んでもよい。検出方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。図３では、ポイント５５３は、目の輪郭５５１の検出点を例示し、ポイント５５４は、瞳孔５５２の検出点を例示する。更に、対象領域６１を抽出することは、検出された目の輪郭５５１及び瞳孔５５２の位置から白目領域５５７を特定すること、及び特定された白目領域５５７から対象領域６１を抽出すること、により構成されてよい。

【0062】

一方、対象者Ｒの目が第１遮蔽物Ｚ１により遮蔽されていると判定される場合、上記目領域５５の検出及び対象領域６１の抽出は省略されてよい。本実施形態では、この場合に、肌特定部１１６が、取得された撮像画像５０において、対象者Ｒの顔Ｆのうち肌の写る肌領域５３を特定する。抽出部１１７は、特定された肌領域５３から対象領域６２を注目領域として抽出する。対象領域６２は、本発明の「第２対象領域」の一例である。

【0063】

対象領域６２は、肌領域５３内の任意の場所から抽出されてよい。本実施形態では、対象領域６２を抽出する場所として、口角近傍領域５７及び額領域５９のうちのいずれかを選択することができる。具体的に、第２判定部１１５は、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されているか否かを判定する。第２遮蔽物Ｚ２は、口を含む領域の少なくとも一部を覆うものであれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第２遮蔽物Ｚ２は、例えば、マスク等であってよい。

【0064】

対象者Ｒの口の周囲が第２遮蔽物Ｚ２に遮蔽されていないと判定される場合、抽出部１１７は、特定された肌領域５３のうちの口角近傍領域５７であって、対象者Ｒの口よりも外側でかつ頬の中央よりも口角寄りの口角近傍領域５７から対象領域６２を注目領域として抽出する。他方、対象者Ｒの口の周囲が第２遮蔽物Ｚ２に遮蔽されていると判定される場合、抽出部１１７は、口角近傍領域５７からの抽出を省略し、特定された肌領域５３のうち対象者Ｒの額の写る額領域５９から対象領域６２を注目領域として抽出する。

【0065】

距離推定部１１８は、抽出された注目領域（対象領域６１又は対象領域６２）内の画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定する。出力部１１９は、対象者Ｒの顔Ｆまでの距離を推定した結果に関する情報を出力する。

【0066】

距離推定装置１の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、距離推定装置１の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、距離推定装置１それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

【0067】

§３ 動作例
次に、図４Ａ及び図４Ｂを用いて、距離推定装置１の動作例について説明する。図４Ａ及び図４Ｂは、本実施形態に係る距離推定装置１による距離推定に関する処理手順の一例を示すフローチャートである。以下で説明する処理手順は、対象者Ｒの顔Ｆまでの距離を推定するための距離推定方法の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0068】

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、取得部１１１として動作し、光源３２から対象者Ｒの顔Ｆに向けて光を照射し、当該対象者Ｒの顔Ｆより反射された光を撮像装置３１により撮像することで生成された撮像画像５０を取得する。

【0069】

本実施形態では、距離推定装置１は、外部インタフェース１４を介して、撮像システム３に接続されている。そのため、距離推定装置１は、撮像システム３から撮像画像５０を直接的に取得することができる。一例として、制御部１１は、対象者Ｒの顔Ｆに向けて光を照射するように光源３２を制御する。そして、制御部１１は、光源３２から照射され、対象者Ｒの顔Ｆで反射された光を受光することで撮像画像５０を生成するように撮像装置３１を制御する。これにより、制御部１１は、撮像装置３１から撮像画像５０を取得することができる。撮像画像５０は、動画像であってもよいし、静止画像であってもよい。

【0070】

なお、撮像画像５０を取得する経路は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、撮像システム３は、距離推定装置１とは異なる他の情報処理装置に接続されていてもよい。この場合、制御部１１は、他の情報処理装置を介して撮像画像５０を取得してもよい。撮像画像５０を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

【0071】

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、顔検出部１１２として動作し、取得された撮像画像５０において、対象者Ｒの顔Ｆの写る顔領域５１を検出する。顔領域５１を検出すると、制御部１１は、次のステップＳ１０３に処理を進める。

【0072】

なお、顔領域５１を検出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。顔領域５１は、任意の画像解析により検出されてよい。画像解析には、顔領域５１を検出するように構成された顔検出器が用いられてよい。顔検出器は、例えば、パターンマッチング、エッジ検出、特徴量の算出等の公知の画像処理により顔領域５１を検出するように構成されてもよい。或いは、顔検出器には、機械学習により、顔領域５１を検出するように訓練された学習済みの顔検出モデルが用いられてよい。この場合、顔検出モデルには、ニューラルネットワーク等の公知の機械学習モデルが用いられてよい。ニューラルネットワークにより顔検出モデルを構成する場合、当該ニューラルネットワークの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。検出モデルには、全結合型ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等が用いられてよい。後述する他のモデルに関しても同様である。また、機械学習モデルを構成する方法には、アダブースト（Adaptive Boosting）等の公知の方法が採用されてよい。

【0073】

学習済みの顔検出モデルを生成する方法の一例として、様々な条件（位置、角度等）で被験者の顔の写る撮像画像を収集し、被験者の顔の写る領域を示す正解情報を得られた撮像画像に関連付けることで学習データセットを生成する。そして、生成された学習結果データを利用した機械学習を実施することで、撮像画像を入力すると、正解情報に適合する出力値を出力するように顔検出モデルを訓練する。機械学習の方法には、例えば、誤差逆伝播法等の公知の方法が採用されてよい。これにより、顔領域５１の検出に利用可能な学習済みの顔検出モデルを生成することができる。

【0074】

顔検出モデルの入力形式は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、顔検出モデルは、撮像画像そのものの入力を受け付けるように構成されてもよいし、或いは何らかの情報処理により撮像画像を変換することで得られた情報（例えば、画像の特徴量）の入力を受け付けるように構成されてよい。顔検出モデルは、撮像画像以外の情報の入力を更に受け付けるように構成されてよい。また、顔検出モデルの出力形式は、出力される情報の少なくとも一部により顔領域５１を特定可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。顔検出モデルから出力される情報には、顔領域５１に関する情報以外の他の情報が含まれてもよい。顔検出モデルから出力される顔領域５１の検出結果に関する情報は任意の形式で表現されてよい。

【0075】

また、顔検出器は、顔領域５１を直接的に検出するように構成されてもよい。或いは、顔検出器は、顔領域５１を間接的に検出するように構成されてもよい。一例として、顔検出器は、顔の輪郭、器官（例えば、目、鼻、口、眉、耳等）の位置等の、顔領域５１の検出に利用可能な顔の特徴を推定するように構成されてよい。この場合、制御部１１は、顔検出器を利用して、撮像画像５０に写る顔の特徴の推定を実行する。そして、制御部１１は、顔検出器により得られた顔の特徴の推定結果に基づいて、顔領域５１を検出することができる。

【0076】

（ステップＳ１０３及びステップＳ１０４）
ステップＳ１０３では、制御部１１は、第１判定部１１３として動作し、検出された顔領域５１に写る対象者Ｒの目が第１遮蔽物Ｚ１により遮蔽されている（すなわち、対象者Ｒの目の存在する範囲に第１遮蔽物Ｚ１が存在する）か否かを判定する。

【0077】

ステップＳ１０４では、制御部１１は、ステップＳ１０３の判定結果に基づいて、処理の分岐先を決定する。ステップＳ１０３において、対象者Ｒの目が第１遮蔽物Ｚ１により遮蔽されていないと判定した場合、制御部１１は、ステップＳ１１１に処理を進めて、目領域５５から対象領域６１を抽出するための処理を実行する。一方、対象者Ｒの目が第１遮蔽物Ｚ１により遮蔽されていると判定した場合、制御部１１は、対象領域６１を抽出するための処理を省略する。この場合、制御部１１は、ステップＳ１２１に処理を進めて、目領域５５の代わりに肌領域５３から対象領域６２を抽出するための処理を実行する。

【0078】

なお、対象者Ｒの目の存在する範囲に第１遮蔽物Ｚ１が存在するか否かを判定する方法は、上記顔領域５１を検出する方法と同様に、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。任意の画像解析により、第１遮蔽物Ｚ１が存在するか否か判定されてよい。画像解析には、第１遮蔽物Ｚ１が存在するか否かを判定するように構成された第１判定器が用いられてよい。第１判定器は、例えば、パターンマッチング、エッジ検出、特徴量の算出等の公知の画像処理により、第１遮蔽物Ｚ１が存在するか否かを判定するように構成されてもよい。或いは、第１判定器には、機械学習により、第１遮蔽物Ｚ１が存在するか否かを判定するように訓練された学習済みの第１判定モデルが用いられてよい。この場合、第１判定モデルには、ニューラルネットワーク等の公知の機械学習モデルが用いられてよい。また、機械学習モデルを構成する方法には、アダブースト等の公知の方法が採用されてよい。

【0079】

学習済みの第１判定モデルを生成する方法の一例として、様々な条件（位置、角度、第１遮蔽物Ｚ１の有無等）で被験者の顔の写る顔画像を収集し、第１遮蔽物Ｚ１が存在するか否かを示す正解情報を得られた顔画像に関連付けることで学習データセットを生成する。そして、生成された学習結果データを利用した機械学習を実施することで、顔画像を入力すると、正解情報に適合する出力値を出力するように第１判定モデルを訓練する。これにより、第１遮蔽物Ｚ１が存在するか否かの判定に利用可能な学習済みの第１判定モデルを生成することができる。なお、上記顔検出モデルと同様に、第１判定モデルの入力及び出力の形式は、特に限られなくてもよく、実施の形態に応じて適宜決定されてよい。

【0080】

＜Ａ－１．第１遮蔽物が存在しないと判定されたケース＞
（ステップＳ１１１）
ステップＳ１１１では、制御部１１は、目検出部１１４として動作し、検出された顔領域５１において、対象者Ｒの顔Ｆのうち目の写る目領域５５を検出する。

【0081】

検出された目領域５５には、対象者Ｒの目の少なくとも一部が含まれていればよい。また、目領域５５を検出する形態は、対象者Ｒの両目のうちの少なくとも一方に関する目領域５５が検出されるのであれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。図３に例示されるように、制御部１１は、対象者Ｒの両目各々の目領域５５を別個に検出してもよい。或いは、制御部１１は、対象者Ｒの両目のうちのいずれか一方のみの目領域５５を検出してもよい。或いは、制御部１１は、対象者Ｒの両目の写る一つの領域を目領域５５として検出してもよい。

【0082】

目領域５５を検出する方法は、上記顔領域５１を検出する方法等と同様に、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。目領域５５は、任意の画像解析により検出されてよい。画像解析には、目領域５５を検出するように構成された目検出器が用いられてよい。目検出器は、上記顔検出器と同様に構成されてよい。すなわち、目検出器は、例えば、パターンマッチング、エッジ検出、特徴量の算出等の公知の画像処理により、目領域５５を検出するように構成されてもよい。或いは、目検出器には、機械学習により、目領域５５を検出するように訓練された学習済みの目検出モデルが用いられてよい。この場合、目検出モデルには、ニューラルネットワーク等の公知の機械学習モデルが用いられてよい。また、機械学習モデルを構成する方法には、アダブースト等の公知の方法が採用されてよい。

【0083】

学習済みの目検出モデルを生成する方法の一例として、様々な条件（位置、角度等）で被験者の顔の写る顔画像を収集し、被験者の目の写る領域を示す正解情報を得られた顔画像に関連付けることで学習データセットを生成する。そして、生成された学習結果データを利用した機械学習を実施することで、顔画像を入力すると、正解情報に適合する出力値を出力するように目検出モデルを訓練する。これにより、目領域５５の検出に利用可能な学習済みの目検出モデルを生成することができる。なお、目検出モデルの入力及び出力の形式は、上記顔検出モデル等と同様に、特に限られなくてもよく、実施の形態に応じて適宜決定されてよい。

【0084】

本実施形態では、目領域５５を検出することは、目領域５５内で目の輪郭５５１及び瞳孔５５２を検出することを含む。図３の例では、目の輪郭５５１及び瞳孔５５２それぞれを検出した結果が、各ポイント（５５３、５５４）により表現されている。ただし、目の輪郭５５１及び瞳孔５５２を検出した結果の表現方法は、輪郭５５１及び瞳孔５５２それぞれの位置を特定可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。目領域５５を検出すると、制御部１１は、次のステップＳ１１２に処理を進める。

【0085】

（ステップＳ１１２）
ステップＳ１１２では、制御部１１は、抽出部１１７として動作し、検出された目領域５５のうち対象者Ｒの白目の写る白目領域５５７から対象領域６１を注目領域として抽出する。対象領域６１は、第１対象領域の一例である。目のうち白目の範囲は、強膜の存在する範囲に相当する。この白目の写る白目領域５５７から対象領域６１を抽出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、制御部１１は、以下の処理により、ステップＳ１１１における目の輪郭５５１及び瞳孔５５２の検出結果を利用して、白目領域５５７から対象領域６１を抽出する。

【0086】

図５は、対象領域６１の抽出処理に関するサブルーチンの処理手順の一例を示すフローチャートである。本実施形態に係るステップＳ１１２の処理は、以下のステップＳ２０１及びステップＳ２０２の処理を含む。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0087】

ステップＳ２０１では、制御部１１は、目の輪郭５５１及び瞳孔５５２の検出結果に基づいて、白目領域５５７の範囲を特定する。白目は、目の輪郭及び瞳孔の間に存在する。そのため、制御部１１は、検出された目の輪郭５５１及び瞳孔５５２の間の全領域又は少なくとも一部の領域を白目領域５５７として特定してもよい。目の輪郭５５１及び瞳孔５５２の検出結果を利用することで、対象者Ｒの目の開閉状態が変化しても、白目領域５５７の範囲を適切に特定することができる。白目領域５５７の範囲を特定すると、制御部１１は、次のステップＳ２０２に処理を進める。

【0088】

ステップＳ２０２では、制御部１１は、特定された白目領域５５７の範囲から対象領域６１を抽出する。対象領域６１として抽出する領域の位置及び範囲は、白目領域５５７内で任意に決定されてよい。また、抽出する領域のサイズは、特に限定されなくてもよく、１つ以上の画素を含むように実施の形態に応じて適宜決定されてよい。抽出する領域の位置、範囲及びサイズはそれぞれ、オペレータにより指定されてもよいし、或いは距離推定プログラム８１内の設定値により決定されてもよい。

【0089】

なお、ステップＳ１１１において、両目の目領域５５を検出している場合、制御部１１は、両目のうちの少なくとも一方の白目領域５５７から対象領域６１を抽出してよい。また、ステップＳ１１１において、両目の目領域５５を検出している場合、及び片目のみの目領域５５を検出している場合のいずれの場合でも、制御部１１は、白目領域５５７から複数の領域を抽出してもよい。そして、制御部１１は、抽出された複数の領域から対象領域６１を取得してもよい。一例として、制御部１１は、抽出された複数の領域を合成（加算平均）することにより、対象領域６１を導出してもよい。或いは、制御部１１は、抽出された各領域の画素値（例えば、平均値、中央値等）により各領域をソートし、ソートされた複数の領域の列から中央付近の領域を対象領域６１として選択してもよい。中央付近の範囲は、ソートされた列の先頭及び最後尾を除いた範囲から適宜設定されてよい。若しくは、制御部１１は、白目領域５５７から１つの領域を抽出し、抽出された領域を対象領域６１として取得してもよい。

【0090】

対象領域６１の抽出が完了すると、制御部１１は、ステップＳ１１２の抽出処理に関するサブルーチンの処理を終了する。これにより、制御部１１は、白目領域５５７から対象領域６１を注目領域として抽出することができる。注目領域を抽出すると、制御部１１は、次のステップＳ１３１に処理を進める。

【0091】

＜Ａ－２．第１遮蔽物が存在すると判定されたケース＞
（ステップＳ１２１）
図４Ｂに示されるように、ステップＳ１２１では、制御部１１は、肌特定部１１６として動作し、検出された顔領域５１において、対象者Ｒの顔Ｆのうち肌の写る肌領域５３を特定する。肌領域５３を特定すると、制御部１１は、次のステップＳ１２２に処理を進める。

【0092】

なお、肌領域５３は、任意の方法で特定されてよい。例えば、肌領域５３は、顔領域５１内で予め規定されてもよい。この場合、制御部１１は、予め定められた規則に従って、検出された顔領域５１内で肌領域５３を特定することができる。また、例えば、制御部１１は、上記顔領域５１の検出等と同様に、特徴検出器を利用することで、顔領域５１において、顔の輪郭、器官の位置等の顔の特徴を検出してもよい。特徴検出器は、上記顔検出器等と同様に構成されてよい。すなわち、特徴検出器は、例えば、パターンマッチング、エッジ検出、特徴量の算出等の公知の画像処理により、顔の特徴を検出するように構成されてよい。或いは、特徴検出器には、機械学習により、顔の特徴を検出するように訓練された学習済みの特徴検出モデルが用いられてよい。上記学習済みの目検出モデルを生成する方法において、学習データセットの正解情報を、被験者の顔の特徴の真値を示す正解情報に置き換える。その他は同様の手順により、顔の特徴を検出するのに利用可能な学習済みの特徴検出モデルを生成することができる。この場合、制御部１１は、特徴検出器により検出された顔の特徴の位置に基づいて、肌領域５３の範囲を特定することができる。例えば、制御部１１は、顔の輪郭内の範囲であって、口、鼻孔、眉、髪の毛等を避けた範囲を肌領域５３として特定することができる。

【0093】

また、肌領域５３を特定することは、対象者Ｒの顔の肌が写り得る範囲を制限することにより構成されてよく、撮像画像５０に対象者Ｒの顔の肌が真に写っているか否かを特定することまで要求されなくてもよい。これに応じて、ステップＳ１２１の肌領域５３を特定する処理は、独立した処理として明示的に実行されなくてもよく、肌の写り得る範囲を制限する他の処理に含まれてもよい。本実施形態では、肌の写り得る範囲を制限する他の処理は、上記ステップＳ１０２の顔領域５１を検出する処理、後述するステップＳ１２４内の口角近傍領域５７において対象領域６２の位置を特定する処理、及び後述するステップＳ１２５内の額領域５９において対象領域６２の位置を特定する処理である。これらのうちのいずれかの処理の実行が、ステップＳ１２１の処理の実行とみなされてもよい。

【0094】

（ステップＳ１２２及びステップＳ１２３）
ステップＳ１２２では、制御部１１は、第２判定部１１５として動作し、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されている（すなわち、対象者Ｒの口の存在する範囲に第２遮蔽物Ｚ２が存在する）か否かを判定する。

【0095】

ステップＳ１２３では、制御部１１は、ステップＳ１２２の判定結果に基づいて、処理の分岐先を決定する。ステップＳ１２２において、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されていないと判定した場合、制御部１１は、ステップＳ１２４に処理を進めて、口角近傍領域５７から対象領域６２を抽出するための処理を実行する。一方、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されていると判定した場合、制御部１１は、口角近傍領域５７から対象領域６２を抽出するための処理を省略する。この場合、制御部１１は、ステップＳ１２５に処理を進めて、口角近傍領域５７の代わりに額領域５９から対象領域６２を抽出するための処理を実行する。

【0096】

なお、対象者Ｒの口の存在する範囲に第２遮蔽物Ｚ２が存在するか否かを判定する方法は、上記第１遮蔽物Ｚ１が存在するか否かを判定する方法と同様に、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。任意の画像解析により、第２遮蔽物Ｚ２が存在するか否か判定されてよい。画像解析には、第２遮蔽物Ｚ２が存在するか否かを判定するように構成された第２判定器が用いられてよい。第２判定器は、上記第１判定器等と同様に構成されてよい。すなわち、第２判定器は、例えば、パターンマッチング、エッジ検出、特徴量の算出等の公知の画像処理により、第２遮蔽物Ｚ２が存在するか否かを判定するように構成されてもよい。或いは、第２判定器には、機械学習により、第２遮蔽物Ｚ２が存在するか否かを判定するように訓練された学習済みの第２判定モデルが用いられてよい。この場合、第２判定モデルには、ニューラルネットワーク等の公知の機械学習モデルが用いられてよい。また、機械学習モデルを構成する方法には、アダブースト等の公知の方法が採用されてよい。上記学習済みの第１判定モデルを生成する方法において、学習データセットの正解情報を、第２遮蔽物Ｚ２が存在するか否かを示す正解情報に置き換える。その他は同様の手順により、第２遮蔽物Ｚ２が存在するか否かの判定に利用可能な学習済みの第２判定モデルを生成することができる。なお、第２判定モデルの入力及び出力の形式は、上記各モデルと同様に、特に限られなくてもよく、実施の形態に応じて適宜決定されてよい。

【0097】

（ステップＳ１２４）
ステップＳ１２４では、制御部１１は、抽出部１１７として動作し、肌領域５３のうちの口角近傍領域５７から対象領域６２を注目領域として抽出する。対象領域６２は、第２対象領域の一例である。口角近傍領域５７は、対象者Ｒの顔Ｆの左右少なくとも一方について、対象者Ｒの口よりも外側でかつ頬の中央よりも口角寄りの範囲に位置する。図３及び後述する図７の例では、対象者Ｒの顔Ｆの左右それぞれに口角近傍領域５７が示されているが、いずれか一方は省略されてよい。本実施形態において対象領域６２を抽出する具体的な方法の一例については後述する。口角近傍領域５７から対象領域６２を注目領域として抽出すると、制御部１１は、次のステップＳ１３１に処理を進める。

【0098】

（ステップＳ１２５）
ステップＳ１２５では、制御部１１は、抽出部１１７として動作し、肌領域５３のうち対象者Ｒの額の写る額領域５９から対象領域６２を注目領域として抽出する。額領域５９は、額の存在する範囲の少なくとも一部を含むように、例えば、眉の上部、眉間周囲等の範囲から適宜設定されてよい。ステップＳ１２５の処理は、肌領域５３において対象領域６２を抽出する範囲が相違する点を除き、上記ステップＳ１２４の処理と同様であってよい。額領域５９から対象領域６２を注目領域として抽出すると、制御部１１は、次のステップＳ１３１に処理を進める。

【0099】

（第２対象領域の抽出処理）
次に、図６及び図７を更に用いて、ステップＳ１２４及びステップＳ１２５それぞれにおいて対象領域６２を抽出する方法の一例について説明する。図６は、対象領域６２の抽出処理に関するサブルーチンの処理手順の一例を示すフローチャートである。図７は、ステップＳ１２４において、口角近傍領域５７から対象領域６２を抽出する場面の一例を模式的に例示する。ステップＳ１２４及びステップＳ１２５それぞれにおける対象領域６２を抽出する処理は、以下のステップＳ２２１～Ｓ２２４の処理を含む。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0100】

ステップＳ２２１では、制御部１１は、肌領域５３から複数の候補領域６２０を抽出する。上記ステップＳ１２４の処理としてステップＳ２２１の処理を実行する場合には、図７に例示されるように、制御部１１は、口角近傍領域５７から複数の候補領域６２０を抽出する。一方、上記ステップＳ１２５の処理としてステップＳ２２１の処理を実行する場合には、制御部１１は、額領域５９から複数の候補領域６２０を抽出する。

【0101】

各候補領域６２０として抽出する領域の位置及び範囲は、任意の方法で決定されてよい。例えば、抽出する領域の位置及び範囲は、各領域（５７、５９）に関連する顔の特徴の位置を基準にして予め定められてもよい。口角近傍領域５７に関連する顔の特徴は、例えば、口、口角、頬等であってよい。額領域５９に関連する顔の特徴は、例えば、眉間、眉、前髪等であってよい。この場合、制御部１１は、検出器を利用することで、顔領域５１において、関連する顔の特徴を検出してもよい。関連する顔の特徴を検出する方法は、上記と同様であってよい。検出器は、上記特徴検出器と同様に構成されてよい。そして、制御部１１は、予め定められた規則に従って、検出された関連する顔の特徴の位置に基づき各候補領域６２０として抽出する領域の位置及び範囲を特定してもよい。抽出する領域のサイズは、特に限定されなくてもよく、１つ以上の画素を含むように実施の形態に応じて適宜決定されてよい。抽出する領域の位置、範囲及びサイズはそれぞれ、オペレータにより指定されてもよいし、或いは距離推定プログラム８１内の設定値により決定されてもよい。同様に、候補領域６２０として抽出する領域の数も、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。複数の候補領域６２０を抽出すると、制御部１１は、次のステップＳ２２２に処理を進める。

【0102】

ステップＳ２２２では、制御部１１は、抽出された各候補領域６２０の画素値の平均値を算出する。ステップＳ２２３では、制御部１１は、算出された平均値により各候補領域６２０をソートする。ソートの順序は、降順及び昇順のいずれであってもよい。ステップＳ２２４では、制御部１１は、ソートされた複数の候補領域６２０の列から中央付近の候補領域６２０を対象領域６２として選択（抽出）する。

【0103】

中央付近の候補領域６２０を選択することは、ソートされた列の先頭及び最後尾の候補領域６２０を除いて、中央寄りの候補領域６２０を選択することであってよい。図７の例では、ステップＳ２２１の処理により、口角近傍領域５７から６つの候補領域６２０が抽出されている。そして、ステップＳ２２２の処理により、各候補領域６２０の画素値の平均値が「２００」、「２１２」、「２２２」、「２３０」、「２３１」、及び「２３６」と算出されている。この場面において、制御部１１は、最小値（２００）から３番目の候補領域６２０（平均値が２２２）を対象領域６２として選択している。このように、中央寄りの候補領域６２０は、ソートされた列の真に中央の候補領域６２０又はその近傍であることが望ましい。ただし、中央寄りの候補領域６２０は、このような例に限られなくてもよく、真に中央の候補領域６２０及び近傍に限られなくてもよい。ソートされた列の中央周辺の範囲から中央寄りの候補領域６２０が対象領域６２として適宜選択されてよい。

【0104】

対象領域６２の選択が完了すると、制御部１１は、対象領域６２の抽出処理に関するサブルーチンの処理を終了する。これにより、制御部１１は、各領域（５７、５９）から対象領域６２を注目領域として抽出することができる。注目領域を抽出すると、制御部１１は、次のステップＳ１３１に処理を進める。

【0105】

なお、複数の候補領域６２０から対象領域６２を選択する方法は、上記の例に限られなくてもよく、実施の形態に応じて適宜変更されてよい。例えば、上記ステップＳ２２２及びステップＳ２２３では、平均値に代えて中央値が用いられてもよい。また、上記ステップＳ１２４及びステップＳ１２５のいずれか一方では、制御部１１は、上記以外の方法により、対象領域６２を抽出してもよい。例えば、制御部１１は、複数の候補領域６２０を抽出するのではなく、１つの領域を抽出し、抽出された領域をそのまま対象領域６２として取得してもよい。

【0106】

＜Ｂ．注目領域を抽出した後の処理＞
（ステップＳ１３１）
図４Ａに示されるように、ステップＳ１３１では、制御部１１は、距離推定部１１８として動作し、抽出された注目領域（対象領域６１又は対象領域６２）内の画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定する。

【0107】

対象者Ｒの顔Ｆに対する距離の基準の位置は、任意に選択されてよい。制御部１１は、例えば、撮像装置３１の位置、光源３２の位置、又はその他任意の位置を基準として対象者Ｒの顔Ｆまでの距離を推定してもよい。反対に、制御部１１は、対象者Ｒの顔Ｆの位置を基準として、撮像装置３１の位置、光源３２の位置、又はその他任意の位置までの距離を推定してもよい。

【0108】

対象者Ｒの顔Ｆが撮像装置３１及び光源３２の少なくとも一方に近い位置に存在するほど、注目領域内の画素値が高くなり得る。他方、対象者Ｒの顔Ｆが撮像装置３１及び光源３２の少なくとも一方に遠い位置に存在するほど、注目領域内の画素値が低くなり得る。制御部１１は、この観点に基づいて、注目領域内の画素値から対象者Ｒの顔Ｆまでの距離を推定してよい。本実施形態では、制御部１１は、以下の処理により、対象者Ｒの顔Ｆまでの距離を推定する。

【0109】

ここで、図８及び図９を更に用いて、注目領域内の画素値に基づき対象者Ｒの顔Ｆまでの距離を推定する方法の一例について説明する。図８は、当該距離推定に関するサブルーチンの処理手順の一例を示すフローチャートである。図９は、当該距離推定の処理過程の一例を模式的に例示する。本実施形態に係るステップＳ１３１の処理は、以下のステップＳ３０１～ステップＳ３０３の処理を含む。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0110】

ステップＳ３０１では、制御部１１は、注目領域内の画素値のヒストグラム６５を算出する。図９に示されるとおり、ステップＳ１１２により白目領域５５７から注目領域を抽出している場合、制御部１１は、抽出された対象領域６１の画素値のヒストグラムを算出する。一方、ステップＳ１２４又はステップＳ１２５により肌領域５３から注目領域を抽出している場合、制御部１１は、抽出された対象領域６２の画素値のヒストグラムを算出する。ヒストグラム６５を算出すると、制御部１１は、次のステップＳ３０２に処理を進める。

【0111】

ステップＳ３０２では、制御部１１は、距離に応じて予め得られた参照用ヒストグラム１２５と算出されたヒストグラム６５とを比較する。本実施形態では、各参照用ヒストグラム１２５は参照データ１２１に含まれている。制御部１１は、参照データ１２１を参照することで、各距離に応じて得られた参照用ヒストグラム１２５を取得する。そして、制御部１１は、取得された各参照用ヒストグラム１２５と注目領域のヒストグラム６５とを比較する。ヒストグラムの比較には、バタチャリヤ（Bhattacharyya）距離等の公知の方法が採用されてよい。各参照用ヒストグラム１２５と算出されたヒストグラム６５とを比較すると、制御部１１は、次のステップＳ３０３に処理を進める。

【0112】

なお、各参照用ヒストグラム１２５は、撮像システム３と同種の撮像システムを利用して、様々な距離で被験者の顔を撮像することで得られた撮像画像から適宜生成することができる。図９の例では、参照用ヒストグラム１２５は、１０ｃｍ毎に得られている。しかしながら、参照用ヒストグラム１２５を生成する距離の間隔は、このような例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。

【0113】

ステップＳ３０３では、制御部１１は、比較の結果に基づいて、対象者Ｒの顔Ｆまでの距離を推定する。一例として、制御部１１は、上記比較により、注目領域のヒストグラム６５に最も類似する（例えば、バタチャリヤ距離の最も短い）参照用ヒストグラム１２５を特定してもよい。そして、制御部１１は、特定した参照用ヒストグラム１２５に対応付けられている距離を対象者Ｒの顔Ｆまでの推定距離として採用してもよい。この場合、制御部１１は、両ヒストグラム（６５、１２５）の間の誤差に応じて、推定距離を補正してもよい。これにより、対象者Ｒの顔Ｆまでの距離を推定することができる。対象者Ｒの顔Ｆまでの距離の推定が完了すると、制御部１１は、当該距離推定に関するサブルーチンの処理を終了し、次のステップＳ１３２に処理を進める。

【0114】

なお、白目領域５５７から注目領域を抽出したケースと肌領域５３から注目領域を抽出したケースとの間で、同一の距離であっても注目領域内の画素値が相違する可能性がある。同様に、口角近傍領域５７から対象領域６２を抽出したケースと額領域５９から対象領域６２を抽出したケースとの間で、同一の距離であっても対象領域６２内の画素値が相違する可能性がある。そこで、参照用ヒストグラム１２５は、注目領域を抽出する領域に応じて用意されてよい。この場合、上記ステップＳ３０２では、制御部１１は、注目領域を抽出した領域に応じて、参照データ１２１から参照用ヒストグラム１２５を選択的に取得してもよい。

【0115】

同様に、対象者Ｒの属性（例えば、人種）等に応じて、同一の距離であっても注目領域内の画素値が相違する可能性がある。そこで、参照用ヒストグラム１２５は、対象者Ｒの属性に応じて用意されてもよい。この場合、上記ステップＳ３０２を実行する前の任意にタイミングで、制御部１１は、対象者Ｒの属性を特定する。対象者Ｒの属性は、オペレータにより指定されてもよい。或いは、制御部１１は、上記顔領域５１の検出等と同様に、推定器を用いて、対象者Ｒの属性を推定してもよい。推定器は、上記顔検出器等と同様に構成されてよい。推定器を利用する場合、対象者Ｒの属性は、撮像画像５０（又は顔領域５１）から推定されてもよいし、或いは注目領域のヒストグラム６５から推定されてもよい。上記ステップＳ３０２では、制御部１１は、特定された対象者Ｒの属性に応じて、参照データ１２１から参照用ヒストグラム１２５を選択的に取得してもよい。

【0116】

（ステップＳ１３２）
図４Ａに戻り、ステップＳ１３２では、制御部１１は、出力部１１９として動作し、対象者Ｒの顔Ｆまでの距離を推定した結果に関する情報を出力する。

【0117】

出力先及び出力する情報の内容はそれぞれ、実施の形態に応じて適宜決定されてよい。例えば、制御部１１は、ステップＳ１３１により対象者Ｒの顔Ｆまでの距離を推定した結果をそのまま出力装置１６に出力してもよい。また、例えば、制御部１１は、対象者Ｒの顔Ｆまでの距離を推定した結果に基づいて、何らかの情報処理を実行してもよい。そして、制御部１１は、この情報処理を実行した結果を推定結果に関する情報として出力してもよい。情報の出力先は、出力装置１６の他、例えば、所定の記憶領域、他の情報処理装置等であってよい。所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。

【0118】

推定結果に関する情報の出力が完了すると、制御部１１は、対象者Ｒの顔Ｆまでの距離の推定に関する一連の情報処理を終了する。制御部１１は、ステップＳ１０１～ステップＳ１３２の一連の情報処理を継続的に繰り返し実行してもよい。繰り返すタイミングは、任意であってもよい。これにより、距離推定装置１は、対象者Ｒの顔Ｆまでの距離の推定を継続的に実施してもよい。この場合、制御部１１は、上記ステップＳ１３２の処理として或いは上記ステップＳ１３２の処理とは別に、対象者Ｒの顔Ｆまでの距離を推定した結果に関する情報を所定の記憶領域又は他の情報処理装置に出力することで、推定結果の履歴を生成してもよい。

【0119】

［特徴］
以上のとおり、本実施形態に係る距離推定装置１は、上記ステップＳ１１１及びステップＳ１１２の処理により、撮像画像５０において検出された目領域５５から対象領域６１を抽出し、抽出された対象領域６１内の画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定する。化粧等の装飾を目に施すことは困難である。また、目には毛が生えることはない。そのため、目領域５５内の画素値であれば、顔Ｆに施された装飾及び顔Ｆに生えた毛の影響を殆ど受けることなく、対象者Ｒの顔Ｆまでの距離を評価可能である。したがって、本実施形態によれば、対象者Ｒの顔Ｆまでの距離を推定する精度の向上を図ることができる。

【0120】

加えて、本実施形態では、上記ステップＳ１１１及びステップＳ１１２において、目領域５５のうちの白目領域５５７から対象領域６１を抽出する。白目領域５５７は、瞳の色等の対象者Ｒの属性の影響を受け難い。そのため、本実施形態によれば、目領域５５の画素値を利用する場合に、対象者Ｒの属性に影響を受けて、対象者Ｒの顔Ｆまでの距離を推定する精度が悪化するのを避けることができ、これによって、当該距離推定の精度の向上を図ることができる。

【0121】

また、遮蔽物により目が遮蔽されていると、目領域５５を適切に検出できなかったり、目領域５５の画素値が遮蔽物の影響を受けてしまったりすることで、上記目領域５５の画素値を利用した距離の推定に誤りが生じる可能性がある。これに対して、本実施形態に係る距離推定装置１は、上記ステップＳ１０３及びＳ１０４の処理により、第１遮蔽物Ｚ１により目が遮蔽されているか否かを判定する。そして、第１遮蔽物Ｚ１により目が遮蔽されていないと判定される場合に、本実施形態に係る距離推定装置１は、上記ステップＳ１１１及びステップＳ１１２の処理を実行し、上記目領域５５の画素値を利用した距離の推定を実施する。これにより、本実施形態によれば、第１遮蔽物Ｚ１により目が遮蔽されていることに起因する距離推定の誤りの発生を防止することができる。

【0122】

一方、第１遮蔽物Ｚ１により目が遮蔽されていると判定される場合、本実施形態に係る距離推定装置１は、上記ステップＳ１２１以降の処理を実行し、目領域５５以外の他の領域（肌領域５３）から注目領域を抽出し、抽出された注目領域内の画素値を利用して距離の推定を実施する。これにより、本実施形態によれば、目領域５５の画素値に基づいて適切に距離推定を実施するのが困難である場合に、目領域５５以外の他の領域（肌領域５３）の画素値に基づいて、対象者Ｒの顔Ｆまでの距離の推定を実施することができる。

【0123】

また、本実施形態では、肌領域５３の画素値に基づいて距離推定を実施する場合、上記ステップＳ１２４の処理により、口角近傍領域５７から対象領域６２を抽出する。口の上下の領域には髭が生えている可能性がある。頬の中央には化粧が施されている可能性が高い。これに対して、経験的に、口角近傍領域５７には、髭が生えておらず、化粧等の装飾が施されていない（或いは装飾の程度が低い）可能性が高い。そのため、本実施形態によれば、この口角近傍領域５７から画素値を取得することで、装飾及び毛の影響を避けることができる。これにより、肌領域５３の画素値を利用する場合でも、対象者Ｒの顔Ｆまでの距離を推定する精度の向上を図ることができる。

【0124】

遮蔽物により口の周囲が遮蔽されていると、口角近傍領域５７から肌の画素値が取得できず、これによって、口角近傍領域５７の画素値を利用した距離の推定に誤りが生じる可能性がある。これに対して、本実施形態に係る距離推定装置１は、上記ステップＳ１２２及びステップＳ１２３の処理により、第２遮蔽物Ｚ２により口の周囲が遮蔽されているか否かを判定する。そして、第２遮蔽物Ｚ２により口の周囲が遮蔽されていないと判定される場合に、本実施形態に係る距離推定装置１は、上記ステップＳ１２４の処理を実行し、口角近傍領域５７の画素値を利用した距離の推定を実施する。これにより、本実施形態によれば、第２遮蔽物Ｚ２により口の周囲が遮蔽されていることに起因する推定の誤りの発生を防止することができる。

【0125】

他方、第２遮蔽物Ｚ２により口の周囲が遮蔽されていると判定される場合、本実施形態に係る距離推定装置１は、上記ステップＳ１２５の処理により、額領域５９から対象領域６２を抽出する。額領域５９も、上記口角近傍領域５７と同様に、化粧等の装飾が施されておらず、毛が生えていない可能性が高い。一方で、口角近傍領域５７と比べて、額領域５９は、前髪等により遮蔽されている可能性が高い。そこで、本実施形態では、対象領域６２を抽出する領域の第１候補として口角近傍領域５７を選択し、口角近傍領域５７から対象領域６２を適切に抽出するのが困難である場合に第２候補として額領域５９を選択している。これにより、対象者Ｒの顔Ｆまでの距離を推定する精度の向上と共に、対象領域６２を適切に抽出する精度の向上を図ることができる。

【0126】

また、肌領域５３の画素値は、顔に施された装飾及び顔に生えた毛の少なくとも一方に影響を受ける可能性がある。基本的には、化粧等の装飾の影響を受けると画素値が高くなり、毛の影響を受けると画素値が低くなる。そこで、本実施形態では、口角近傍領域５７又は額領域５９の画素値を距離の推定に利用する場合、ステップＳ２２１～ステップＳ２２４の処理により、抽出される複数の候補領域６２０を画素値の平均値でソートし、ソートされた列の中央付近の候補領域６２０を対象領域６２として選択する。これにより、装飾及び毛の影響の比較的に少ない候補領域６２０を対象領域６２として抽出することができる。したがって、本実施形態によれば、対象者Ｒの顔Ｆまでの距離の推定に肌領域５３を利用する場合であっても、当該推定の精度の向上を図ることができる。

【0127】

更には、本実施形態では、上記ステップＳ３０１～ステップＳ３０３のヒストグラム６５の算出及び比較という比較的に簡単な処理により、対象者Ｒの顔Ｆまでの距離を推定することができる。これにより、ステップＳ１３１における距離推定の情報処理のコストを低減することができる。

【0128】

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

【0129】

＜４．１＞
上記実施形態に係る距離推定装置１は、対象者Ｒの顔Ｆまでの距離を推定するあらゆる場面に適用されてよい。対象者Ｒは、特に限定されなくてもよく、適用場面に応じて適宜選択されてよい。対象者Ｒは、例えば、車両を運転する運転者、工場の製造ラインで作業する作業者等であってよい。

【0130】

また、距離を推定する目的は様々であってよい。例えば、車両の運転者が対象者Ｒであるケースでは、運転者が正しい姿勢で運転席に着いているか否か等の運転に対する運転者の状態を推定するために、運転者の顔までの距離が推定されてよい。また、例えば、製造ラインで作業する作業者が対象者Ｒであるケースでは、対象の作業を行う位置に作業者が存在しているか否か等の作業に対する作業者の状態を推定するために、作業者の顔までの距離が推定されてもよい。以下、適用場面を限定した２つの変形例を例示する。

【0131】

（Ａ）運転者の状態を推定する場面
図１０Ａは、第１変形例に係る距離推定装置１Ａの適用画面の一例を模式的に例示する。本変形例は、車両ＶＡを運転する運転者ＲＡの顔までの距離を推定する場面に上記実施形態を適用した例である。距離推定装置１Ａのハードウェア構成及びソフトウェア構成は、上記実施形態に係る距離推定装置１と同様であってよい。距離推定装置１Ａは、車載装置であってもよいし、或いは運転者を含む搭乗者の所有する端末（例えば、携帯電話、スマートフォン、タブレットＰＣ等）であってよい。撮像装置３１及び光源３２の配置は、運転者ＲＡの顔に向けて光源３２より光を照射し、運転者ＲＡの顔より反射された光を撮像装置３１で受光可能なように適宜決定されてよい。例えば、撮像装置３１及び光源３２は、ルームミラー付近等の運転者ＲＡ近傍に配置されてよい。

【0132】

本変形例に係る距離推定装置１Ａは、上記実施形態と同様に、ステップＳ１０１～ステップＳ１３２の処理を実行することで、運転者ＲＡの顔までの距離を推定することができる。また、上記ステップＳ１３２では、距離推定装置１Ａは、推定結果を利用した情報処理として、運転者ＲＡの顔までの推定された距離に基づいて、運転者ＲＡが正しい姿勢で運転席に着いているか否か等の運転に対する運転者ＲＡの状態を判定してもよい。運転者ＲＡの顔までの距離に基づいて運転者ＲＡの状態を判定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、運転者ＲＡの顔までの距離に対して適正な状態の範囲が設定されてよい。この場合、距離推定装置１Ａの制御部は、運転者ＲＡの顔までの推定された距離が設定された範囲に属するか否かに応じて、運転者ＲＡの状態が適正であるか否かを判定してもよい。そして、運転者ＲＡの状態が適正でないと判定される場合に、制御部は、出力装置等を介して、正しい姿勢で着席する等の適正な状態へ促すための警告を運転者ＲＡに対して出力してもよい。更には、距離推定装置１Ａが車両ＶＡの動作を直接的又は間接的に制御可能に構成されている場合、制御部は、安全な位置に車両ＶＡを停止するように、車両ＶＡの動作を制御してもよい。

【0133】

（Ｂ）作業者の状態を推定する場面
図１０Ｂは、第２変形例に係る距離推定装置１Ｂの適用場面の一例を模式的に例示する。本変形例は、製造ラインで作業する作業者ＲＢの顔までの距離を推定する場面に上記実施形態を適用した例である。作業者ＲＢは、製造ラインに含まれる装置ＦＢと共に作業を遂行してもよい。装置ＦＢは、例えば、産業用ロボット、コンベア装置等である。距離推定装置１Ｂのハードウェア構成及びソフトウェア構成は、上記実施形態に係る距離推定装置１と同様であってよい。撮像装置３１及び光源３２の配置は、作業者ＲＢの顔に向けて光源３２より光を照射し、作業者ＲＢの顔より反射された光を撮像装置３１で受光可能なように適宜決定されてよい。例えば、撮像装置３１及び光源３２は、作業者ＲＢの作業位置近傍に配置されてよい。

【0134】

本変形例に係る距離推定装置１Ｂは、上記実施形態と同様に、ステップＳ１０１～ステップＳ１３２の処理を実行することで、作業者ＲＢの顔までの距離を推定することができる。また、上記ステップＳ１３２では、距離推定装置１Ｂは、推定結果を利用した情報処理として、作業者ＲＢの顔までの推定された距離に基づいて、対象の作業を行う位置に作業者ＲＢが存在しているか否か等の作業に対する作業者ＲＢの状態を判定してもよい。作業者ＲＢの顔までの距離に基づいて作業者ＲＢの状態を判定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、上記運転者ＲＡのケースと同様に、作業者ＲＢの顔までの距離に対して適正な状態の範囲が設定されてよい。この場合、距離推定装置１Ｂの制御部は、作業者ＲＢの顔までの推定された距離が設定された範囲に属するか否かに応じて、作業者ＲＢの状態が適正であるか否かを判定してもよい。そして、作業者ＲＢの状態が適正でないと判定される場合に、制御部は、出力装置等を介して、対象の位置に戻る等の適正な状態へ促すための警告を作業者ＲＢ又は作業者ＲＢを監督する監督者に対して出力してもよい。更には、距離推定装置１Ｂが装置ＦＢの動作を直接的又は間接的に制御可能に構成されている場合、制御部は、装置ＦＢの動作を停止する等、作業者ＲＢの状態に適応するように装置ＦＢの動作を制御してもよい。

【0135】

＜４．２＞
上記実施形態では、ステップＳ１０２の処理により、撮像画像５０において顔領域５１を検出し、ステップＳ１０２以降のステップＳ１０３等の処理は、検出された顔領域５１に対して適用されている。しかしながら、このステップＳ１０２の処理は省略されてよく、ステップＳ１０２以降の各処理は、撮像画像５０に対して直接的に適用されてよい。例えば、ステップＳ１０３では、制御部１１は、撮像画像５０に対して、対象者Ｒの目が第１遮蔽物Ｚ１により遮蔽されているか否かを判定する処理を実行してもよい。ステップＳ１１１では、制御部１１は、撮像画像５０から直接的に目領域５５を検出してもよい。ステップＳ１２２では、制御部１１は、撮像画像５０に対して、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されているか否かを判定する処理を実行してもよい。ステップＳ１２４及びステップＳ１２５それぞれでは、制御部１１は、対象領域６２として抽出する領域を撮像画像５０において直接的に特定してもよい。この場合、顔検出部１１２は、距離推定装置１のソフトウェア構成から省略されてもよい。

【0136】

＜４．３＞
上記実施形態に係る距離推定装置１は、ステップＳ１２２の処理により、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されている否かを判定している。そして、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されていると判定した場合に、距離推定装置１は、額領域５９から対象領域６２を抽出する。しかしながら、対象者Ｒの口の周囲が第２遮蔽物Ｚ２により遮蔽されていると判定される場合の処理は、このような例に限られなくてもよい。上記実施形態に係る距離推定装置１は、肌領域５３における額領域５９以外の他の領域から対象領域６２を抽出してもよい。或いは、上記実施形態に係る距離推定装置１は、対象領域６２を抽出する処理及びステップＳ１３１以降の距離を推定する処理を省略してもよい。また、ステップＳ１２２及びステップＳ１２３の処理は省略されてもよい。この場合、第２判定部１１５は、距離推定装置１のソフトウェア構成から省略されてもよい。また、上記実施形態に係る距離推定装置１は、ステップＳ１２２及びステップＳ１２３の処理を省略した上で、口角近傍領域５７から対象領域６２の抽出を試行してもよい。

【0137】

＜４．４＞
上記実施形態に係る距離推定装置１は、ステップＳ１２４の処理により、口角近傍領域５７から対象領域６２を抽出している。しかしながら、対象領域６２を抽出する形態は、このような例に限られなくてもよい。距離推定装置１は、ステップＳ１２２～ステップＳ１２４の処理を省略し、ステップＳ１２５の処理により、額領域５９から対象領域６２を抽出してもよい。或いは、距離推定装置１は、肌領域５３における口角近傍領域５７及び額領域５９以外の他の領域から対象領域６２を抽出してもよい。距離推定装置１は、肌領域５３内の任意の領域から対象領域６２を抽出してもよい。

【0138】

また、上記実施形態において、ステップＳ１２１の処理は省略されてよい。この場合、肌特定部１１６は、距離推定装置１のソフトウェア構成から省略されてもよい。また、上記実施形態に係る距離推定装置１は、ステップＳ１２１以降の全ての処理を省略し、肌領域５３の画素値に基づいて距離を推定する処理を省略してもよい。

【0139】

＜４．５＞
上記実施形態において、ステップＳ１０３及びステップＳ１０４の処理は省略されてよい。この場合、第１判定部１１３は、距離推定装置１のソフトウェア構成から省略されてもよい。また、上記実施形態に係る距離推定装置１は、ステップＳ１０３及びステップＳ１０４の処理を省略した上で、ステップＳ１１１による目領域５５の検出を試行してもよい。

【0140】

＜４．６＞
上記実施形態に係る距離推定装置１は、ステップＳ２０１の処理において、目の輪郭５５１及び瞳孔５５２の検出結果に基づいて、白目領域５５７の範囲を特定している。しかしながら、白目領域５５７を特定する方法は、このような例に限定されなくてもよい。例えば、白目領域５５７は、輪郭５５１、瞳孔５５２、又はその他の目の特徴の位置を基準にして予め定められてもよい。この場合、制御部１１は、検出器を利用することで、顔領域５１において、目の特徴を検出してもよい。この検出器は、上記特徴検出器と同様に構成されてよい。そして、制御部１１は、予め定められた規則に従って、検出された目の特徴の位置に基づき白目領域５５７を特定してもよい。また、上記実施形態に係る距離推定装置１は、上記ステップＳ１１２の処理に代えて、目領域５５の任意の領域から対象領域６１を抽出してもよい。

【0141】

＜４．７＞
上記実施形態に係る距離推定装置１は、目領域５５（白目領域５５７）及び肌領域５３（口角近傍領域５７、額領域５９）のいずれかから得られた画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定することができる。しかしながら、距離推定の形態は、このような例に限定されなくてもよい。いずれかの領域から画素値を得て、対象者Ｒの顔Ｆまでの距離を推定する部分を抽出して、別の形態に係る距離推定装置を構成してもよい。

【0142】

図１１は、本変形例に係る距離推定装置１Ｃの適用画面の一例を模式的に例示する。距離推定装置１Ｃのハードウェア構成及びソフトウェア構成は、上記実施形態に係る距離推定装置１と同様であってよい。本変形例に係る距離推定装置１Ｃは、肌領域５３から得らえる画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定する部分を抽出することにより構成することができる。

【0143】

すなわち、本変形例に係る距離推定装置１Ｃの制御部は、上記ステップＳ１０１の処理により、光源３２から対象者Ｒの顔Ｆに向けて光を照射し、当該対象者Ｒの顔Ｆより反射された光を撮像装置３１により撮像することで生成された撮像画像５０を取得する。次に、制御部は、上記ステップＳ１２１～ステップＳ１２５の処理により、取得された撮像画像５０において、対象者Ｒの顔Ｆのうち肌の写る肌領域５３を特定し、特定された肌領域５３から対象領域６２を抽出する。この際、制御部は、上記ステップＳ２２１～ステップＳ２２４の処理により、肌領域５３から複数の候補領域６２０を抽出し、抽出された各候補領域６２０の画素値の平均値を算出し、算出された平均値により各候補領域６２０をソートし、かつソートされた複数の候補領域６２０の列から中央付近の候補領域６２０を対象領域６２として抽出する。そして、制御部は、上記ステップＳ１３１の処理により、抽出された対象領域６２内の画素値に基づいて、対象者Ｒの顔Ｆまでの距離を推定する。本変形例によれば、ステップＳ２２１～ステップＳ２２４の処理により、装飾及び毛の影響の比較的に少ない候補領域６２０を対象領域６２として抽出することができる。したがって、本変形例でも、対象者Ｒの顔Ｆまでの距離を推定する精度の向上を図ることができる。

【0144】

＜４．８＞
上記実施形態では、ステップＳ１０２の検出処理、ステップＳ１０３の判定処理、ステップＳ１１１の検出処理、ステップＳ１２１（ステップＳ１２４又はステップＳ１２５）の特定処理、及びステップＳ１２２の判定処理が別個の処理で表現されている。しかしながら、例えば、機械学習モデルを利用することで、これらのうちの２つ以上の処理が１つの共通の処理で実現されてもよい。機械学習モデルには、ニューラルネットワーク等の公知のモデルが用いられてよい。

【0145】

一例として、機械学習により、撮像画像の入力に対して、第１遮蔽物が存在するか否かを判定した上で、第１遮蔽物が存在しない場合には目領域の検出結果を出力し、第１遮蔽物が存在する場合には、エラー値を出力するように訓練された学習済みのモデルが利用されてよい。この場合、上記実施形態に係る距離推定装置１は、この学習済みのモデルの演算処理により、ステップＳ１０２、ステップＳ１０３及びステップＳ１１１の一連の処理の実行を達成することができる。

【0146】

なお、この学習済みのモデルは、適宜生成されてよい。例えば、様々な条件で被験者の顔の写る撮像画像を収集し、第１遮蔽物が存在しない場合は被験者の目の写る領域を示し、第１遮蔽物が存在する場合はエラー値を示す正解情報を得られた撮像画像に関連付けることで学習データセットを生成する。そして、生成された学習結果データを利用した機械学習を実施することで、撮像画像を入力すると、正解情報に適合する出力値を出力するように機械学習モデルを訓練する。これにより、上記学習済みのモデルを生成することができる。

【0147】

上記実施形態では、ステップＳ１３１において、ヒストグラムの比較により、対象者Ｒの顔Ｆまでの距離を推定している。しかしながら、注目領域内の画素値に基づいて対象者Ｒの顔Ｆまでの距離を推定する方法は、このような例に限定されなくてもよい。例えば、ヒストグラムの代わりに、画素値の中央値、平均値、分散等の統計量を比較することで、対象者Ｒの顔Ｆまでの距離を推定してもよい。

【符号の説明】

【0148】

１…距離推定装置、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…外部インタフェース、
１５…入力装置、１６…出力装置、１７…ドライブ、
９１…記憶媒体、８１…距離推定プログラム、
１１１…取得部、１１２…顔検出部、
１１３…第１判定部、１１４…目検出部、
１１５…第２判定部、１１６…肌特定部、
１１７…抽出部、１１８…距離推定部、
１１９…出力部、
１２１…参照データ、１２５…参照用ヒストグラム、
５０…撮像画像、５１…顔領域、
５３…肌領域、
５５…目領域、
５５１…（目の）輪郭、５５３…ポイント、
５５２…瞳孔、５５４…ポイント、
５５７…白目領域、
５７…口角近傍領域、５９…額領域、
６１…（第１）対象領域、６２…（第２）対象領域、
６２０…候補領域、
６５…（算出された）ヒストグラム、
３…撮像システム、
３１…光源、３２…撮像装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】