特許 7418386 顔向き判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】顔向き判定システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240112BHJP

   G06T 7/00 20170101ALI20240112BHJP

【ＦＩ】

G06T7/70 B

G06T7/00 660A

【請求項の数】 9

(21)【出願番号】P 2021202576

(22)【出願日】2021-12-14

(65)【公開番号】P2023087986

(43)【公開日】2023-06-26

【審査請求日】2023-03-29

(73)【特許権者】

【識別番号】000006895

【氏名又は名称】矢崎総業株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】関 俊剛

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２００９－１０４５２４（ＪＰ，Ａ）

【文献】特開２０２０－１４４５４６（ＪＰ，Ａ）

【文献】国際公開第２０１５／１８６５１９（ＷＯ，Ａ１）

【文献】特開２０１８－１６３４１１（ＪＰ，Ａ）

【文献】田中 良幸、外６名，“人間の眼球－関節運動特性に基づく自動車インテリア・パッケージの解析評価 ”，計測自動制御学会論文集，日本，社団法人計測自動制御学会，2010年02月28日，Vol.46, No.2，pp.123-129

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／００

Ｇ０６Ｖ １０／００－１０／９８

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

人物の顔を撮像する撮像部と、
前記撮像部により撮像された前記人物の顔の画像に基づいて、前記人物の目尻の位置を検出する目尻検出部と、
前記目尻検出部により検出された前記目尻の位置と、前記人物の頭部を回旋する際の基準となる頭部回旋基準の位置とに基づいて、前記人物の顔の向きを検出する顔向き検出部と、を備えることを特徴とする顔向き検出システム。

【請求項2】

前記顔向き検出部は、鉛直方向における前記頭部回旋基準の位置と前記目尻の位置との間の距離に基づいて前記鉛直方向における前記人物の顔の向きを検出する請求項１に記載の顔向き検出システム。

【請求項3】

前記顔向き検出部は、鉛直方向に交差する左右方向における前記頭部回旋基準の位置と前記目尻の位置とに基づいて前記左右方向における前記人物の顔の向きを検出する請求項１又は２に記載の顔向き検出システム。

【請求項4】

前記顔向き検出部は、前記頭部回旋基準の位置として、予め定められた標準の前記頭部回旋基準の位置を、前記人物が正面を向いた状態で前記撮像部により撮像された前記人物の顔の画像から求まる前記人物の左右の前記目尻の距離に応じて補正した補正後の前記頭部回旋基準の位置に基づいて、前記人物の顔の向きを検出する請求項１～３のいずれか１項に記載の顔向き検出システム。

【請求項5】

前記顔向き検出部は、前記人物の左右の前記目尻の距離に応じて、鉛直方向における前記頭部回旋基準の位置と前記目尻の位置との間の距離、及び、前記鉛直方向に交差する奥行き方向における前記頭部回旋基準の位置と左右の前記目尻の中央の位置との間の距離を補正した補正後の前記頭部回旋基準の位置に基づいて、前記人物の顔の向きを検出する請求項４に記載の顔向き検出システム。

【請求項6】

前記顔向き検出部は、前記頭部回旋基準の位置として、予め定められた標準の頭部回旋基準の位置を、前記人物が正面位置に対する前記撮像部の相対位置に応じて補正した補正後の前記頭部回旋基準の位置に基づいて、前記人物の顔の向きを検出する請求項１～５のいずれか１項に記載の顔向き検出システム。

【請求項7】

前記人物が正面位置に対する前記撮像部の相対位置に応じて、鉛直方向における前記頭部回旋基準の位置と前記目尻の位置との間の距離、及び、前記鉛直方向に交差する奥行き方向における前記頭部回旋基準の位置と左右の前記目尻の中央の位置との間の距離を補正するパラメータ更新部をさらに備える請求項６に記載の顔向き検出システム。

【請求項8】

車両の加速度を検出する加速度センサーと、
前記加速度センサーにより検出された前記車両の加速度に基づいて前記人物が正面を向いたことを判定する正面判定部とを更に備え、
前記撮像部は、前記正面判定部により判定された前記車両の加速度に基づく判定結果に応じて前記人物の顔を撮像する請求項１～７のいずれか１項に記載の顔向き検出システム。

【請求項9】

前記人物の視線を検出する視線検出部と、
前記視線検出部により検出された前記人物の視線に基づいて前記人物が正面を向いたことを判定する正面判定部とを更に備え、
前記撮像部は、前記正面判定部により判定された前記人物の視線に基づく判定結果に応じて前記人物の顔を撮像する請求項１～８のいずれか１項に記載の顔向き検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔向き判定システムに関する。

【背景技術】

【0002】

従来、顔向き判定システムとして、例えば、特許文献１には、運転者の顔の特徴点として、運転者の眉、目尻、及び口元の少なくとも１つの３次元位置を検出することで運転者の顔向きを推定する運転者監視装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１５４７２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述の特許文献１に記載の運転者監視装置は、例えば、運転者が脇見した際に顔の特徴点の一部しか検出できない場合、運転者の顔向きを推定できないおそれがある。

【0005】

そこで、本発明は、上記に鑑みてなされたものであって、人物の顔の向きを適正に判定することができる顔向き判定システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る顔向き検出システムは、人物の顔を撮像する撮像部と、前記撮像部により撮像された前記人物の顔の画像に基づいて、前記人物の目尻の位置を検出する目尻検出部と、前記目尻検出部により検出された前記目尻の位置と、前記人物の頭部を回旋する際の基準となる頭部回旋基準の位置とに基づいて、前記人物の顔の向きを検出する顔向き検出部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明に係る顔向き検出システムは、人物が脇見した際に片方の目尻しか検出できない場合でも人物の顔の向きを判定することができ、この結果、人物の顔の向きを適正に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る顔向き検出システムの構成例を示すブロック図である。

【図2】図２は、実施形態に係る頭軸の範囲を示す図である。

【図3】図３は、実施形態に係る頭軸の位置の計算例を示す図である。

【図4】図４は、実施形態に係る上下方向の顔向き角度の計算例を示す図である。

【図5】図５は、実施形態に係る上下方向の顔向き角度の計算例を示す図である。

【図6】図６は、実施形態に係る左右方向の顔向き角度の計算例を示す図である。

【図7】図７は、実施形態に係る左右方向の顔向き角度の計算例を示す図である。

【図8】図８は、実施形態に係る左右の顔向き方向の判定例を示す図である。

【図9】図９は、実施形態に係る顔映像取得カメラと運転者との位置関係を示す図である。

【図10】図１０は、実施形態に係るパラメータの更新例（増加）を示す図である。

【図11】図１１は、実施形態に係るパラメータの更新例（減少）を示す図である。

【図12】図１２は、実施形態に係る左右方向における顔映像取得カメラの設置角度を示す図である。

【図13】図１３は、実施形態に係る上下方向における顔映像取得カメラの設置角度を示す図である。

【図14】図１４は、実施形態に係る顔向き検出結果（角度）の平均誤差を示す図である。

【図15】図１５は、実施形態に係る脇見検出処理を示すフローチャートである。

【図16】図１６は、実施形態に係る顔向き検出処理を示すフローチャートである。

【図17】図１７は、実施形態に係る頭軸の位置の計算処理を示すフローチャートである。

【図18】図１８は、実施形態に係るパラメータ更新処理を示すフローチャートである。

【図19】図１９は、実施形態の第１変形例に係る頭軸の位置の計算処理を示すフローチャートである。

【図20】図２０は、実施形態の第２変形例に係る頭軸の位置の計算処理を示すフローチャートである。

【図21】図２１は、実施形態の第３変形例に係る頭軸の位置の計算処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。更に、以下に記載した構成は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。

【0010】

〔実施形態〕
図面を参照しながら実施形態に係る顔向き検出システム１について説明する。顔向き検出システム１は、人物の顔の向きを検出するものであり、例えば、車両に搭載され、当該車両の運転席に着座した運転者の顔の向きを検出する。顔向き検出システム１は、例えば、図１に示すように、撮像部としての顔映像取得カメラ１０と、目尻検出部としての顔特徴点検出ユニット２０と、顔向き計算ユニット３０とを備える。

【0011】

ここで、運転者が正面を向いた状態で当該運転者の左右の目尻Ｅに沿った方向を左右方向Ｘと称し、上下に沿った方向を鉛直方向又は上下方向Ｙと称し、運転者が正面を向いた状態で当該運転者の視線に沿った方向を奥行き方向Ｚと称する。左右方向Ｘ、上下方向Ｙ、及び、奥行き方向Ｚは、互いに交差し、典型的には直交する。

【0012】

顔映像取得カメラ１０は、運転者の顔を撮像するものであり、例えば、車両に搭載され、当該車両の運転席に着座した運転者の顔を撮像する。顔映像取得カメラ１０は、運転者の前方、例えば、車両のダッシュボードや車両のルーフの前方等に配置され、運転者のアイリプスの中心が撮像範囲の中心になるように設けられ、車両の前方から運転者の顔を撮像する。顔映像取得カメラ１０は、顔特徴点検出ユニット２０に接続され、撮像した運転者の顔を表す画像（動画（映像）又は静止画）データを顔特徴点検出ユニット２０に出力する。

【0013】

顔特徴点検出ユニット２０は、画像データから顔の特徴点を検出するものである。顔特徴点検出ユニット２０は、例えば、Ｏｐｅｎ ＣＶ等の周知の画像認識技術（機械学習）を用いて画像データから顔の特徴点を検出する。顔特徴点検出ユニット２０は、例えば、画像データから顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する。ここでは、顔特徴点検出ユニット２０は、検出した顔の部位の位置の情報を座標上の情報として扱う。顔特徴点検出ユニット２０は、顔向き計算ユニット３０に接続され、検出した左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）を顔向き計算ユニット３０に出力する。

【0014】

顔向き計算ユニット３０は、運転者の顔の向きを計算するものであり、ＣＰＵ、メモリを構成するＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。顔向き計算ユニット３０は、目尻距離演算部３１と、記憶部３２と、顔向き検出部３３と、パラメータ更新部３４とを含んで構成され、顔の部位の位置の情報を座標上の情報として扱う。

【0015】

目尻距離演算部３１は、人物が正面を向いた状態での左右の目尻Ｅの距離ｄ_０（図３参照）を演算するものである。目尻距離演算部３１は、顔特徴点検出ユニット２０に接続され、当該顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅ（左目尻ＬＥ、右目尻ＲＥ）の距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する。目尻距離演算部３１は、例えば、図３に示すように、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）との距離ｄ_０を演算すると共に、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）との中央の位置座標（ｘ_Ｃ０、ｙ_Ｃ０）を演算する。目尻距離演算部３１は、顔向き検出部３３に接続され、演算した距離ｄ_０及び中央の位置座標（ｘ_Ｃ０、ｙ_Ｃ０）を顔向き検出部３３に出力する。

【0016】

記憶部３２は、情報を記憶するものであり、例えば、ＲＡＭ等の揮発性メモリや、ＲＯＭ、フラッシュメモリ等の不揮発性メモリを含んで構成される。記憶部３２は、例えば、顔向き計算ユニット３０での各種処理に必要な条件や情報、顔向き計算ユニット３０で実行する各種プログラムやアプリケーション、制御データ等が格納されている。そして、記憶部３２は、人体の寸法を統計的に表した人体寸法データベースに基づいて予め定められた標準の人体の寸法を記憶している。記憶部３２は、例えば、標準の人体の寸法として、図３に示すように、左右の目尻Ｅの標準距離ｄ、左右の目尻Ｅの中央の位置と軸椎Ｇとの奥行き方向Ｚの標準距離ｗ、左右の目尻Ｅの中央の位置と軸椎Ｇとの上下方向Ｙの距離ｈ等を記憶している。すなわち、記憶部３２は、標準の人体の寸法として、左右の目尻Ｅの標準距離ｄ、左右の目尻Ｅの中央の位置と軸椎Ｇと標準距離ｗ、及び、左右の目尻Ｅの中央の位置と軸椎Ｇとの標準距離ｈから定まる軸椎Ｇ（標準の頭軸Ｐ）の位置を記憶している。

【0017】

顔向き検出部３３は、運転者の顔向きを検出するものである。顔向き検出部３３は、例えば、顔特徴点検出ユニット２０により検出された目尻Ｅの位置と、頭部回旋基準としての頭軸Ｐの位置とに基づいて、運転者の顔の向きを検出する。ここで、頭軸Ｐは、運転者の頭部を回旋する際の基準となる部分であり、図２に示すように、軸椎Ｇと座骨Ｊとの間に設定される。言い換えれば、運転者の頭部は、頭軸Ｐを基準として旋回する。顔向き検出部３３は、記憶部３２に記憶された標準の頭軸Ｐを個人に合わせて調整するパーソナライズ処理を行う。具体的には、顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正した補正後の頭軸Ｐの位置に基づいて、運転者の顔の向きを検出する。顔向き検出部３３は、例えば、以下の式（１）を用いて、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）とから、頭軸ＰのＸ座標ｘ_Ａ（ｘ_ｃ０）を求める。また、顔向き検出部３３は、以下の式（２）～（４）を用いて、頭軸ＰのＹ座標ｙ_Ａを求める。顔向き検出部３３は、例えば、式（２）を用いて、左右の目尻Ｅの標準距離ｄ、及び、目尻Ｅの位置（例えば、左右の目尻Ｅの中央の位置）と標準の頭軸Ｐとの上下方向Ｙの標準距離ｈからパラメータＰ_ｈを求め、式（３）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｈとから補正後の距離ｈ_０を求め、式（４）を用いて、左目尻ＬＥの位置座標（ｘ_ＬＥ０、ｙ_ＬＥ０）と右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｙ_ＲＥ０）と補正後の距離ｈ_０とから頭軸Ｐの補正後のＹ座標ｙ_Ａを求める。つまり、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０を用いて、頭軸ＰのＹ座標ｙ_Ａをパーソナライズ化している。また、顔向き検出部３３は、以下の式（５）、（６）を用いて、左右の目尻Ｅの中央の位置と頭軸Ｐとの奥行き方向Ｚの距離ｗ_０を求める。顔向き検出部３３は、例えば、式（５）を用いて、左右の目尻Ｅの標準距離ｄ、及び、左右の目尻Ｅの中央の位置と標準の頭軸Ｐとの奥行き方向Ｚの標準距離ｗとからパラメータＰ_ｗを求め、式（６）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｗとから補正後の距離ｗ_０を求める。つまり、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０を用いて、頭軸ＰのＺ座標をパーソナライズ化している。

【0018】

【数1】

【0019】

顔向き検出部３３は、パーソナライズ化した頭軸Ｐ、すなわち補正後の頭軸Ｐに基づいて運転者の顔向きを検出する。顔向き検出部３３は、例えば、図４、図５に示すように、目尻Ｅの位置座標（ｙ_ＲＥ１、ｚ_ＲＥ１）と頭軸Ｐの位置座標との上下方向Ｙの距離ｈ_１を検出する。顔向き検出部３３は、検出した距離ｈ_１に基づき、以下の式（７）～（１８）を用いて、顔の上下方向Ｙの角度を求める。以下の式（７）～（１８）では、「ｋ」は、直角三角形の斜辺を表し、「θ_Ｐ０」は、正面を向いたときの顔の目尻Ｅと頭軸Ｐとの角度を表し、「θ_Ｐ１」は、顔の上下方向Ｙの角度を表し、「θ_Ｐ２」は、奥行き方向Ｚと斜辺ｋとの角度を表す。この例では、頭軸Ｐの位置座標を原点（０，０）としている。顔向き検出部３３は、式（７）を用いて、角度θ_Ｐ２を求める。このとき、三角関数により、角度θ_Ｐ２は、式（８）で表される。顔向き検出部３３は、式（７）と式（８）とを組み合わせると、式（９）となり、式（９）～式（１８）に示すように順番に演算を進めると、最終的に式（１８）を取得することができ、この結果、顔の上下方向Ｙの角度θ_Ｐ１を得られる。

【0020】

【数2】

【0021】

顔向き検出部３３は、例えば、図６、図７に示すように、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）を検出する。顔向き検出部３３は、検出した右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）に基づき、以下の式（１９）～（２８）を用いて、顔の左右方向Ｘの角度を求める。以下の式（１９）～（２８）では、「θ_Ｙ１」は、顔の左右方向Ｘの角度を表し、その範囲が０°≦θ_Ｙ１≦９０°であり、「ｘ_ｃ１」は、左右の目尻Ｅの中央の位置座標（Ｘ座標）を表し、「ｄ_Ｅ」は、目尻Ｅの変位を表す。この例では、頭軸Ｐの位置座標を原点（０，０）としている。顔向き検出部３３は、式（１９）を用いて、角度θ_Ｙ１を求める。このとき、式（１９）の「ｘ_ｃ１」は、式（２０）で表され、式（２０）を式（１９）に代入すると、式（２１）が得られる。式（２１）において、未知の変数は、「ｄｘ」だけである。式（２１）は、三角関数により、式（２２）に変形することができ、式（２２）は、式（２３）、式（２４）に変形することができる。そして、式（２５）に示すように、変数を置き換えると、式（２６）を導き出すことができ、式（２６）から式（２７）、式（２８）を導き出すことができる。顔向き検出部３３は、式（２８）から「ｄｘ」を算出することができ、算出した「ｄｘ」を式（２１）に代入することで、顔の左右方向Ｘの角度θ_Ｙ１を得られる。

【0022】

【数3】

なお、式（２０）において、「ｄｘ≧０」であり、顔が右を向いた場合、「ｘ_ｃ１＝ｘ_ＬＥ１＋ｄｘ」となる。

【0023】

顔向き検出部３３は、図８に示すように、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）が、正面を向いたときの右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｚ_ＲＥ０）よりも大きい場合、顔が左側を向いていると判定する。一方で、顔向き検出部３３は、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１）が、正面を向いたときの右目尻ＲＥの位置座標（ｘ_ＲＥ０、ｚ_ＲＥ０）よりも小さい場合、顔が右側を向いていると判定する。

【0024】

次に、パラメータ更新部３４について説明する。パラメータ更新部３４は、顔映像取得カメラ１０の位置と運転者の位置との相対位置（位置ずれ）に応じて、上述したパラメータＰ_ｈ、パラメータＰ_ｗを更新することで、人物が正面位置に対する顔映像取得カメラ１０の相対位置に応じて標準の頭軸Ｐの位置を補正するものである。ここで、顔映像取得カメラ１０は、車両の構造上、例えば、図９に示すように、運転者の正面からずれた位置に配置される場合が多い。この場合、顔映像取得カメラ１０は、運転者が正面を視た際の正面方向Ｍから角度θａだけずれが生じた状態で運転者の顔を撮像する。このため、パラメータ更新部３４は、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算する。これにより、理論上は、顔映像取得カメラ１０のずれ量に相当する角度θａを相殺することができるが、顔映像取得カメラ１０の取り付け精度の誤差、運転者の個人差（視線が正面を視ている状態で、顔が正面を向いてない可能性がある）等によって、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算しても、ゼロにならない場合がある。そこで、パラメータ更新部３４は、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算した値の絶対値をゼロに近づける処理を行う。

【0025】

パラメータ更新部３４は、例えば、図１０に示すように、上述したパラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を段階的に増加させる。このとき、顔向き検出部３３は、段階的に増加されたパラメータＰ_ｈ、パラメータＰ_ｗに基づいて顔の角度をそれぞれ検出する。パラメータ更新部３４は、図１０に示すように、パラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を順番に大きくするに従って、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算した値の絶対値が徐々に小さくなり、パラメータＤ１～Ｄ４の中でパラメータＤ３が最も小さくなるので、当該パラメータＤ３が表す値（パラメータＰ_ｈ、パラメータＰ_ｗ）に更新する。

【0026】

パラメータ更新部３４は、図１１に示すように、上述したパラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を段階的に減少させる。このとき、顔向き検出部３３は、段階的に増加されたパラメータＰ_ｈ、パラメータＰ_ｗに基づいて顔の角度をそれぞれ検出する。パラメータ更新部３４は、図１１に示すように、パラメータＰ_ｈ、パラメータＰ_ｗ、すなわちパラメータＤ１～Ｄ４を順番に小さくするに従って、顔向き検出部３３により検出された顔の角度から、顔映像取得カメラ１０のずれ量に相当する角度θａを減算した値の絶対値が徐々に小さくなり、パラメータＤ１～Ｄ４の中でパラメータＤ３が最も小さくなるので、当該パラメータＤ３が表す値（パラメータＰ_ｈ、パラメータＰ_ｗ）に更新する。パラメータ更新部３４は、パラメータＰ_ｈ、パラメータＰ_ｗを更新することで、例えば、図１４に示すように、顔向き検出結果（角度）の平均誤差が「縦方向（Ｐｉｔｃｈ）」において、改善前では「１９．６」であったが、改善後では「４．５」と小さくなっており、また、顔向き検出結果（角度）の平均誤差が「横方向（Ｙａｗ）」において、改善前では「７．９」であったが、改善後では「３．８」と小さくなっている。なお、顔映像取得カメラ１０のずれ量に相当する角度θａ（図９参照）は、左右方向Ｘのずれ量であるが、通常、顔映像取得カメラ１０のずれ量は、図１２に示す左右方向Ｘの角度θ_ＣＹａｗ、及び、図１３に示す上下方向Ｙの角度θ_{ＣＰｉｔｃｈ}のずれ量を含む。パラメータ更新部３４は、顔の上下方向Ｙの角度を求める場合には、上下方向Ｙの角度θ_{ＣＰｉｔｃｈ}のずれ量を減算し、顔の左右方向Ｘの角度を求める場合には、左右方向Ｘの角度θ_ＣＹａｗを減算する。

【0027】

次に、脇見検出処理について説明する。図１５は、実施形態に係る脇見検出処理を示すフローチャートである。顔向き検出システム１は、運転者の視線を検出する視線検出部４０を備える。顔映像取得カメラ１０は、車両の前方から運転者の顔を撮像し、撮像した運転者の顔を表す画像データを顔特徴点検出ユニット２０に出力する。顔特徴点検出ユニット２０は、画像データから顔を検出し（ステップＳ１）、検出した顔の特徴点として左右の目尻Ｅ、左右の瞳孔等の位置を検出し、左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）を顔向き計算ユニット３０に出力し、左右の瞳孔の位置を表す情報を視線検出部４０に出力する（ステップＳ２）。顔向き計算ユニット３０は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報に基づいて顔の向きを検出する（ステップＳ３；後述する図１６のフローチャートで示す検出処理）。視線検出部４０は、顔特徴点検出ユニット２０から出力された左右の瞳孔の位置を表す情報に基づいて視線の向きを検出する（ステップＳ４）。脇見判定処理部（図示省略）は、顔向き計算ユニット３０によって検出された顔の向き、及び、視線検出部４０によって検出された視線の向きに基づいて運転者の脇見を判定する（ステップＳ５）。そして、脇見判定処理部は、運転者が脇見していると判定した場合、音声等で脇見運転していることを報知し（ステップＳ６）、運転者が脇見していないと判定した場合、当該報知を行わない。

【0028】

次に、顔向き検出処理について説明する。図１６は、実施形態に係る顔向き検出処理を示すフローチャートである。顔向き検出システム１において、目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置座標を演算し（ステップＴ１）、左右の目尻Ｅの中央の位置座標におけるＸ座標を頭軸ＰのＸ座標とする（ステップＴ２）。顔向き検出部３３は、ステップＴ２の頭軸ＰのＸ座標を取得する。また、顔向き検出部３３は、上述の式（２）を用いて、左右の目尻Ｅの標準距離ｄ、及び、左右の目尻Ｅの中央の位置と標準の頭軸Ｐとの上下方向Ｙの標準距離ｈとから初期のパラメータＰ_ｈを求め、式（５）を用いて、左右の目尻Ｅの標準距離ｄ、及び、左右の目尻Ｅの中央の位置と標準の頭軸Ｐとの奥行き方向Ｚの標準距離ｗとから初期のパラメータＰ_ｗを求める（ステップＴ３）。そして、顔向き検出部３３は、式（３）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｈとから補正後の距離ｈ_０を求め、式（６）を用いて、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｗとから補正後の距離ｗ_０を求め、これら初期の距離ｈ_０、距離ｗ_０に基づいて定まる補正後の頭軸Ｐに基づいて、顔の上下方向Ｙの角度（式（７）～（１８））、及び、顔の左右方向Ｘの角度（式（１９）～（２８））を求める（ステップＴ４）。パラメータ更新部３４は、予め定められた顔映像取得カメラ１０の角度（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）を取得し（ステップＴ５）、顔向き検出部３３により求めた初期の顔の角度が出力される（ステップＴ６）。そして、パラメータ更新部３４は、顔向き検出部３３により求めた初期の顔の角度から、顔映像取得カメラ１０の角度（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）を減算した値の絶対値を求め、初期のパラメータＰ_ｈ、パラメータＰ_ｗを増加又は減少させて更新する（ステップＴ７、Ｔ９）。顔向き検出部３３は、式（３）を用いて、左右の目尻Ｅの距離ｄ_０と更新後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、式（６）を用いて、左右の目尻Ｅの距離ｄ_０と更新後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、これら更新後の距離ｈ_０、距離ｗ_０に基づいて定まる補正後の頭軸Ｐに基づいて、顔の上下方向Ｙの角度（式（７）～（１８））、及び、顔の左右方向Ｘの角度（式（１９）～（２８））を求め（ステップＴ１０）、顔の向きを出力する（ステップＴ１１）。

【0029】

次に、頭軸Ｐの位置の計算処理について説明する。図１７は、実施形態に係る頭軸Ｐの位置の計算処理を示すフローチャートである。顔映像取得カメラ１０は、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＵ１、Ｕ２）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＵ３）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＵ４）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＵ５）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＵ６）。

【0030】

次に、パラメータ更新処理について説明する。図１８は、実施形態に係るパラメータ更新処理を示すフローチャートである。顔向き検出部３３は、初期のパラメータＰ_ｈ、パラメータＰ_ｗを入力する（ステップＬ１）。そして、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０とパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の初期の顔の角度を演算する（ステップＬ２）。パラメータ更新部３４は、顔向き検出部３３により演算された初期の顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との初期の差分を演算する（ステップＬ３）。パラメータ更新部３４は、パラメータＰ_ｈ、パラメータＰ_ｗを増加させ（ステップＬ４）、顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の顔の角度を演算する（ステップＬ５）。再度、パラメータ更新部３４は、顔向き検出部３３により演算された顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との差分を演算する（ステップＬ６）。パラメータ更新部３４は、演算した差分が初期値（初期の差分）よりも小さい場合（ステップＬ７；Ｙｅｓ）、パラメータＰ_ｈ、パラメータＰ_ｗを増加させる（ステップＬ８）。顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０と増加後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の顔の角度を演算する（ステップＬ９）。パラメータ更新部３４は、顔向き検出部３３により演算された顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との差分を演算する（ステップＬ１０）。パラメータ更新部３４は、演算した差分が前回の差分よりも大きい場合（ステップＬ１１；Ｙｅｓ）、前回のパラメータＰ_ｈ、パラメータＰ_ｗを更新値とし（ステップＬ１２）、処理を終了する。一方で、パラメータ更新部３４は、演算した差分が前回の差分よりも小さい場合（ステップＬ１１；Ｎｏ）、上述のステップＬ８に戻ってパラメータＰ_ｈ、パラメータＰ_ｗを増加させる。

【0031】

なお、上記ステップＬ７で、パラメータ更新部３４は、演算した差分が初期値（初期の差分）よりも大きい場合（ステップＬ７；Ｎｏ）、パラメータＰ_ｈ、パラメータＰ_ｗを減少させる（ステップＬ１３）。顔向き検出部３３は、左右の目尻Ｅの距離ｄ_０と減少後のパラメータＰ_ｗとから補正後の距離ｗ_０を求め、左右の目尻Ｅの距離ｄ_０と減少後のパラメータＰ_ｈとから補正後の距離ｈ_０を求め、補正後の頭軸Ｐに基づいて、運転者の顔の角度を演算する（ステップＬ１４）。パラメータ更新部３４は、顔向き検出部３３により演算された顔の角度と、顔映像取得カメラ１０のずれ量に相当する角度θａ（角度θ_{ＣＰｉｔｃｈ}、角度θ_ＣＹａｗ）との差分を演算する（ステップＬ１５）。パラメータ更新部３４は、演算した差分が前回の差分よりも大きい場合（ステップＬ１６；Ｙｅｓ）、前回のパラメータＰ_ｈ、パラメータＰ_ｗを更新値とし（ステップＬ１７）、処理を終了する。一方で、パラメータ更新部３４は、演算した差分が前回の差分よりも小さい場合（ステップＬ１６；Ｎｏ）、上述のステップＬ１３に戻ってパラメータＰ_ｈ、パラメータＰ_ｗを減少させる。

【0032】

以上のように、実施形態に係る顔向き検出システム１は、顔映像取得カメラ１０と、顔特徴点検出ユニット２０と、顔向き検出部３３とを備える。顔映像取得カメラ１０は、人物の顔を撮像する。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された人物の顔の画像に基づいて、人物の目尻Ｅの位置を検出する。顔向き検出部３３は、顔特徴点検出ユニット２０により検出された目尻Ｅの位置と、人物の頭部を回旋する際の基準となる頭軸Ｐの位置とに基づいて、人物の顔の向きを検出する。

【0033】

この構成により、顔向き検出システム１は、人物が脇見した際に片方の目尻しか検出できない場合やマスク等の装着物により顔の一部が覆われている場合でも、人物の顔の向きを判定することができる。また、顔向き検出システム１は、従来のように多数の顔の特徴点を用いた３次元の回転行列等を用いて顔の向きを検出せずに、２次元の座標データに基づいて顔の向きを検出するので、演算量が増加することを抑制することができ、処理負荷を軽減することができる。この結果、顔向き判定システムは、人物の顔の向きを適正に検出することができる。

【0034】

上記顔向き検出システム１において、顔向き検出部３３は、上下方向Ｙにおける頭軸Ｐの位置と目尻Ｅの位置との間の距離ｈ_１に基づいて上下方向Ｙにおける人物の顔の向きを検出する。この構成により、顔向き検出システム１は、演算量が増加することを抑制した上で、人物の上下方向Ｙの顔の向きを適正に検出することができる。

【0035】

上記顔向き検出システム１において、顔向き検出部３３は、上下方向Ｙに交差する左右方向Ｘにおける頭軸Ｐの位置と目尻Ｅの位置（例えば、右目尻ＲＥの位置座標（ｘ_ＲＥ１、ｚ_ＲＥ１））とに基づいて左右方向Ｘにおける人物の顔の向きを検出する。この構成により、顔向き検出システム１は、演算量が増加することを抑制した上で、人物の左右方向Ｘの顔の向きを適正に検出することができる。

【0036】

上記顔向き検出システム１において、顔向き検出部３３は、頭軸Ｐの位置として、予め定められた標準の頭軸Ｐの位置を、人物が正面を向いた状態で顔映像取得カメラ１０により撮像された人物の顔の画像から求まる人物の左右の目尻Ｅの距離ｄ_０に応じて補正した補正後の頭軸Ｐの位置に基づいて、人物の顔の向きを検出する。この構成により、顔向き検出システム１は、人物の個人差に応じて頭軸Ｐを補正することができるので、人物の顔の向きの検出精度を向上することができる。

【0037】

上記顔向き検出システム１において、顔向き検出部３３は、人物の左右の目尻Ｅの距離ｄ_０に応じて、上下方向Ｙにおける頭軸Ｐの位置と目尻Ｅの位置との間の距離ｈ、及び、上下方向Ｙに交差する奥行き方向Ｚにおける頭軸Ｐの位置と左右の目尻Ｅの中央の位置との間の距離ｗを補正した補正後の頭軸Ｐの位置に基づいて、人物の顔の向きを検出する。この構成により、顔向き検出システム１は、人物の個人差に応じて頭軸Ｐを上下方向Ｙ及び奥行き方向Ｚに沿って補正することができるので、人物の顔の向きの検出精度を向上することができる。

【0038】

上記顔向き検出システム１において、顔向き検出部３３は、頭軸Ｐの位置として、予め定められた標準の頭軸Ｐの位置を、人物が正面位置に対する顔映像取得カメラ１０の相対位置に応じて補正した補正後の頭軸Ｐの位置に基づいて、人物の顔の向きを検出する。この構成により、顔向き検出システム１は、顔映像取得カメラ１０の取り付け精度の誤差等を補正することができるので、人物の顔向きの検出精度の低下を抑制することができる。

【0039】

上記顔向き検出システム１において、人物が正面位置に対する顔映像取得カメラ１０の相対位置に応じて、上下方向Ｙにおける頭軸Ｐの位置と目尻Ｅの位置との間の距離ｈ、及び、上下方向Ｙに交差する奥行き方向Ｚにおける頭軸Ｐの位置と左右の目尻Ｅの中央の位置との間の距離ｗを補正するパラメータ更新部３４をさらに備える。この構成により、顔向き検出システム１は、上下方向Ｙ及び奥行き方向Ｚにおいて、顔映像取得カメラ１０の取り付け精度の誤差等を補正することができるので、人物の顔向きの検出精度の低下を抑制することができる。

【0040】

〔変形例〕
次に、実施形態の変形例について説明する。なお、変形例では、実施形態と同等の構成要素には同じ符号を付し、その詳細な説明を省略する。図１９は、実施形態の第１変形例に係る頭軸Ｐの位置の計算処理を示すフローチャートである。第１変形例に係る頭軸Ｐの位置の計算処理は、顔認証により固有の情報を記憶する点で実施形態に係る頭軸Ｐの位置の計算処理とは異なる。図１９において、顔映像取得カメラ１０は、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＶ１、Ｖ２）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＶ３）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＶ４）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＶ５）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＶ６）。顔認証部（図示省略）は、運転者の顔の認証を行い（ステップＶ７）、顔画像、頭軸Ｐの位置、座席位置等を記憶部３２に記憶する（ステップＶ８）。

【0041】

図２０は、実施形態の第２変形例に係る頭軸Ｐの位置の計算処理を示すフローチャートである。顔向き検出システム１は、車両の加速度を検出する加速度センサー５０と、運転者が正面を向いたことを判定する正面判定部６０とを備える。図２０において、顔向き検出システム１は、加速度センサー５０により車両の加速度を検出する（ステップＷ１）。加速度センサー５０は、検出した加速度を正面判定部６０に出力する。正面判定部６０は、加速度センサー５０により車両の加速度が検出された場合（ステップＷ２；Ｙｅｓ）、車両が前進して運転者が正面を向いたと判定する。顔映像取得カメラ１０は、正面判定部６０により運転者が正面を向いたと判定された場合、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＷ３）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＷ４）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＷ５）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＷ６）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＷ７）。なお、顔向き検出システム１は、加速度センサー５０により加速度が検出されない場合（ステップＷ２；Ｎｏ）、ステップＷ１に戻って、再度、加速度を検出する。以上のように、顔向き検出システム１は、車両の加速度を検出する加速度センサー５０と、加速度センサー５０により検出された車両の加速度に基づいて運転者が正面を向いたことを判定する正面判定部６０とを更に備える。顔映像取得カメラ１０は、正面判定部６０により判定された車両の加速度に基づく判定結果に基づいて運転者の顔を撮像する。この構成により、顔向き検出システム１は、車両の加速度に基づいて運転者が正面を向いたことを自動的に判定して運転者の正面の顔を撮像することができる。

【0042】

図２１は、実施形態の第３変形例に係る頭軸Ｐの位置の計算処理を示すフローチャートである。図２１において、顔向き検出システム１は、視線検出部４０により運転者の視線を検出する（ステップＦ１）。視線検出部４０は、検出した運転者の視線を正面判定部６０に出力する。正面判定部６０は、視線検出部４０により検出された視線が正面を向いている場合（ステップＦ２；Ｙｅｓ）、運転者が正面を向いていると判定する。顔映像取得カメラ１０は、正面判定部６０により運転者が正面を向いたと判定された場合、運転者の顔が正面を向いた状態で当該運転者の顔を撮像する（ステップＦ３）。顔特徴点検出ユニット２０は、顔映像取得カメラ１０により撮像された画像データから顔を検出し（ステップＦ４）、当該顔の特徴点として左右の目尻Ｅ、左右の瞳孔等を検出し、これらの顔の部位の位置を検出する（ステップＦ５）。目尻距離演算部３１は、顔特徴点検出ユニット２０から出力された左右の目尻Ｅの位置を表す情報（左右の目尻Ｅの位置座標を表す情報）に基づいて、左右の目尻Ｅの距離ｄ_０を演算すると共に、左右の目尻Ｅの中央の位置を演算する（ステップＦ６）。顔向き検出部３３は、予め定められた標準の頭軸Ｐの位置を、運転者が正面を向いた状態で顔映像取得カメラ１０により撮像された運転者の顔の画像から求まる運転者の左右の目尻Ｅの距離ｄ_０に応じて補正して補正後の頭軸Ｐの位置を演算する（ステップＦ７）。なお、顔向き検出システム１は視線検出部４０により検出した視線が正面を向いていない場合（ステップＦ２；Ｎｏ）、ステップＦ１に戻って、再度、視線を検出する。以上のように、顔向き検出システム１は、運転者の視線を検出する視線検出部４０と、視線検出部４０により検出された運転者の視線に基づいて運転者が正面を向いたことを判定する正面判定部６０とを更に備える。顔映像取得カメラ１０は、正面判定部６０により判定された運転者の視線に基づく判定結果に基づいて運転者の顔を撮像する。この構成により、顔向き検出システム１は、運転者の視線に基づいて運転者が正面を向いたことを自動的に判定して運転者の正面の顔を撮像することができる。

【0043】

上記説明では、顔向き検出部３３は、記憶部３２に記憶された標準の頭軸Ｐを個人に合わせて補正するパーソナライズ処理を行う例について説明したが、これに限定されず、当該パーソナライズ処理を行わずに標準の頭軸Ｐに基づいて顔向きを検出してもよい。

【0044】

パラメータ更新部３４は、記憶部３２に記憶された標準の頭軸Ｐを顔映像取得カメラ１０の相対位置に応じて補正するパラメータ更新処理を行う例について説明したが、これに限定されず、当該パラメータ更新処理を行わずに標準の頭軸Ｐに基づいて顔向きを検出してもよい。

【符号の説明】

【0045】

１ 顔向き検出システム
１０ 顔映像取得カメラ（撮像部）
２０ 顔特徴点検出ユニット（目尻検出部）
３３ 顔向き検出部
３４ パラメータ更新部
４０ 視線検出部
５０ 加速度センサー
Ｅ 目尻
Ｐ 頭軸（頭部回旋基準）
Ｙ 上下方向（鉛直方向）
Ｘ 左右方向
Ｚ 奥行き方向
ｈ、ｈ_１、ｄ_０、ｗ 距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】