特開 2022-154026 顔向き導出装置、顔の向き導出方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022154026

(43)【公開日】2022-10-13

(54)【発明の名称】顔向き導出装置、顔の向き導出方法、およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221005BHJP

   G06T 7/00 20170101ALI20221005BHJP

   B60R 21/015 20060101ALI20221005BHJP

【ＦＩ】

G06T7/70 B

G06T7/00 660A

B60R21/015 310

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021056850

(22)【出願日】2021-03-30

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】李 亦楊

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA14

5L096DA02

5L096FA06

5L096FA09

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】顔の向きを精度よく導出することを支援すること。
【解決手段】顔向き導出装置は、人物の顔が撮像された顔画像から複数の面部の面部特徴を取得する取得部と、前記面部特徴に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、前記顔の左右方向の回転度合を導出する第１導出部と、前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出する第２導出部と、前記複数の面部特徴から得られた着目位置と参照位置との位置関係に基づいて、前記顔の上下方向の傾き度合を導出する第３導出部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

人物の顔が撮像された顔画像から複数の面部の面部特徴を取得する取得部と、
前記面部特徴に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、前記顔の左右方向の回転度合を導出する第１導出部と、
前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出する第２導出部と、
前記複数の面部特徴から得られた着目位置と参照位置との位置関係に基づいて、前記顔の上下方向の傾き度合を導出する第３導出部と、
を備える顔向き導出装置。

【請求項2】

前記面部特徴は、以下の（ａ）から（ｇ）の特徴のうち、２つ以上の特徴を含む、
（ａ）右目の内眼角の位置および左目の内眼角の位置
（ｂ）右目の外眼角の位置および左目の外眼角の位置
（ｃ）右耳の耳介の外縁の位置および左耳の耳介の外縁の位置
（ｄ）右の鼻孔の外縁の位置および左の鼻孔の外縁の位置
（ｅ）口の右端の位置および口の左端の位置
（ｆ）口の右端と口の左端との中央と右の内眼角とを結んだ線と顔の上側の輪郭とが接触する第１位置および前記中央と左の内眼角とを結んだ線と顔の上側の輪郭とが接触する第２位置
（ｇ）口の右端と口の左端との中央と右の外眼角とを結んだ線と顔の下側の輪郭とが接触する第３位置および前記中央と左の外眼角とを結んだ線と顔の下側の輪郭とが接触する第４位置
請求項１に記載の顔向き導出装置。

【請求項3】

前記第３導出部は、
上記の（ａ）、（ｂ）、（ｄ）、および（ｅ）から得た前記着目位置と前記参照位置との位置関係に基づいて、前記顔の上下方向の傾き度合を導出する、
請求項２に記載の顔向き導出装置。

【請求項4】

前記第３導出部は、
上記の（ａ）、（ｂ）、（ｄ）、および（ｅ）から得た前記着目位置に対する前記参照位置の方向と、前記着目位置と前記参照位置との距離とに基づいて、前記顔の上下方向の傾き度合を導出する、
請求項３に記載の顔向き導出装置。

【請求項5】

前記第１導出部は、前記特徴のうち、少なくも第１の特徴の第１中心と第２の特徴の第２中心とに基づいて、前記顔の縦方向に延在する前記第１特徴軸の顔の横方向の偏り度合に基づいて、前記顔の左右方向の回転度合を導出する、
請求項２から４のうちいずれか１項に記載の顔向き導出装置。

【請求項6】

前記第１導出部は、前記面部特徴に基づいて前記顔の横方向に関する中心を通り且つ前記顔の縦方向に延在する前記第１特徴軸の顔の横方向の偏り度合に基づいて、前記顔の左右方向の回転度合を導出する、
請求項１から５のうちいずれか１項に記載の顔向き導出装置。

【請求項7】

前記第２導出部は、
前記面部特徴に基づいて前記顔の横方向に関する中心を通り且つ前記顔の縦方向に延在する第１特徴軸が、基準とする縦方向の基準軸に対して傾いている度合、または前記縦方向に延在する第１特徴軸に直交する横方向に延在する第２特徴軸が基準とする横方向に延在する基準軸に対して傾いている度合に基づいて、顔の左右方向の傾き度合を導出する、
請求項１から６のうちいずれか１項に記載に記載の顔向き導出装置。

【請求項8】

人物の顔が撮像された顔画像から複数の面部の面部特徴を取得する取得部と、
前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出する第２導出部と、
前記複数の面部特徴から得られた着目位置に対する基準の位置に基づいて、前記顔の上下方向の傾き度合を導出する第３導出部と、のうち一方または双方を含む、
顔向き導出装置。

【請求項9】

コンピュータが、
人物の顔が撮像された顔画像から複数の面部の面部特徴を取得し、
前記面部特徴に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、前記顔の左右方向の回転度合を導出し、
前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出し、
前記複数の面部特徴から得られた着目位置に対する基準の位置に基づいて、前記顔の上下方向の傾き度合を導出する、
顔向き導出方法。

【請求項10】

コンピュータに、
人物の顔が撮像された顔画像から複数の面部の面部特徴を取得させ、
前記面部特徴に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、前記顔の左右方向の回転度合を導出させ、
前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出させ、
前記複数の面部特徴から得られた着目位置に対する基準の位置に基づいて、前記顔の上下方向の傾き度合を導出させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔向き導出装置、顔の向き導出方法、およびプログラムに関する。

【背景技術】

【0002】

従来、人物の画像から抽出された複数の特徴部のうち最も移動量の大きい特徴部を鼻孔として抽出し、抽出された鼻孔と算出された頭部回転軸に応じて人物の左右の顔向きを検出する顔向き検出装置が開示されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５３６７０３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、顔の向きを精度よく検出することができない場合があった。例えば、鼻孔の位置の誤差により検出の精度が安定しなかったり、左右方向以外の顔の向きの検出の精度が十分でなかったりする場合がある。

【0005】

本発明は、このような事情を考慮してなされたものであり、顔の向きを精度よく導出することを支援することができる顔向き導出装置、顔の向き導出方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る顔向き導出装置、顔の向き導出方法、およびプログラムは、以下の構成を採用した。
（１）：顔向き導出装置は、人物の顔が撮像された顔画像から複数の面部の面部特徴を取得する取得部と、前記面部特徴に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、前記顔の左右方向の回転度合を導出する第１導出部と、前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出する第２導出部と、前記複数の面部特徴から得られた着目位置と参照位置との位置関係に基づいて、前記顔の上下方向の傾き度合を導出する第３導出部とを備える。

【0007】

（２）：上記（１）の態様において、前記面部特徴は、（ａ）右目の内眼角の位置および左目の内眼角の位置、（ｂ）右目の外眼角の位置および左目の外眼角の位置、（ｃ）右耳の耳介の外縁の位置および左耳の耳介の外縁の位置、（ｄ）右の鼻孔の外縁の位置および左の鼻孔の外縁の位置、（ｅ）口の右端の位置および口の左端の位置、（ｆ）口の右端と口の左端との中央と右の内眼角とを結んだ線と顔の上側の輪郭とが接触する第１位置および前記中央と左の内眼角とを結んだ線と顔の上側の輪郭とが接触する第２位置、（ｇ）口の右端と口の左端との中央と右の外眼角とを結んだ線と顔の下側の輪郭とが接触する第３位置および前記中央と左の外眼角とを結んだ線と顔の下側の輪郭とが接触する第４位置のうち、２つ以上の特徴を含む。

【0008】

（３）：上記（２）の態様において、上記の（ａ）、（ｂ）、（ｄ）、および（ｅ）から得た前記着目位置と前記参照位置との位置関係に基づいて、前記顔の上下方向の傾き度合を導出する。

【0009】

（４）：上記（３）の態様において、前記第３導出部は、上記の（ａ）、（ｂ）、（ｄ）、および（ｅ）から得た前記着目位置に対する前記参照位置の方向と、前記着目位置と前記参照位置との距離とに基づいて、前記顔の上下方向の傾き度合を導出する。

【0010】

（５）：上記（２）から（４）のいずれかの態様において、前記第１導出部は、前記特徴のうち、少なくも第１の特徴の第１中心と第２の特徴の第２中心とに基づいて、前記顔の縦方向に延在する前記第１特徴軸の顔の横方向の偏り度合に基づいて、前記顔の左右方向の回転度合を導出する。

【0011】

（６）：上記（１）から（５）のいずれかの態様において、 前記第１導出部は、前記面部特徴に基づいて前記顔の横方向に関する中心を通り且つ前記顔の縦方向に延在する前記第１特徴軸の顔の横方向の偏り度合に基づいて、前記顔の左右方向の回転度合を導出する。

【0012】

（７）：上記（１）から（６）のいずれかの態様において、前記第２導出部は、前記面部特徴に基づいて前記顔の横方向に関する中心を通り且つ前記顔の縦方向に延在する第１特徴軸が、基準とする縦方向の基準軸に対して傾いている度合、または前記縦方向に延在する第１特徴軸に直交する横方向に延在する第２特徴軸が基準とする横方向に延在する基準軸に対して傾いている度合に基づいて、顔の左右方向の傾き度合を導出する。

【0013】

（８）：顔向き導出装置は、人物の顔が撮像された顔画像から複数の面部の面部特徴を取得する取得部と、前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出する第２導出部と、前記複数の面部特徴から得られた着目位置に対する基準の位置に基づいて、前記顔の上下方向の傾き度合を導出する第３導出部と、のうち一方または双方を含む。

【0014】

（９）：この発明の一態様に係る顔の向き導出方法は、コンピュータが、人物の顔が撮像された顔画像から複数の面部の面部特徴を取得し、前記面部特徴に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、前記顔の左右方向の回転度合を導出し、前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出し、前記複数の面部特徴から得られた着目位置に対する基準の位置に基づいて、前記顔の上下方向の傾き度合を導出する。

【0015】

（１０）：この発明の一態様に係るプログラムは、コンピュータに、人物の顔が撮像された顔画像から複数の面部の面部特徴を取得させ、前記面部特徴に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、前記顔の左右方向の回転度合を導出させ、前記複数の面部特徴から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、前記顔の左右方向の傾き度合を導出させ、前記複数の面部特徴から得られた着目位置に対する基準の位置に基づいて、前記顔の上下方向の傾き度合を導出させる。

【発明の効果】

【0016】

（１）から（７）、（９）、または（１０）によれば、顔向き導出装置、顔の向き導出方法、またはプログラムは、顔の左右方向の回転度合、顔の左右方向の傾き、および顔の上下方向の傾きを導出することで、顔の向きを精度よく導出することを支援することができる。これにより、例えば、顔向き導出装置、顔の向き導出方法、またはプログラムは、顔の向きを精度よく導出することができる。

【0017】

（２）によれば、顔向き導出装置は、検出しやすい特徴を用いることで、より精度よく顔の向きを導出することができる。

【0018】

（３）または（４）によれば、顔向き導出装置は、上記の（ａ）、（ｂ）、（ｄ）、および（ｅ）を用いることにより、顔の上下の方向の傾き度合を精度よく導出することができる。

【0019】

（５）または（６）によれば、顔向き導出装置は、より精度よく顔の左右方向の回転度合を導出することができる。

【0020】

（７）によれば、顔向き導出装置は、より精度よく顔の左右方向の傾き度合を導出することができる。

【0021】

（８）によれば、顔向き導出装置は、顔の左右方向の傾き度合または顔の上下方向の傾き度合の一方または双方を導出することで、顔の向きを精度よく導出することを支援することができる。

【図面の簡単な説明】

【0022】

【図1】実施形態に係る顔向き導出装置を含む車両システム１の構成図である。

【図2】特徴量について説明するための図である。

【図3】特徴量の詳細について説明するための図である。

【図4】頭部が基準の位置（基準位置）であるときの中心軸Ａと頭部が左回転しているときの中心軸Ｂとの一例を示す図である。

【図5】基準位置の基準軸と頭部が左に傾いているときの第２特徴軸との一例を示す図である。

【図6】中心軸を用いて頭部の傾きを導出する手法の一例を示す図である。

【図7】中心位置を用いて頭部の上下の傾きを導出する手法の一例を示す図である。

【図8】顔向き導出装置５０が基準となる位置を取得するために実行する処理の流れの一例を示すフローチャートである。

【図9】車両システム１が実行する処理の流れの他の一例を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、図面を参照し、本発明の顔向き導出装置、顔の向き導出方法、およびプログラムの実施形態について説明する。

【0024】

［全体構成］
図１は、実施形態に係る顔向き導出装置を含む車両システム１の構成図である。本実施形態では、顔向き導出装置は、車両などの移動体に搭載されるものとして説明するが、これに限定されず、車両とは異なる装置に搭載されてもよいし、他の位置に設置されてもよい。

【0025】

車両システム１は、例えば、車室内カメラ１０と、顔向き導出装置５０と、車両制御装置１００とを備える。

【0026】

車室内カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ１０は、例えば、車室内の車両の乗員を撮像可能な位置に取り付けられる。車室内カメラ１０は、例えば、運転席に着座した乗員の頭部を中心に撮像する。

【0027】

［顔向き導出装置］
顔向き導出装置５０は、例えば、面部特徴取得部５２と、幾何特徴取得部５４と、第１導出部５６と、第２導出部５８と、第３導出部６０と、顔向き取得部６２と、記憶部７０とを備える。面部特徴取得部５２、幾何特徴取得部５４、第１導出部５６、第２導出部５８、第３導出部６０、および顔向き取得部６２の一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め顔向き導出装置５０の記憶装置のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで記憶装置のＨＤＤやフラッシュメモリにインストールされてもよい。面部特徴取得部５２または幾何特徴取得部５４の一方または双方は「取得部」の一例である。

【0028】

（面部特徴取得部、幾何特徴部）
面部特徴取得部５２は、車室内カメラ１０により撮像された画像を取得し、取得した画像から顔の特徴を取得（顔の所定の部位を特定）する。幾何特徴取得部５４は、面部特徴取得部５２が取得した顔の特徴に基づいて、人物の頭部の幾何特徴を表現した特徴量（幾何特徴量）を取得する。図２は、特徴量について説明するための図である。特徴量は、「面部特徴」の一例である。

【0029】

図３は、特徴量の詳細について説明するための図である。図３において、顔の右側のパーツには符号「１」が付与され、顔の左側のパーツには符号「２」が付与されている。同じアルファベットが付与された特徴量は、ペアとなる特徴量である。以下の説明では、符号「１」および「２」の表記を省略して説明する。

【0030】

特徴量は、「ａ；内眼角の位置」「ｂ；外眼角の位置」、「ｃ；耳介の外縁の中央（顔の最も外側）の位置」、「ｄ；鼻孔の外縁の位置」、「ｅ；口の端部の位置」、「ｆ；上側の交点の位置」、または「ｇ；下側の交点の位置」のうち、一以上の特徴量を含む。「ｆ；上側の交点の位置」は、口の両端の位置の中央と内眼角とを通る線分を引き、その線分と顔の上側の輪郭との交点である。「ｇ；下側の交点」は、口の両端の位置の中央と外眼角とを通る線分を引き、その線分と顔の下側の輪郭との交点である。

【0031】

以下、頭部を水平方向に回転させることを「左回転」または「右回転」、頭部を地面の方向に傾けることを「下方向に傾ける」、頭部を天井方向に傾けることを「上方向に傾ける」、頭部を左肩に近づけるように傾けることを「左方向に傾ける」、頭部を右肩に近づけるように傾けることを「右方向に傾ける」と称する場合がある。

【0032】

なお、本実施形態の処理で用いられる特徴量は、上記に代えて（または加えて）、他の特徴量が用いられてもよい。例えば、マスクや眼鏡を人物が装着している場合、これらの装着された物体の形状を表現する特徴量を用いて処理が行われてもよい。

【0033】

（第１導出部）
第１導出部５６は、特徴量に基づいて得られた第１特徴軸または着目位置が、顔の横方向に偏っている偏り度合に基づいて、顔の左右方向の回転度合を導出する。第１特徴軸とは、例えば、複数のペアとなる特徴量の中心の位置（座標情報）に基づいて得られた中心軸である。第１導出部５６は、例えば、全てのペア（またはは２つなどの所定数のペア）となる特徴量のそれぞれの中心の位置を導出し、導出した中心の位置に対して最小二乗法などの統計的な処理を行って得られた各中心の位置同士の誤差が最小となる中心軸を導出する。

【0034】

図４は、頭部が基準の位置（基準位置）であるときの中心軸Ａと頭部が左回転しているときの中心軸Ｂとの一例を示す図である。図示するように頭部が回転や傾いていないとき中心軸Ａを基準に頭部は対称となる。図示するように頭部が左回転しているとき中心軸Ｂは中心よりも左側に偏る。第１導出部５６は、例えば、中心軸Ｂより左側の幾何特徴の面積と、中心軸Ｂより右側の幾何特徴の面積との比に基づいて、頭部の回転度合を導出する（図中、（１））。記憶部７０の参照情報７２には、例えば、面積の比と頭部の回転度合との関係が関連付けられた情報や、面積の比を入力すると回転度合を出力する関数（線形関数）などが記憶されている。第１導出部５６は、これらの情報を参照して面積の比から頭部の回転度合および回転方向を導出する。

【0035】

なお、第１導出部５６は、例えば、中心軸から頭部の端部（例えば耳介の外縁の中央）までの距離の比に基づいて、面積の比と同様の考え方を用いて、頭部の回転度合を導出してもよい（図中、（２））。また、第１導出部５６は、中心軸に代えて、ペアとなる特徴量の中心の着目位置を用いて頭部の回転度合を導出してもよい。例えば、ペアとなる特徴量の中心の着目位置から頭部の端部までの距離の比に基づいて（着目位置の偏り度合に基づいて）、頭部の回転度合が導出されてもよい。

【0036】

（第２導出部）
第２導出部５８は、複数の特徴量から得られた第２特徴軸の傾きが、基準軸の傾きに対して乖離している乖離度合に基づいて、顔の左右方向の傾き度合を導出する。基準軸は、例えば、基準位置における中心軸に直交する軸である。基準軸は、予め特徴量の位置を統計的に処理した結果から得られた軸であってもよい。例えば、基準軸は、頭部の横方向に延在し且つ幾何特徴の中心点を通る軸である。幾何特徴の中心点とは、例えば、縦方向に関して中心軸を求めたように各特徴量を最小二乗法により誤差が小さくなるように求められた位置であり、且つ上述した中心軸に重なる位置である。第２特徴軸は、例えば、中心軸に直交する軸を、上記の中心を通過させるように生成された軸である。

【0037】

図５は、基準位置の基準軸と頭部が左に傾いているときの第２特徴軸との一例を示す図である。第２導出部５８は、例えば、基準軸と第２特徴軸とを重ね、これらの軸により形成されるなす角θを導出し、なす角θに基づいて、頭部の左右の傾きを導出する。記憶部７０の参照情報７２には、例えば、なす角θと頭部の左右の傾き合との関係が関連付けらえた情報や、なす角θを入力すると左右の傾きを出力する関数（線形関数）などが記憶されている。第２導出部５８は、これらの情報を参照してなす角θから頭部の左右の傾きを導出する。

【0038】

なお、第２導出部５８は、特徴軸に代えて、中心軸を用いて頭部の左右の傾きを導出してもよい。図６は、中心軸を用いて頭部の傾きを導出する手法の一例を示す図である。第２導出部５８は、例えば、基準位置の人物の中心軸Ａと、第１導出部５６の導出手法と同様に導出された中心軸Ｘとを重畳させたときのなす角θ１に基づいて、頭部の左右の傾きを導出してもよい。この場合、記憶部７０の参照情報７２には、例えば、なす角θ１と頭部の左右の傾き合との関係が関連付けらえた情報や、なす角θ１を入力すると左右の傾きを出力する関数（線形関数）などが記憶されている。

【0039】

（第３導出部）
第３導出部６０は、複数の特徴量から得られた着目位置と、参照位置との位置関係に基づいて、顔の上下方向の傾き度合を導出する。複数の特徴量とは、例えば、「ａ；内眼角」、「ｂ；外眼角」、「ｄ；鼻孔の外縁」または「ｅ；口の端部」のうち、全てまたは複数の特徴量である。例えば、これらの特徴量は、頭部が上下に傾いた場合に位置の変化量が比較的大きいため、これらの特徴量を用いることにより、上下の傾きは精度よく求められる。着目位置は、複数の特徴量の中心位置である。中心位置は、例えば、最小二乗法を用いて特徴量の縦方向の中心軸および横方向の中心軸を求め、これらの軸が重なる位置や、その他の統計的手法により得られた位置等である。参照位置は、基準位置における中心位置である。

【0040】

図７は、中心位置を用いて頭部の上下の傾きを導出する手法の一例を示す図である。第３導出部６０は、例えば、参照位置に対する着目位置の方向と、参照位置と着目位置との距離ｄに基づいて、頭部の左右の傾きを導出する。記憶部７０の参照情報７２には、例えば、方向と距離ｄと頭部の上下の傾き合との関係が関連付けらえた情報や、方向および距離ｄを入力すると上下の傾きを出力する関数（線形関数）などが記憶されている。

【0041】

顔向き取得部６２は、上述したように導出された、頭部の左右の回転度合、左右の傾き度合、および上下の傾き度合に基づいて、人物の顔の向きを導出する。例えば、顔向き取得部６２は、記憶部７０に記憶された回転度合、左右の傾き度合、および上下の傾き度合と、顔の向きとが関連付けられた情報や、これらの要素（回転度合、左右の傾き度合、および上下の傾き度合）を入力すると、顔の向きを導出する関数を基づいて、顔の向きを導出する。

【0042】

［車両制御装置］
図１の説明に戻る。車両制御装置１００は、取得部１０２、車両制御部１０４、および通知制御部１０６を備える。取得部１０２は、顔向き取得部６２により取得された顔の向きを取得する。車両制御部１０４は、不図示の操作子や、各種センサなどの検知結果に基づいて、駆動源や、制動装置、ステアリング装置などを制御し、車両を走行させたり停車させたりする。

【0043】

通知制御部１０６は、顔の向きが設定された向きに該当しない場合、出力装置２００に所定の処理をさせる。例えば、通知制御部１０６は、顔の向きが車両の乗員が前方を向いていなかったり、よそ見をしていたりする時間が所定時間を超えた場合、出力装置２００に所定の処理を実行させる。なお、この機能部の機能は、顔向き導出装置５０に含まれてもよい。

【0044】

出力装置２００は、表示部やスピーカ、シートベルトなど情報を出力する装置である。所定の処理とは、乗員に周辺を監視することを促す報知情報を出力する処理である。所定の処理とは、表示部が報知情報を含む画像を表示することや、スピーカが報知情報に対応する音声を出力すること、シートベルトが振動で報知情報を出力することなどである。

【0045】

上述したように、顔向き導出装置５０は、上記のように精度よく顔の回転方向、左右の傾き、上下の傾きを導出し、更にこれらを用いてより精度よく顔の向きを導出することができる。車両制御装置１００は、顔向き導出装置５０が導出した顔の向きを用いて、適切に乗員に報知を行うことができる。

【0046】

［フローチャート（その１）］
図８は、顔向き導出装置５０が基準となる位置を取得するために実行する処理の流れの一例を示すフローチャートである。まず、顔向き導出装置５０が、基準とする画像を取得する（ステップＳ１００）。この画像は、例えば運転席に着座した乗員が頭部を回転させずに、左右および上下に傾けていない状態（前方を真っ直ぐ向いている状態）で撮像された画像である。例えば、この画像は、イグニッションスイッチがオン状態にされ、車両が発進するときに撮像された画像や、顔向き導出装置５０が、乗員に真っすぐ正面を向くようにアナウンサした後に撮像された画像である。

【0047】

次に、顔向き導出装置５０は、取得した画像から中心軸や参照位置を導出する（ステップＳ１０２）。次に、顔向き導出装置５０は、ステップＳ１０２の導出の結果を記憶部７０に記憶させる（ステップＳ１０４）。これにより、本フローチャートの１ルーチンが終了する。

【0048】

上記のように、顔向き導出装置５０は、顔の向き導出を導出する際に用いられる情報を取得することができる。

【0049】

［フローチャート（その２）］
図９は、車両システム１が実行する処理の流れの他の一例を示すフローチャートである。まず、顔向き導出装置５０の面部特徴取得部５２が、画像を取得する（ステップＳ２００）。次に、面部特徴取得部５２および幾何特徴取得部５４が、特徴量を取得する（ステップＳ２０２）。

【0050】

次に、第１導出部５６は、頭部の回転度合を導出する（ステップＳ２０４）。次に、第２導出部５８は、頭部の左右の傾き度合を導出する（ステップＳ２０６）。次に、第３導出部６０は、頭部の上下の傾き度合を導出する（ステップＳ２０８）。次に、顔向き取得部６２は、ステップＳ２０４、ステップＳ２０６、およびステップＳ２０８の処理で導出された結果に基づいて、顔の向き（頭部の向き）を導出する（ステップＳ２１０）。上記の頭部の回転度合や傾き度合を導出される処理において、図８のフローチャートの処理で取得された中心軸や中心位置の情報が参照される。

【0051】

次に、車両制御装置１００が、導出された顔の向きを取得し、取得した顔の向きが、所定の条件を満たすか否かを判定する（ステップＳ２１２）。所定の条件を満たさない場合、本フローチャートの１ルーチンが終了する。所定の条件を満たす場合、車両制御装置１００は、出力装置２００に報知を行わせる（ステップＳ２１４）。これにより、本フローチャートの１ルーチンが終了する。

【0052】

上記のように、車両システム１は、頭部の回転度合、左右の傾き度合、または頭部の上下の傾き度合に基づいて、顔の向きを精度よく導出することができる。これにより、例えば、車両の乗員が前方を向いていた方が好ましい状況において、車両システム１は、適切に乗員に報知を行うことができる。

【0053】

なお、上記の例において、顔向き導出装置５０において、第１導出部５６、第２導出部５８、または第３導出部６０のうち一部の導出部は省略されてもよい。例えば、顔向き導出装置５０は、第１導出部５６および顔向き取得部６２を有さず、第２導出部５８または第３導出部６０の一方または双方を備えてもよい。この場合、例えば、顔向き導出装置５０は、第２導出部５８の導出結果または第３導出部６０の導出結果の一方または双方を、他の装置に提供し、他の装置が、顔向き導出装置５０から取得した導出結果を用いて、顔の向きを導出してもよい。このように、顔向き導出装置５０は、顔の向き導出する支援を行ってもよい。

【0054】

また、顔向き導出装置５０は、第１導出部５６、第２導出部５８、または第３導出部６０の導出結果のうち、一部の導出結果を用いて、顔の向きを導出してもよい。例えば、顔向き導出装置５０は、第２導出部５８の導出結果または第３導出部６０の導出結果のうち一方または双方に基づいて、顔が所定の方向に向いていないと判定してもよい。顔向き導出装置５０は、例えば、顔の左右の傾きまたは顔の上下の傾きが、予め定められた傾きの範囲内でないと判定してもよい。

【0055】

また、車両制御装置１００は、顔向き導出装置５０から得た情報に基づいて、車両が自動運転または運転支援を行うための条件とされる向きに顔が向いていないと判定した場合、自動運転または運転支援を停止してもよい。運転支援とは、所定の速度で車両が車線内を運転者の操作に依らずに走行する支援や、前走車両に運転者の操作に依らずに走行する支援等である。

【0056】

なお、顔向き導出装置５０の処理結果は、車両に関する制御に用いてられるものとして説明したが、これに代えて（または加えて）、他の装置の制御に用いられてもよい。例えば、人物が顔を向けて注視している方向を推定するための装置などの処理に用いられてもよい。

【0057】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0058】

１‥車両システム、５０‥顔向き導出置、５２‥面部特徴取得部、５４‥幾何特徴取得部、５６‥第１導出部、５８‥第２導出部、６０‥第３導出部、６２‥顔向き取得部、７０‥記憶部、７２‥参照情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】