特許 6572538 下方視判定装置および下方視判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6572538

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】下方視判定装置および下方視判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190902BHJP

   G06T 7/20 20170101ALI20190902BHJP

   G06T 1/00 20060101ALI20190902BHJP

   G08G 1/16 20060101ALI20190902BHJP

【ＦＩ】

   G06T7/00 660A

   G06T7/00 650Z

   G06T7/20 300B

   G06T1/00 340A

   G08G1/16 F

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2014-252941(P2014-252941)

(22)【出願日】2014年12月15日

(65)【公開番号】特開2016-115118(P2016-115118A)

(43)【公開日】2016年6月23日

【審査請求日】2017年11月10日

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】大須賀 晋

(72)【発明者】

【氏名】加藤 隆志

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１１−０４８５３１（ＪＰ，Ａ）

【文献】 特開２００３−２３３８０３（ＪＰ，Ａ）

【文献】 特開２００９−０１５５４９（ＪＰ，Ａ）

【文献】 特開２００８−１６７８０６（ＪＰ，Ａ）

【文献】 特開２００８−１７１０６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

被験者の三次元顔形状と、被験者の目の位置と、目の標準の状態から被験者の下方視の状態までの変化を示している目の形状の変化の状態と形状パラメータとが対応付けられた変化情報と、が登録された三次元顔モデルを記憶する記憶部と、
撮像装置で運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定する照合部と、
前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出する開眼度算出部と、
前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定する形状パラメータ判定部と、
前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する下方視判定部と、を備えている下方視判定装置。

【請求項2】

前記運転者が下方視状態であると判定された場合には、警報を出力する処理部、
をさらに備えた請求項１に記載の下方視判定装置。

【請求項3】

前記被験者の撮像画像に基づいて、前記三次元顔形状と前記目の位置とを含む三次元顔構造データと、前記目の形状の変化の状態と前記形状パラメータとが対応付けられた前記変化情報と、を求める計測部と、
計測された前記三次元顔構造データと前記変化情報とを、前記三次元顔モデルとして前記記憶部に登録するモデル生成部と、
をさらに備えた請求項１または２に記載の下方視判定装置。

【請求項4】

下方視判定装置で実行される下方視判定方法であって、
前記下方視判定装置は、被験者の三次元顔形状と、被験者の目の位置と、目の標準の状態から被験者の下方視の状態までの変化を示している目の形状の変化の状態と形状パラメータとが対応付けられた変化情報と、が登録された三次元顔モデルを記憶する記憶部、を備え、
運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定し、
前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出し、
前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定し、
前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する、
ことを含む下方視判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、下方視判定装置および下方視判定方法に関する。

【背景技術】

【0002】

近年、撮像された静止画像または動画像に含まれる顔の位置および向き、ならびに眼および口等の顔部品の状態を検出する顔検出技術の開発が進められている。例えば、運転者の目の位置と開閉眼の状態とを検出し、目の位置と開閉眼の状態とから、運転中の運転者の左右方向と下方向の脇見を検出して、障害物が接近しているときには、脇見警報を出力する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３８５５７９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、開閉眼の状態を上下瞼間の距離で判断し、この開閉眼の状態で下方視か否かを判断しているが、上下瞼間の距離が小さくなるのは、下方視以外の場合もある。このため、従来技術では、正確な下方視判定を行うことが困難である。

【0005】

そこで、本発明の課題の一つは、より正確な運転者の下方視判定を行うことができる下方視判定装置および下方視判定方法を提供することである。

【課題を解決するための手段】

【0006】

本発明の下方視判定装置は、被験者の三次元顔形状と、被験者の目の位置と、目の標準の状態から被験者の下方視の状態までの変化を示している目の形状の変化の状態と形状パラメータとが対応付けられた変化情報と、が登録された三次元顔モデルを記憶する記憶部と、撮像装置で運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定する照合部と、前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出する開眼度算出部と、前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定する形状パラメータ判定部と、前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する下方視判定部と、を備えた。上記構成により、より正確な下方視判断を行うことができる。また、上記構成により、下方視の誤判断に伴う警報の出力を防止することができる。

【0009】

また、本発明の下方視判定装置は、前記運転者が下方視状態であると判定された場合には、警報を出力する処理部、をさらに備えた。上記構成により、運転者の脇見運転を防止することができる。

【0010】

また、本発明の下方視判定装置は、前記被験者の撮像画像に基づいて、前記三次元顔形状と前記目の位置とを含む三次元顔構造データと、前記目の形状の変化の状態と前記形状パラメータとが対応付けられた前記変化情報と、を求める計測部と、計測された前記三次元顔構造データと前記変化情報とを、前記三次元顔モデルとして前記記憶部に登録するモデル生成部と、をさらに備えた。上記構成により、より一層正確な下方視判断を行うことができる。

【0011】

また、本発明の下方視判定方法は、下方視判定装置で実行される下方視判定方法であって、前記下方視判定装置は、被験者の三次元顔形状と、被験者の目の位置と、目の標準の状態から被験者の下方視の状態までの変化を示している目の形状の変化の状態と形状パラメータとが対応付けられた変化情報と、が登録された三次元顔モデルを記憶する記憶部、を備え、運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定し、前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出し、前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定し、前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する。また、上記構成により、下方視の誤判断に伴う警報の出力を防止することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、本実施形態にかかる車両の車室の一部が透視された状態が示された斜視図である。

【図2】図２は、本実施形態にかかる撮像装置の配置の一例を示す図である。

【図3】図３は、本実施形態にかかる下方視判定システムの一例を示すブロック図である。

【図4】図４は、本実施形態のＥＣＵの機能的構成を示すブロック図である。

【図5】図５は、本実施形態の三次元顔モデルの一例を説明するための模式図である。

【図6】図６は、本実施形態の三次元顔モデルに登録された変化情報の一例を示す模式図である。

【図7】図７は、本実施形態における三次元顔モデルの生成処理の手順の一例を示すフローチャートである。

【図8】図８は、本実施形態にかかる下方視判定処理の手順の一例を示すフローチャートである。

【図9】図９は、本実施形態にかかる下方視判定処理の手順の一例を示すフローチャート（図８の続き）である。

【図10】図１０は、本実施形態における三次元顔モデルにおける顔のモデルＭについて作成されるテンプレートＴを示す模式図である。

【図11】図１１は、本実施形態における顔の向き、開眼度、下方視の形状パラメータのそれぞれの経時的変化を示す図である。

【発明を実施するための形態】

【0013】

以下、本実施形態の下方視判定装置を車両１に搭載した例をあげて説明する。
本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

【0014】

図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

【0015】

また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。

【0016】

また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）や、ＯＥＬＤ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ ｄｉｓｐｌａｙ）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員は、操作入力部を介して表示装置の表示画面に表示される画像を視認することができる。また、乗員は、表示装置の表示画面に表示される画像に対応した位置において手指等で操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

【0017】

また、図２に示すように、ハンドルコラム２０２には、撮像装置２０１が設置されている。この撮像装置２０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等である。撮像装置２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像装置２０１は、運転者３０２の顔を順次撮影し、撮影により得た画像についての画像データを順次出力する。

【0018】

次に、本実施形態にかかる車両１における下方視判定装置を有する下方視判定システムについて説明する。図３は、本実施形態にかかる下方視判定システム１００の構成の一例を示すブロック図である。図３に例示されるように、下方視判定システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部等の操作信号等を、受け取ることができる。ここで、ＥＣＵ１４は、下方視判定装置の一例である。

【0019】

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＲＯＭ１４ｂ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

【0020】

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

【0021】

図４は、本実施形態のＥＣＵ１４の機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、入力部４０１と、顔データ計測部４０２と、モデル生成部４０３と、照合部４０４と、形状パラメータ判定部４０５と、開眼度算出部４０６と、下方視判定部４０７と、処理部４０８と、三次元顔モデル４１０と、第１バッファ４２０と、第２バッファ４３０と、第３バッファ４４０と、を主に備えている。図４に示される、入力部４０１、顔データ計測部４０２、モデル生成部４０３、照合部４０４、形状パラメータ判定部４０５、開眼度算出部４０６、下方視判定部４０７、処理部４０８の各構成は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェアで実現するように構成しても良い。

【0022】

第１バッファ４２０、第２バッファ４３０、第３バッファ４４０はデータを一時的に保存するメモリ領域であり、ＲＡＭ１４ｃやＳＳＤ１４ｆ等の記憶媒体に確保される。本実施形態では、後述するとおり、第１バッファ４２０には時系列に運転者の顔の向き、第２バッファ４３０には時系列に運転者の開眼度、第３バッファ４４０には時系列に運転者の目の形状の形状パラメータがそれぞれ一時的に保存される。

【0023】

三次元顔モデル４１０は、ＳＳＤ１４ｆ等の記憶媒体に保存されている。三次元顔モデル４１０は、統計的顔形状モデルであり、平均的な被験者の三次元顔形状と、被験者の目や口、鼻等の顔部品の位置と、被験者の目の形状の変化情報とが登録されている。三次元顔モデル４１０は、一例として、ＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ），ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ），ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）を用いることができるが、これらに限定されるものではない。

【0024】

本実施形態のＥＣＵ１４は、この三次元顔モデル４１０を用いて、運転者の顔をトラッキングしながら、運転者の顔の向きと、運転者の視線方向としての開眼度（例えば、目の上下瞼間距離）とを逐次検出し、顔の向きが下方に向く動作と開眼度が低下する状態とが時間的に同期した場合に、すなわち、運転者の顔の向きの下方への変化と運転者の目の開眼度の減少の変化とが時間的に同期している場合に、運転者が下方視の状態であると判断する。

【0025】

これは、運転者が前方を向いている状態から下方へ顔を下げて下方視の状態になる動作の際に、視線方向も同期して下方に下がっていくこと、すなわち、運転者の顔の向きの下方へ変化と、運転者の目の視線方向の下方の変化とが同期している場合に、運転者が下方視を行おうとしていることが過去の実験データ等から得られたことに基づいている（図１１（ａ），（ｂ）参照）。本実施形態のＥＣＵ１４は、視線方向そのものではなく、開眼度を用い、運転者の顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期するか否かで、運転者が下方視を行おうとしているか否かを判断している。すなわち、視線が下方に向かうと、それに伴って目の上下瞼間距離（開眼度）も小さくなっていくことから、本実施形態のＥＣＵ１４は、開眼度を視線方向と同等に捉えて、顔の向きとの同期の有無を判断している。以下、詳細を説明する。

【0026】

図５は、本実施形態の三次元顔モデル４１０の一例を説明するための模式図である。図５では、例示的な顔のモデルＭを示している。モデルＭは、例えば１００人の被験者から得られた顔形状から平均的な顔の立体的形状を示し、それぞれ所定の顔部品を表す複数の特徴点Ｐを含んでいる。特徴点Ｐは、任意の点を原点とした座標により表される。図５に示す例では、眉、目、鼻、口および輪郭を表す特徴点Ｐを示しているが、モデルＭはより図５に示したものは異なる特徴点Ｐを含んでもよい。

【0027】

三次元顔モデル４１０には、さらに、変化情報が登録されている。変化情報は、運転者の顔の表情や動作の変化に伴う運転者の目の形状の段階的な変化と、段階ごとの形状パラメータとが対応付けられたデータである。具体的には、変化状態として、顔が無表情で正面を向いて目が開いている状態を標準の状態とし、この標準の状態から表情が笑顔になるまでの目の形状の段階的な変化、標準の状態から目を閉じるまでの目の形状の段階的な変化、標準の状態から下を向く（下方視）までの目の形状の段階的な変化等の各状態が形状パラメータと対応付けられて三次元顔モデル４１０に登録されている。

【0028】

図６は、本実施形態の三次元顔モデル４１０に登録された変化情報の一例を示す模式図である。図６に示す例では、標準の目の状態から目を閉じるまでの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ１と対応付けられている。また、標準の目の状態から笑顔になるまでの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ２と対応付けられている。さらに、標準の目の状態から下方視までの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ３と対応付けられている。それぞれの形状パラメータ１，２，３は、いずれも標準の目の状態から変化後の目の形状の状態に向かうに従って、値が段階的に小さくなる。

【0029】

但し、これに限定されるものではなく、変化後の状態に向かうに従って、値が大きくなるように形状パラメータを構成してもよい。または、変化の種類に応じて、値が大きくなったり小さくなったり等異なる変化となるように、形状パラメータを構成してもよい。

【0030】

なお、変化情報として登録される目の形状の変化は、図６に示す例に限定されるものではなく、他に、標準の目の状態からあくびをしたときまでの目の形状の段階的な変化、標準の目の状態から目を凝らす状態までの目の形状の段階的な変化、標準の目の状態から目を見開いた状態までの目の形状の段階的な変化を、段階ごとに形状パラメータと対応付けて三次元顔モデル４１０に登録するように構成することができる。

【0031】

三次元顔モデル４１０の生成は、図４に示す、入力部４０１、顔データ計測部４０２、モデル生成部４０３により、以下のように行われる。図７は、本実施形態における三次元顔モデル４１０の生成処理の手順の一例を示すフローチャートである。

【0032】

まず、管理者等は、３Ｄスキャナ等で例えば１００人の被験者の顔を撮像する（Ｓ１１）。また、Ｓ１１では、上記多数の被験者のそれぞれに対し、標準の顔の状態から、笑顔や、目を閉じた状態、下向きの状態等の種々の変化の動作を行わせて、３Ｄスキャナ等で撮像する。なお、被験者の人数は１００人に限定されるものではない。

【0033】

入力部４０１は、かかる撮像画像を入力する。そして、顔データ計測部４０２は、入力された撮像画像から、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出して、平均的な顔形状、顔部品の位置等の三次元顔構造データを計測する（Ｓ１２）。ここで、顔データ計測部４０２は、計測部の一例である。

【0034】

さらに、Ｓ１２では、顔データ計測部４０２は、Ｓ１１で撮像した被験者の種々の変化の動作の撮像画像から、例えば、非特許文献「Active Appearance Model 探索による目領域構造の自動抽出 森山 剛 金出 武雄 Jeffrey F. Cohn 小沢 慎治『画像の認識・理解シンポジウム（ＭＩＲＵ２００６）』」に示されるような三次元顔モデル作成の手順に従って、主成分分析等の統計的データ解析手法により、目の形状の段階的な変化の状態に対応する形状パラメータを抽出する。

【0035】

具体的には、撮像画像中の目の輪郭を構成する各点の座標を並べたベクトルをｘで表すと、ｘは形状を表す。顔データ計測部４０２は、これを標準の目の状態から変化後の状態までの全ての撮像画像について平均し、平均形状ｘ_avを求める。顔データ計測部４０２は、標準の目の状態から変化後の状態までの各ｘのｘ_avとの偏差を主成分分析して、固有ベクトルＰ_sを求める。このとき、ｘは次の（１）式で表される。

【0036】

ｘ＝ｘ_av＋Ｐ_sｂ_s・・・（１）
ここで、ｂ_sは主成分得点ベクトルであり、これを形状パラメータと呼ぶ。すなわち、顔データ計測部４０２は、（１）式から形状パラメータｂ_sを求める。

【0037】

そして、顔データ計測部４０２は、目の形状の段階的な変化の状態と形状パラメータとを対応付けて図６に示したような変化情報を生成する。

【0038】

モデル生成部４０３は、計測された三次元顔構造データである平均的な顔形状、顔部品の位置、および上記変化情報を、三次元顔モデル４１０として生成する（Ｓ１３）。これにより、平均的な顔のモデルが三次元顔モデル４１０に登録されて生成されることになる。

【0039】

次に、本実施形態の下方視判定処理について説明する。図８、図９は、本実施形態にかかる下方視判定処理の手順の一例を示すフローチャートである。図８，９のフローチャートは、一定時間間隔で実行される。まず、撮像装置２０１が運転者を撮像する（Ｓ３１）。撮像された運転者の撮像画像は、照合部４０４へ入力される。

【0040】

照合部４０４は、運転者の二次元の撮像画像と、三次元顔モデル４１０を構成する三次元顔構造データに適合させる（Ｓ３２）。すなわち、照合部４０４は、モデルフィッティングとモデルのトラッキングを行う。これにより、照合部４０４は、運転者の顔の向きを特定（推定）する。照合部４０４は、さらに、三次元顔モデル４１０上での目の位置の検索を行い特定（推定）する。そして、照合部４０４は、特定された顔の向きを、第１バッファ４２０に保存する（Ｓ３３）。ここで、図８、９の処理は、一定時間ごとに繰り返し実行されるため、実行ごとにＳ３１で運転者の顔が逐次（周期的に）撮像され、顔の向きが逐次特定されるが、照合部４０４は、逐次特定される顔の向きを、特定されるごとに時系列に第１バッファ４２０に保存する。

【0041】

ここで、本実施形態において、モデルフィッティングは、統計的顔形状モデルである三次元顔モデル４１０に図７の手順で作成された平均的な顔のモデルを初期状態として用い、該モデルの特徴点Ｐを撮像画像の顔の各部分に位置させることによって、該顔に近似したモデルＭを生成する。

【0042】

また、本実施形態において、モデルのトラッキングでは、モデルフィッティングにおいてモデルＭが生成された後に、Ｓ３１で周期的に撮像される運転者の撮像画像中の顔に合うようにモデルＭを継続的に適合させる。本実施形態では、テンプレートを用いることによってモデルのトラッキングを行っている。

【0043】

図１０は、本実施形態における三次元顔モデル４１０における顔のモデルＭについて作成されるテンプレートＴを示す模式図である。テンプレートＴは、画像中のモデルＭの特徴点Ｐを含む所定範囲の領域を有する。例えば、テンプレートＴは、眉を表す特徴点Ｐを含む領域、目を表す特徴点Ｐを含む領域、鼻を表す特徴点Ｐを含む領域、口を表す特徴点Ｐを含む領域および輪郭を表す特徴点Ｐを含む領域を有する。テンプレートＴの各領域は、１または２以上の特徴点と対応しており、該特徴点の座標と紐付けられている。すなわち、テンプレートＴが有する領域の画像中の位置が決まれば、該領域に対応する特徴点Ｐの座標を算出することができる。

【0044】

本実施形態に係るモデルのトラッキングでは、テンプレートＴが有する各領域の画像中の位置を決定し、該各領域の位置を用いてモデルＭの該画像中の角度、位置および大きさを決定する。そして、モデルＭに対してこれらの決定された角度、位置および大きさを適用することによって、モデルＭを該画像に適合させることができる。テンプレートＴが有する領域の位置および数は、モデルのトラッキングが可能である限り任意に選択され得る。

【0045】

図８に戻り、開眼度算出部４０６は、撮像画像における運転者の開眼度を算出する（Ｓ３４）。開眼度は、運転者の開眼の状態を示すものであり、本実施形態では、上下瞼間の距離である。開眼度算出部４０６による開眼度の算出手法としては、撮像画像の画素から算出する等の公知の手法を用いる。なお、本実施形態では、開眼度として上下瞼間の距離を用いているが、開眼の状態を示すものであれば、これに限定されるものではない。

【0046】

そして、開眼度算出部４０６は、算出した開眼度を、第２バッファ４３０に保存する（Ｓ３５）。ここで、図８、９の処理は、一定時間ごとに繰り返し実行されるため、開眼度は、実行ごとに逐次算出されるが、開眼度算出部４０６は、逐次算出される開眼度を、算出するごとに時系列に第２バッファ４３０に保存する。

【0047】

Ｓ３２により適合された三次元顔モデルにより、目の位置が特定されるため、形状パラメータ判定部４０５は、三次元眼モデルを作成する。そして、形状パラメータ判定部４０５は、二次元の撮像画像を三次元眼モデルに適合させる（Ｓ３６）。すなわち、形状パラメータ判定部４０５は、形状パラメータを変化させ、形状パラメータに対応する目の形状と撮像画像の目の形状とを照合する。そして、形状パラメータ判定部４０５は、撮像画像中の目の形状に対応する形状パラメータを三次元顔モデル４１０から特定する。そして、形状パラメータ判定部４０５は、特定した形状パラメータを第３バッファ４４０に保存する（Ｓ３７）。ここで、図８、９の処理は、一定時間ごとに繰り返し実行されるため、形状パラメータは、実行ごとに逐次特定されるが、形状パラメータ判定部４０５は、逐次特定される形状パラメータを、特定するごとに時系列に第３バッファ４４０に保存する。

【0048】

このようにして、第１バッファ４２０には運転者の顔の向きが、第２バッファ４３０には運転者の開眼度が、第３バッファ４４０には運転者の目の形状の形状パラメータが、それぞれ時系列に保存されていく。

【0049】

次に、下方視判定部４０７は、第１バッファ４２０から、現時点から所定時間遡った時刻までの第１区間の複数の顔の向きを取得する（Ｓ４０）。また、下方視判定部４０７は、第１バッファ４２０から、現時点から遡った上記第１区間の複数の開眼度を取得する（Ｓ４１）。

【0050】

そして、下方視判定部４０７は、当該第１区間の間で、顔の向きの下方への変化と開眼度の減少の変化が時間的に同期しているか否かを判断する（Ｓ４２）。具体的には、下方視判定部４０７は、第１区間の間で、顔の向きが下方へ変化しており、かつ、開眼度も減少しており、かつ顔の向きの下方への変化と開眼度の減少の変化のタイミングが一致しているか否かにより同期しているか否かを判断する。このような同期の判断を行う下方視判定部４０７を、例えば、カルマンフィルタ等で構成することができるが、これに限定されるものではない。図１１は、本実施形態における顔の向き、開眼度、下方視の形状パラメータのそれぞれの経時的変化を示す図である。図１１（ａ）が顔の向きの経時的変化、図１１（ｂ）が開眼度の経時的変化、図１１（ｃ）が形状パラメータの経時的変化を示している。図１１（ａ）、（ｂ）に示しように、顔の向きの下方への変化と開眼度の減少の変化とは、点線で囲まれる区間Ｔ１で同期している。このため、この区間Ｔ１で、運転者は顔を下方向に向けにいく状態をしていると考えられる。なお、下方視判定部４０７は、第１区間の間にで、顔の向きの下方への変化と開眼度の減少変化が所定量を超えている場合に、下方視であると判定してもよい。

【0051】

そして、両者が同期していない場合には（Ｓ４２：Ｎｏ）、処理は終了する。一方、両者が同期している場合には（Ｓ４２：Ｙｅｓ）、下方視判定部４０７は、第３バッファ４４０から、上記第１区間の複数の形状パラメータを取得する（Ｓ４３）。そして、下方視判定部４０７は、当該第１区間の最新の形状パラメータが所定の下方視閾値以下であるか否かを判断する（Ｓ４４）。

【0052】

ここで、上述したとおり、運転者の顔の向きの下方へ変化と、運転者の視線方向として目の開眼度の減少の変化とが同期している場合に、運転者が下方視を行おうとしていることが過去の実験データ等から得られた。このため、Ｓ４２で、下方視判定部４０７は、両者が同期していると判断される場合には、運転者が下方視を行おうとしている状態、あるいは下方視の状態であるとの判定を確定してもよい。しかしながら、本実施形態では、下方視の判断の正確性をより向上させるために、Ｓ４４のように、下方視判定部４０７は、さらに形状パラメータによる判断を加えて下方視判定を行っている。

【0053】

ここで、下方視閾値は、運転者が下方視をしているときの目の形状の形状パラメータの最大値である。従って、形状パラメータが下方視閾値以下の範囲である場合には、目の形状が下方視のときの目の形状の範囲であることを意味する。下方視閾値は予め定められており、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に記憶されている。

【0054】

なお、本実施形態では、形状パラメータが下方視閾値以下の場合に目の形状が下方視の範囲としているが、これは、図６を用いて上述したとおり、標準の目の形状が下方視に近づくに従って、本実施形態の形状パラメータが小さくなるように設定されているからである。従って、形状パラメータの設定の仕方によっては、下方視の範囲の境界となる下方視閾値の定め方は異なってくる。

【0055】

Ｓ４４で、形状パラメータが下方視閾値以下の場合には（Ｓ４４：Ｙｅｓ）、下方視判定部４０７は、運転者が下方視を行っていると判断する（Ｓ４５）。すなわち、Ｓ４２の判断で、顔の向きの下方への変化と開眼度の減少の変化とが同期しており、さらに形状パラメータが下方視の範囲であることから、下方視判定部４０７は、運転者が下方視の状態であるという、顔の向きの下方への変化と開眼度の減少の変化の同期による推定を確定している。すなわち、図１１（ｃ）に示すように、下方視判定部４０７は、形状パラメータの減少の変化も、顔の向きの下方への変化、開眼度の減少の変化と同期しているときに、運転者の顔が下方視に向かっていると判断することができる。しかし、下方視判定部４０７は、目の形状の形状パラメータが下方視閾値以下となったときに、運転者の顔が下方視の状態であるとの判断を確定すれば、下方視の判断がより正確なものとなる。なお、形状パラメータが、第１区間の間で、所定量変化した場合に、すなわち、形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、運転者は下方視状態であると判断するように下方視判定部４０７を構成してもよい。

【0056】

この場合、運転者は開眼状態ではあるが、運転中に前方を見ずに、スマートフォン等の操作等で下方をみていることが考えられる。このため、処理部４０８は、前方を向かせるための警報を、モニタ装置１１の音声出力装置から出力させる（Ｓ４６）。そして、処理は終了する。

【0057】

なお、本実施形態では、下方視と判定された場合に警報を出力しているが、これに限定されるものではない。例えば、運転者に警告を促して脇見運転をやめて前方を向かせるような動作であれば、いずれの動作を行うように処理部４０８を構成することができる。

【0058】

一方、Ｓ４４で、形状パラメータが下方視閾値より大きい場合には（Ｓ４４：Ｎｏ）、下方視判定部４０７は、下方視の状態と判定せずに、処理は終了する。

【0059】

なお、本実施形態では、図８，９のフローチャートが実行される度に、Ｓ４０からＳ４６までの処理、すなわち、各バッファから逐次蓄積されたデータ（顔の向き、開眼度、形状パラメータ）を読み出して下方視を判定する処理をおこなっているが、これに限定されるものではない。例えば、図８，９のフローチャートが実行される度に各バッファに顔の向き、開眼度、形状パラメータを保存しておき、一定の期間ごとにのみ、Ｓ４０からＳ４６までの下方視判定を行うように下方視判定部４０７を構成してもよい。

【0060】

このように本実施形態では、下方視判定部４０７は、運転者の顔の向きと開眼度とを検出して、顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期したときに、運転者が下方視に向かっていると判断しているので、より正確な下方視判断を行うことができる。これにより、本実施形態によれば、下方視の誤判断に伴う警報の出力を防止することができる。

【0061】

また、本実施形態では、三次元顔モデル４１０に、目の形状の変化に対応した形状パラメータを登録している。そして、下方視判定部４０７は、運転者の顔の向きと開眼度とを検出して、顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期したときに、さらに目の形状を示す形状パラメータが下方視の範囲にあるか否かを判断して、形状パラメータが下方視の範囲にある場合に、下方視の推定を確定している。このため、本実施形態によれば、運転者の下方視判断をより一層正確に行うことができる。

【0062】

また、本実施形態では、運転者の顔の目の形状を、二次元の撮像画像だけでなく、三次元の顔モデルを用いて推定（特定）しているので、撮像装置２０１に対する垂直方向の相対的な顔の位置および顔の向きの影響を受けることが少ない。このため、本実施形態によれば、より正確に目の形状を推定することができ、これにより、より正確に運転者の下方視を判定することができる。

【0063】

また、本実施形態では、運転者が下方視であると判定された場合には、処理部４０８は、運転者に警告を促す動作の一例として警報を、モニタ装置１１の音声出力装置から出力させるので、運転者の脇見運転を防止することができる。

【0064】

なお、本実施形態では、視線方向の下方への変化の一例として、開眼度の減少の変化を用いているが、公知の手法で視線方向を直接検知して、顔の向きの下方への変化との同期を判断するように、下方視判定部４０７を構成してもよい。

【0065】

また、本実施形態では、運転者の顔の向きの下方への変化と開眼度の減少の変化との時間的な同期と形状パラメータの値とにより運転者の下方視の判断を行っているが、形状パラメータを用いずに、運転者の顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期した場合には、運転者が下方視の状態にあるとの判断を確定するように下方視判断部４０７を構成してもよい。

【0066】

本実施形態では、三次元顔モデル４１０に、標準の目の状態から下方視に至るまでの目の形状の変化を形状パラメータとともに登録して、下方視の判定を行っているが、さらに、下方視以外の判定を行うように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。

【0067】

例えば、三次元顔モデル４１０に、さらに、標準の目の状態からあくびをしたときまでの目の形状の段階的な変化を形状パラメータとともに登録し、あくびの判定を行うように三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成することができる。

【0068】

また、三次元顔モデル４１０に、さらに、標準の目の状態から目を凝らす状態までの目の形状の段階的な変化までの目の形状の段階的な変化を形状パラメータとともに登録し、まぶしくて目を細めたことを判定するように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。

【0069】

また、形状パラメータを、上記非特許文献「Active Appearance Model 探索による目領域構造の自動抽出 森山 剛 金出 武雄 Jeffrey F. Cohn 小沢 慎治『画像の認識・理解シンポジウム（ＭＩＲＵ２００６）』」や非特許文献「Costen, N., Cootes, T.F., Taylor, C.J.: Compensating for ensemble-specificity effects when building facial models. Image and Vision Computing 20, 673−682」に示されているように、個人内差と個人間差とに分類して登録されるように三次元顔モデル４１０を構成してもよい。

【0070】

また、本実施形態では、運転者の脇見運転の判断を行うために、下方視の判定を行っているが、これに限定されるものではない、インタフェースとの対話等、人間的なやり取りにおいて、本実施形態の手法の下方視の検出を用いるように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。

【0071】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0072】

１ 車両
１４ ＥＣＵ
２０１ 撮像装置
４０１ 入力部
４０２ 顔データ計測部
４０３ モデル生成部
４０４ 照合部
４０５ 形状パラメータ判定部
４０６ 開眼度算出部
４０７ 下方視判定部
４０８ 処理部
４１０ 三次元顔モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】