特許 7367637 顔情報取得装置および顔情報取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-16

(45)【発行日】2023-10-24

(54)【発明の名称】顔情報取得装置および顔情報取得方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231017BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 3

(21)【出願番号】P 2020142607

(22)【出願日】2020-08-26

(65)【公開番号】P2022038225

(43)【公開日】2022-03-10

【審査請求日】2022-06-10

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100122116

【弁理士】

【氏名又は名称】井上 浩二

(72)【発明者】

【氏名】谷口 覚

(72)【発明者】

【氏名】澤井 俊一郎

【審査官】笠田 和宏

(56)【参考文献】

【文献】国際公開第２０１５／１２５２４３（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１３９８５０（ＷＯ，Ａ１）

【文献】特開２０１３－１２５３０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両の運転者の顔を撮影した複数の顔画像のそれぞれから前記運転者の顔の挙動を表す顔情報を取得する挙動取得部と、
前記運転者から情報の入力を受け付ける入力欄を有する画面を前記車両に搭載された表示部に表示させる入力画面表示部と、
前記複数の顔画像のうち前記画面が前記表示部に表示されている間に生成された顔画像から、前記顔情報を補正するための補正情報を取得する補正情報取得部と、
を備え、
前記補正情報は、前記表示部の一端の第１の位置を通り、前記第１の位置に入力欄を有する画面が表示されている間に生成された第１の顔画像から検出される第１の視線方向に延びる直線と、前記表示部の他端の第２の位置を通り、前記第２の位置に入力欄を有する画面が表示されている間に生成された第２の顔画像から検出される第２の視線方向に延びる直線との交点として求められる、前記運転者の目の３次元位置を表す情報である顔情報取得装置。

【請求項2】

前記顔情報は、前記運転者の視線方向を表す情報である、請求項１に記載の顔情報取得装置。

【請求項3】

車両の運転者の顔を撮影した複数の顔画像のそれぞれから前記運転者の顔の挙動を表す顔情報を取得し、
前記運転者から情報の入力を受付ける入力欄を有する画面を前記車両に搭載された表示部に表示させ、
前記複数の顔画像のうち前記画面が前記表示部に表示されている間に生成された顔画像から、前記顔情報を補正するための補正情報を取得する、
ことを含み、
前記補正情報は、前記表示部の一端の第１の位置を通り、前記第１の位置に入力欄を有する画面が表示されている間に生成された第１の顔画像から検出される第１の視線方向に延びる直線と、前記表示部の他端の第２の位置を通り、前記第２の位置に入力欄を有する画面が表示されている間に生成された第２の顔画像から検出される第２の視線方向に延びる直線との交点として求められる、前記運転者の目の３次元位置を表す情報である顔情報取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転者の顔情報を取得する顔情報取得装置および顔情報取得方法に関する。

【背景技術】

【0002】

車両の車室内に設置されたドライバモニタカメラにより取得された運転者の顔画像に基づいて運転者の感情を推定する技術が知られている。車両の走行制御装置は、推定された運転者の感情に応じて車両の挙動を変更することができる。

【0003】

運転者の感情を適切に推定するためには、所定の方向に視線を向けた運転者の顔画像を取得することが好ましい。特許文献１には、表示部の外縁近傍に設けられた撮影部の近傍に、人物の視線を誘導するための表示情報が表示されたタイミングで撮影部により取得された画像に撮像されている人物の顔の認識する顔認識システムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１７８９２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車室内に設置されたドライバモニタカメラで運転者が所定の方向に視線を向けた顔画像を取得するためにディスプレイに所定の情報を表示して視線を誘導することは、運転者にとって煩わしく、好ましくない。

【0006】

本発明は、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる顔情報取得装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明にかかる顔情報取得装置は、車両の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得する挙動取得部と、運転者から情報の入力を受け付ける入力欄を有する画面を車両に搭載された表示部に表示させる入力画面表示部と、複数の顔画像のうち画面が表示部に表示されている間に生成された顔画像から、顔情報を補正するための補正情報を取得する補正情報取得部と、を備える。

【0008】

本発明にかかる顔情報取得装置において、入力画面表示部は、入力欄が表示部の一端および他端に配置される画面を表示部に表示させ、補正情報取得部は、表示部の一端に配置された入力欄が運転者からの情報の入力を受け付けている間に生成された顔画像から第１の補正情報を取得し、表示部の他端に配置された入力欄が運転者からの情報の入力を受け付けている間に生成された顔画像から第２の補正情報を取得することが好ましい。

【0009】

本発明にかかる顔情報取得装置において、顔情報は、運転者の視線方向を表す情報であり、補正情報は、運転者の右目の視線方向と左目の視線方向との差異を表す情報であることが好ましい。

【0010】

本発明にかかる顔情報取得装置において、顔情報は、運転者の視線方向を表す情報であり、補正情報は、運転者の目の３次元位置を表す情報であることが好ましい。

【0011】

本発明にかかる顔情報取得装置において、顔情報は、運転者の表情を表す情報であり、補正情報は、運転者の無表情時の表情を表す情報であることが好ましい。

【0012】

本発明にかかる顔情報取得方法は、車両の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得し、運転者から情報の入力を受付ける入力欄を有する画面を車両に搭載された表示部に表示させ、複数の顔画像のうち画面が表示部に表示されている間に生成された顔画像から、顔情報を補正するための補正情報を取得する、ことを含む。

【0013】

本発明にかかる顔情報取得装置によれば、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる。

【図面の簡単な説明】

【0014】

【図1】顔情報取得装置が実装される車両の概略構成図である。

【図2】顔情報取得装置のハードウェア模式図である。

【図3】顔情報取得装置が有するプロセッサの機能ブロック図である。

【図4】顔画像の撮影の例を示す図である。

【図5】表示部における表示の例を示す図である。

【図6】顔情報取得処理のフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる顔情報取得装置について詳細に説明する。顔情報取得装置は、車車両の運転者の顔を撮影した複数の顔画像のそれぞれから、運転者の顔の挙動を表す顔画像を取得する。また、顔情報取得装置は、運転者からの情報の入力を受け付ける入力欄を有する画面を、車両に搭載された表示部に表示させる。そして、顔情報取得装置は、複数の顔画像のうち入力欄を有する画面が表示部に表示されている間に生成された顔画像から、顔画像を補正するための補正情報を取得する。

【0016】

図１は、顔情報取得装置が実装される車両の概略構成図である。

【0017】

車両１は、ドライバモニタカメラ２と、タッチパネルディスプレイ３と、メーターディスプレイ４と、顔情報取得装置５とを有する。ドライバモニタカメラ２およびタッチパネルディスプレイ３と顔情報取得装置５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

【0018】

ドライバモニタカメラ２は、運転者の顔を表す顔画像を取得するためのセンサの一例である。ドライバモニタカメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ２は、赤外光を発する光源を有する。ドライバモニタカメラ２は、例えば車室内の前方上部に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った顔画像を出力する。

【0019】

タッチパネルディスプレイ３は、表示部の一例であり、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスを有し、顔情報取得装置５から受信した表示用のデータを表示する。また、タッチパネルディスプレイ３は、表示デバイスに重畳された、例えば静電容量式のタッチセンサといった入力デバイスを有し、運転者のタッチパネルディスプレイ３に対する操作に応じた座標情報を顔情報取得装置５に送信する。タッチパネルディスプレイ３は、走行経路の検索における目的地、現在位置の周辺でのスポット検索におけるスポット種別、車室空調の設定条件といった各種情報の入力を受け付けるための入力欄を有する画面を表示デバイスに表示する。また、タッチパネルディスプレイ３は、入力欄への運転者からの情報の入力を入力デバイスにより受け付ける。タッチパネルディスプレイ３は、例えば車室内のインストルメンタルパネル中央近傍に設置される。

【0020】

メーターディスプレイ４は、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスを有し、不図示の車両制御装置から受信した、走行速度、走行距離、各種警告といった走行関連情報を表示する。また、メーターディスプレイ４は、車両１のロゴマークなど運転者の視線を誘導するための画像情報を表示してもよい。メーターディスプレイ４は、インストルメンタルパネルにおける運転者が着座する運転席の前方に設置される。

【0021】

顔情報取得装置５は、通信インタフェースと、メモリと、プロセッサとを有するＥＣＵ（Electronic Control Unit）である。顔情報取得装置５は、タッチパネルディスプレイ３に入力欄を有する画面を表示させるとともに、ドライバモニタカメラ２が撮影した顔画像を用いて顔情報取得処理を実行する。

【0022】

図２は、顔情報取得装置５のハードウェア模式図である。顔情報取得装置５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備える。

【0023】

通信インタフェース５１は、通信部の一例であり、顔情報取得装置５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。

【0024】

メモリ５２は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば顔画像から顔情報および補正情報を取得するための演算パラメータ、タッチパネルディスプレイ３およびメーターディスプレイ４の３次元位置を表す位置情報等を保存する。また、メモリ５２は、各種アプリケーションプログラム、例えば顔情報取得処理を実行する顔情報取得プログラム等を保存する。

【0025】

プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

【0026】

図３は、顔情報取得装置５が有するプロセッサ５３の機能ブロック図である。

【0027】

顔情報取得装置５のプロセッサ５３は、機能ブロックとして、挙動取得部５３１と、入力画面表示部５３２と、補正情報取得部５３３とを有する。プロセッサ５３が有するこれらの各部は、プロセッサ５３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして顔情報取得装置５に実装されてもよい。

【0028】

挙動取得部５３１は、ドライバモニタカメラ２により生成された複数の顔画像を、通信インタフェース５１を介して受信する。挙動取得部５３１は、受信した複数の顔画像のそれぞれから、運転者の顔情報を取得する。

【0029】

図４は、顔画像の撮影の例を示す図である。

【0030】

車両１の車室内で、運転者Ｄは前方に配置されたタッチパネルディスプレイ３に視線を向ける。運転者Ｄの視線方向には、ステアリングホイールＳＷが配置されていてもよい。ドライバモニタカメラ２は、運転者Ｄの顔が表された顔画像を撮影する。

【0031】

挙動取得部５３１は、例えば運転者の視線方向を表す情報を、運転者の顔の挙動を表す顔情報として取得する。視線方向は、車両１の進行方向と運転者の視線との間の水平方向または鉛直方向の角度により表される。

【0032】

挙動取得部５３１は、取得した顔画像を、瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、挙動取得部５３１は、瞳孔と角膜反射像との位置関係に基づいて、視線方向を検出する。

【0033】

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め瞳孔および角膜反射像を含む顔画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは瞳孔および角膜反射像の位置を特定する識別器として動作する。

【0034】

挙動取得部５３１は、顔画像を識別器に入力することにより、運転者の目における目頭および虹彩の位置を特定し、目頭と虹彩との位置関係に基づいて視線方向を検出してもよい。この場合、ドライバモニタカメラ２は、夜間の車室内の環境下においても運転者の顔が写った画像を適切に出力可能な、高感度可視光センサを有していてもよい。

【0035】

また、顔情報は、運転者の表情を表す情報であってもよい。運転者の表情は、顔画像から検出される複数の顔動作単位における顔特徴量により表される。挙動取得部５３１は、顔画像を、目尻や口角といった複数の顔動作単位の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる顔動作単位の位置を特定する。そして、挙動取得部５３１は、特定された顔動作単位の位置と、各顔動作単位の所定の基準位置とを比較することにより、顔特徴量を検出する。基準位置は、例えば標準的な顔モデルにおける各顔動作単位の位置であってよく、また、運転者の顔画像から検出された各顔動作単位の位置の平均値であってもよい。

【0036】

また、顔情報は、運転者の顔向きであってもよい。運転者の顔向きは、車室内の３次元空間における運転者の頭部のピッチ、ヨーおよびロールのうち１つ以上の角度により表される。挙動取得部５３１は、取得した顔画像を、目尻、目頭、口角点といった顔の所定部位の位置を検出するよう学習された識別器に入力することにより、顔画像に含まれる所定部位の位置を特定する。そして、挙動取得部５３１は、顔画像から検出された所定部位の位置を、標準的な顔の３次元モデルと照合する。そして、各部位の位置が顔画像から検出された部位の位置と最も適合する際の３次元モデルにおける顔向きを、顔画像における顔向きとして検出する。

【0037】

入力画面表示部５３２は、運転者による情報入力の要求があるか否かを判定し、要求があると判定された場合、運転者による情報入力を受け付ける入力欄を有する画面をタッチパネルディスプレイ３に表示させる。入力画面表示部５３２は、プロセッサ５３により実行される他のプログラムから、運転者による情報入力の要求を受け付けた場合、情報入力の要求があると判定する。また、入力画面表示部５３２は、車内ネットワークに接続された他のＥＣＵなどの情報処理装置（不図示）から、通信インタフェース５１を介して運転者による情報入力を要求する信号を受信した場合、情報入力の要求があると判定する。

【0038】

図５は、タッチパネルディスプレイ３における表示の例を示す図である。

【0039】

図５は、運転席に着座した運転者からの車室内前方の視界を模式的に示している。タッチパネルディスプレイ３は、車室内の左右方向の中央近傍（図５における左側）に配置される。メーターディスプレイ４は、ステアリングホイールＳＷの設置された運転席の直前（図５における右側）に配置される。

【0040】

タッチパネルディスプレイ３には、入力欄３ａおよび３ｂを有する画面が表示されている。入力欄３ａはタッチパネルディスプレイ３の一端（左上）に配置される。入力欄３ａは、例えばタッチパネルディスプレイ３への運転者の操作に応じた文字が表示される欄である。また、入力欄３ｂはタッチパネルディスプレイ３の他端（右下）に配置される。入力欄３ｂは、例えば入力欄３ａに表示された文字を入力文字として確定させる操作を受け付ける確定ボタンである。

【0041】

メーターディスプレイ４には、運転者の視線を誘導するためのロゴマーク４ａが表示されている。なお、タッチパネルディスプレイ３における入力欄３ａ、３ｂおよびメーターディスプレイ４におけるロゴマーク４ａは、同時に表示されている必要はなく、異なる時刻にこれらのうちいずれかが表示される。また、タッチパネルディスプレイ３またはメーターディスプレイ４にこれらのいずれも表示されない時刻があってもよい。例えば、入力欄３ａ、３ｂは、運転者からの情報入力の要求があると判定されたときに表示される。また、ロゴマーク４ａは車両１のイグニッションをオンにした後の所定時間（例えば５秒間）表示される。

【0042】

補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、入力欄を有する画面がタッチパネルディスプレイ３に表示されている間に撮影された顔画像から補正情報を取得する。補正情報は、顔情報を補正するための情報である。

【0043】

補正情報取得部５３３は、顔画像を瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、補正情報取得部５３３は、左右のそれぞれの目における瞳孔と角膜反射像との位置関係に基づいて、運転者の右目の視線方向と左目の視線方向との差異を、補正情報として検出する。運転者の右目の視線方向と左目の視線方向との差異を表す補正情報は、挙動取得部５３１により取得された運転者の視線方向である顔情報を補正するために用いることができる。

【0044】

また、補正情報取得部５３３は、タッチパネルディスプレイ３において入力欄３ａが表示される位置を通り、タッチパネルディスプレイ３の一端に入力欄３ａが表示されたときに取得された顔画像から検出される視線方向に延びる直線を特定してもよい。このとき、補正情報取得部５３３は、タッチパネルディスプレイ３において入力欄３ｂが表示される位置を通り、タッチパネルディスプレイ３の一端に入力欄３ｂが表示されたときに取得された顔画像から検出される視線方向に延びる直線をあわせて特定する。そして、補正情報取得部５３３は、これらの直線の交点を求めることにより、運転者の目の３次元位置を、補正情報として検出する。運転者の目の３次元位置を表す補正情報は、挙動取得部５３１により取得された運転者の視線方向である顔情報を補正するために用いることができる。

【0045】

また、補正情報取得部５３３は、顔画像を、目尻や口角といった複数の顔動作単位の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる顔動作単位の位置を、無表情時の顔動作単位の位置を表す補正情報として検出してもよい。無表情時の顔動作単位の位置を表す補正情報は、挙動取得部５３１により取得された顔特徴量である顔情報を補正するために用いることができる。

【0046】

また、補正情報取得部５３３は、顔画像を瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、補正情報取得部５３３は、左右のそれぞれの目における瞳孔と角膜反射像との位置関係に基づいて、運転者の視線方向を、補正情報として検出してもよい。運転者の視線方向を表す補正情報は、挙動取得部５３１により取得された運転者の顔向きである顔情報を補正するために用いることができる。

【0047】

補正情報取得部５３３が取得する補正情報は、運転者の顔の目、鼻、口といった部位の大きさを表す情報、運転者の顔の特徴点の左右の非対称性を表す情報、運転者の左右の瞳または虹彩の３次元中心位置を表す情報であってもよい。

【0048】

補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、入力欄を有する画面がタッチパネルディスプレイ３に表示され、かつ、タッチパネルディスプレイ３が運転者からの入力を受け付けている間に生成された顔画像から、補正情報を取得してもよい。補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、タッチパネルディスプレイ３が入力欄３ａへの運転者からの入力を受け付けている間に生成された顔画像から第１の補正情報を取得し、タッチパネルディスプレイ３が入力欄３ｂへの運転者からの入力を受け付けている間に生成された顔画像から第２の補正情報を取得してもよい。

【0049】

また、補正情報取得部５３３は、タッチパネルディスプレイ３が同じ入力欄への運転者からの入力を受け付けている間に撮影された複数の顔画像から補正情報を取得してもよい。

【0050】

図４は、顔情報取得処理のフローチャートである。顔情報取得装置５のプロセッサ５３は、車両１が走行を行う間、顔情報取得処理を所定の周期で繰り返し実行する。

【0051】

まず、挙動取得部５３１は、車両１の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得する（ステップＳ１）。

【0052】

次に、入力画面表示部５３２は、運転者からの情報入力の要求があるか否かを判定する（ステップＳ２）。運転者からの情報入力の要求がないと判定された場合（ステップＳ２：Ｎ）、プロセッサ５３は顔情報取得処理を終了する。

【0053】

運転者からの情報入力の要求があると判定された場合（ステップＳ２：Ｙ）、入力画面表示部５３２は、タッチパネルディスプレイ３に、運転者からの情報入力を受け付ける入力欄を有する画面を表示する（ステップＳ３）。

【0054】

続いて、補正情報取得部５３３は、複数の顔画像のうち入力欄を有する画面がタッチパネルディスプレイ３に表示されている間に撮影された顔画像から、顔情報を補正するための補正情報を取得し（ステップＳ４）、顔情報取得処理を終了する。

【0055】

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0056】

１ 車両
５ 顔情報取得装置
５３１ 挙動取得部
５３２ 入力画面表示部
５３３ 補正情報取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】