IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

<図1>
  • 特開-顔情報検出方法 図1
  • 特開-顔情報検出方法 図2
  • 特開-顔情報検出方法 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025011675
(43)【公開日】2025-01-24
(54)【発明の名称】顔情報検出方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20250117BHJP
【FI】
G06T7/00 660A
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023113919
(22)【出願日】2023-07-11
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(74)【代理人】
【識別番号】100122116
【弁理士】
【氏名又は名称】井上 浩二
(72)【発明者】
【氏名】藤野 次郎
(72)【発明者】
【氏名】原 健一郎
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA04
5L096BA18
5L096CA02
5L096DA02
5L096FA67
5L096FA69
5L096GA40
5L096GA41
5L096GA51
5L096HA11
(57)【要約】
【課題】車両の運転者の顔が表された顔画像から適切に顔情報を検出する。
【解決手段】顔情報検出方法は、車両の運転者の顔が表された顔画像に基づいて、運転者の顔の所定部位に装着された装着物の有無を判定し、装着物がないと判定された場合、顔画像から運転者の顔の形態に基づく顔情報を検出する複数のアルゴリズムのうち、装着物を含まない顔画像から顔情報を検出するよう学習された第1のアルゴリズムを選択し、装着物があると判定された場合、複数のアルゴリズムのうち、装着物を含む顔画像から顔情報を検出するよう学習された第1のアルゴリズムと異なる第2のアルゴリズムを選択し、選択されたアルゴリズムを用いて顔画像から前記顔情報を検出する、ことを含む。
【選択図】図3
【特許請求の範囲】
【請求項1】
車両の運転者の顔が表された顔画像に基づいて、前記運転者の顔の所定部位に装着された装着物の有無を判定し、
前記装着物がないと判定された場合、前記顔画像から前記運転者の顔の形態に基づく顔情報を検出する複数のアルゴリズムのうち、装着物を含まない顔画像から顔情報を検出するよう学習された第1のアルゴリズムを選択し、
装着物があると判定された場合、前記複数のアルゴリズムのうち、装着物を含む顔画像から顔情報を検出するよう学習された前記第1のアルゴリズムと異なる第2のアルゴリズムを選択し、
選択されたアルゴリズムを用いて、前記顔画像から前記顔情報を検出する、
ことを含む顔情報検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の運転者の顔が表された画像から運転者の顔の形態に基づく顔情報を検出する顔情報検出方法に関する。
【背景技術】
【0002】
画像に顔が表された運転者は、マスクなどの装着物を着用している場合がある。特許文献1には、対象者が着用しているマスクの上端と下端との間のマスク距離に基づいて、マスクを着用している対象者の顔向きを判定する顔向き判定装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2022/269653号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の顔向き判定装置は、マスクを着用している顔が撮像された撮像画像と、マスクを着用していない顔が撮像された撮像画像とのいずれを入力としても顔情報を検出可能に学習した機械学習モデルを使用して顔向き判定を行う。
【0005】
装着物の有無は、顔情報の検出に影響を与え得る。装着物の有無にかかわらず、顔情報の検出のために単一のアルゴリズム(例えば機械学習モデル)を使用する場合、装着物の有無によって顔情報を適切に検出できないことがある。顔情報を適切に検出できない場合、車両の自動運転、または、運転者による運転操作への支援の適切な実施が困難となり得る。
【0006】
本開示は、車両の運転者の顔が表された顔画像から適切に顔情報を検出することができる顔情報検出方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の要旨は以下のとおりである。
【0008】
(1)車両の運転者の顔が表された顔画像に基づいて、前記運転者の顔の所定部位に装着された装着物の有無を判定し、
前記装着物がないと判定された場合、前記顔画像から前記運転者の顔の形態に基づく顔情報を検出する複数のアルゴリズムのうち、装着物を含まない顔画像から顔情報を検出するよう学習された第1のアルゴリズムを選択し、
装着物があると判定された場合、前記複数のアルゴリズムのうち、装着物を含む顔画像から顔情報を検出するよう学習された前記第1のアルゴリズムと異なる第2のアルゴリズムを選択し、
選択されたアルゴリズムを用いて、前記顔画像から前記顔情報を検出する、
ことを含む顔情報検出方法。
【0009】
本開示にかかる顔情報検出方法によれば、車両の運転者の顔が表された顔画像から適切に顔情報を検出することができる。
【図面の簡単な説明】
【0010】
図1】顔情報検出装置が実装される車両の概略構成図である。
図2】顔情報検出装置が有するプロセッサの機能ブロック図である。
図3】顔情報検出処理のフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照して、車両の運転者の顔が表された顔画像から適切に顔情報を検出することができる顔情報検出方法について詳細に説明する。顔情報検出方法において、顔情報検出装置は、まず、車両の運転者の顔が表された顔画像に基づいて、運転者の顔の所定部位に装着された装着物の有無を判定する。装着物がないと判定された場合、顔情報検出装置は、顔画像から運転者の顔の形態に基づく顔情報を検出する複数のアルゴリズムのうち、装着物を含まない顔画像から顔情報を検出するよう学習された第1のアルゴリズムを選択する。一方、装着物があると判定された場合、顔情報検出装置は、複数のアルゴリズムのうち、装着物を含む顔画像から顔情報を検出するよう学習された第1のアルゴリズムと異なる第2のアルゴリズムを選択する。そして、顔情報検出装置は、選択されたアルゴリズムを用いて、顔画像から顔情報を検出する。
【0012】
図1は、顔情報検出装置が実装される車両の概略構成図である。
【0013】
車両1は、ドライバモニタカメラ2と、顔情報検出装置3とを有する。
【0014】
ドライバモニタカメラ2と顔情報検出装置3とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
【0015】
ドライバモニタカメラ2は、車両の運転者の顔領域を表す顔画像を時系列に生成するためのセンサの一例である。ドライバモニタカメラ2は、CCDあるいはC-MOSなど、赤外光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系とを有する赤外線カメラを有する。また、ドライバモニタカメラ2は、赤外光を発する光源を有する。ドライバモニタカメラ2は、例えば車室内の前方に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ2は、所定時間(例えば1/30秒~1/10秒)ごとに運転者に赤外光を照射し、運転者の顔が表された顔画像を所定時間間隔で生成する。
【0016】
ドライバモニタカメラ2は、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系とを有する可視光カメラを有していてもよい。すなわち、ドライバモニタカメラは、赤外光による顔画像および可視光による顔画像のうち少なくとも一つを生成すればよい。
【0017】
ドライバモニタカメラ2が赤外光カメラおよび可視光カメラを有する場合、赤外光カメラが有する結像光学系と可視光カメラが有する結像光学系とは、少なくとも一部の光学素子を共有してよい。例えば、赤外光カメラが有する結像光学系と可視光カメラが有する結像光学系とは、最も物体側に配置されるレンズを含む前側レンズ群と、前側レンズ群から射出される光のうち赤外光を赤外線カメラの2次元検出器に向けて射出し、可視光を可視光カメラの2次元検出器に向けて射出するビームスプリッタとを共有してよい。このように赤外光カメラと可視光カメラとが少なくとも一部の光学素子を共有することで、赤外光による顔画像および可視光による顔画像における撮影位置および撮影方向といったパラメータの差異を小さくすることができる。
【0018】
顔情報検出装置3は、通信インタフェース31と、メモリ32と、プロセッサ33とを備えるECUである。顔情報検出装置3は、ドライバモニタカメラ2により生成された顔画像から、運転者の顔の形態に基づく顔情報を検出する。
【0019】
通信インタフェース31は、通信部の一例であり、顔情報検出装置3を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース31は、例えばドライバモニタカメラ2から受信したデータをプロセッサ33に供給する。
【0020】
メモリ32は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ32は、プロセッサ33による処理に用いられる各種データ、例えば顔画像に基づいて運転者の顔の所定部位に装着された装着物の有無を判定する判定アルゴリズムを構成するパラメータを保存する。顔の所定部位に装着された装着物は、例えば、口領域に装着されるマスク、または、目領域に装着される眼鏡である。
【0021】
また、メモリ32は、顔画像から顔情報を検出するための複数の検出アルゴリズムを規定するパラメータを保存する。顔情報は、例えば運転者の顔向き、顔位置、または視線方向を表す情報である。
【0022】
また、メモリ32は、各種アプリケーションプログラム、例えば顔情報検出装置3に顔情報検出方法を実行させる顔情報検出用コンピュータプログラム等を保存する。
【0023】
プロセッサ33は、制御部の一例であり、1以上のプロセッサおよびその周辺回路を有する。プロセッサ33は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。
【0024】
図2は、顔情報検出装置3が有するプロセッサ33の機能ブロック図である。
【0025】
顔情報検出装置3のプロセッサ33は、機能ブロックとして、判定部331と、検出部332とを有する。プロセッサ33が有するこれらの各部は、プロセッサ33上で実行されるプログラムによって実装される機能モジュールである。プロセッサ33の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ33が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして顔情報検出装置3に実装されてもよい。
【0026】
判定部331は、通信インタフェース31を介してドライバモニタカメラ2から取得した顔画像に基づいて、運転者の顔の所定部位に装着された装着物の有無を判定する。判定部331は、メモリ32に保存された判定アルゴリズムを顔画像に適用することにより、装着物の有無を判定する。
【0027】
判定アルゴリズムは、例えば、顔画像からの、目頭、目尻、口角といった顔特徴点の検出と、検出された顔特徴点の位置に基づく顔画像の顔の所定部位に対応する領域の特定と、特定された領域における装着物の有無の判定とを含む。
【0028】
例えば、判定部331は、顔画像から顔特徴点を検出するよう予め学習された識別器に顔画像を入力することにより、顔画像から顔特徴点を検出する。識別器は、例えば、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)といった、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク(CNN)とすることができる。顔特徴点を含む多数の顔画像を教師データとして用いてCNNに入力して予め学習を行うことにより、CNNは、顔画像から顔特徴点を検出する識別器として動作する。
【0029】
例えば、判定部331は、検出された顔特徴点の位置を標準的な顔を表す3次元モデルと照合し、顔特徴点の位置が検出された顔特徴点の位置と最も適合する際の3次元モデルにおける顔の所定部位(例えば口)の周辺に対応する顔画像の領域を特定する。
【0030】
例えば、判定部331は、顔画像における特定された領域および顔画像において運転者の顔が表された領域のうち特定された領域以外の領域について、それぞれの領域に含まれる画素の色相の代表値を求め、比較する。顔画像に含まれる各画素の値がRGB(Red, Green, Blue)で定義されている場合、判定部331は、例えば、所定の変換式を用いて画素の値をRGBからHSV(Hue, Saturation, Value)に変換することで、各画素の色相(H)を求めることができる。
【0031】
判定部331は、これらの領域に対応する色相の代表値の差が所定の色差閾値よりも小さい場合に装着物がないと判定し、差が色差閾値よりも大きい場合に装着物があると判定する。
【0032】
これらの領域に対応する色相の代表値の差が所定の色差閾値よりも大きい場合に、判定部331は、装着物の種類をさらに判定してもよい。例えば、判定部331は、特定された領域に対応する色相の代表値に基づいて装着物の種類を判定してよい。
【0033】
検出部332は、顔画像から顔向き、顔位置、視線方向といった顔情報を検出する複数のアルゴリズムから一のアルゴリズムを選択し、選択されたアルゴリズムを用いて顔画像から、顔情報を検出する。
【0034】
複数のアルゴリズムのそれぞれは、例えば、顔画像から運転者の顔情報を検出するよう予め学習された識別器である。識別器は、例えばCNNとすることができる。顔画像を教師データとして用いてCNNに入力して予め学習を行うことにより、CNNは、顔画像から顔情報を検出する識別器として動作する。
【0035】
複数のアルゴリズムは、装着物を含まない顔画像から顔情報を検出するよう学習された第1のアルゴリズムと、装着物を含む顔画像から顔情報を検出するよう学習された第2のアルゴリズムとを含む。
【0036】
検出部332は、一のアルゴリズムとして、装着物がないと判定された場合に第1のアルゴリズムを選択し、装着物があると判定された場合に第2のアルゴリズムを選択する。
【0037】
複数のアルゴリズムは、さらに、第1の色相(例えば白)の装着物が表された顔画像から顔情報を検出するよう学習された第3のアルゴリズム、または、第2の色相(例えば黒)の装着物が表された顔画像から顔情報を検出するよう学習された第4のアルゴリズムを含んでよい。この場合、検出部332は、判定部331により判定された装着物の有無および装着物の種類に基づいて、複数のアルゴリズムから一のアルゴリズムを選択する。
【0038】
図3は、顔情報検出処理のフローチャートである。顔情報検出装置3のプロセッサ33は、車両1の走行中、所定時間間隔で(例えば1秒ごとに)、以下に記載する顔情報検出処理を実行する。
【0039】
まず、顔情報検出装置3のプロセッサ33の判定部331は、ドライバモニタカメラ2から取得する顔画像に基づいて、運転者の顔の所定部位に装着された装着物の有無を判定する(ステップS1)。
【0040】
装着物がないと判定された場合(ステップS1:N)、プロセッサ33の検出部332は、複数のアルゴリズムのうち、装着物を含まない顔画像から顔情報を検出するよう学習された第1のアルゴリズムを選択する(ステップS2)。
【0041】
装着物があると判定された場合(ステップS1:Y)、検出部332は、複数のアルゴリズムのうち、装着物を含む顔画像から顔情報を検出するよう学習された第2のアルゴリズムを選択する(ステップS3)。
【0042】
検出部332は、ステップS2またはステップS3で選択されたアルゴリズムで顔画像から顔情報を検出し、顔情報検出処理を終了する。
【0043】
このように顔情報検出処理を実行することにより、顔情報検出装置3は、車両の運転者の顔が表された顔画像から適切に顔情報を検出することができる。
【0044】
当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【0045】
1 車両
3 顔情報検出装置
331 判定部
332 検出部
図1
図2
図3