▶ アイシン精機株式会社の特許一覧 ▶ トヨタ自動車株式会社の特許一覧
特許7173811乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-08
(45)【発行日】2022-11-16
(54)【発明の名称】乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221109BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 650Z
【請求項の数】
7
(21)【出願番号】P 2018181985
(22)【出願日】2018-09-27
(65)【公開番号】P2020052773
(43)【公開日】2020-04-02
【審査請求日】2021-08-06
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】大須賀 晋
(72)【発明者】
【氏名】加藤 隆志
(72)【発明者】
【氏名】山田 祐也
(72)【発明者】
【氏名】服部 哲也
(72)【発明者】
【氏名】山田 善之
(72)【発明者】
【氏名】河合 雄太
(72)【発明者】
【氏名】松村 健
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２００５－３２７０７２（ＪＰ，Ａ）
【文献】特開２０１０－００３１１７（ＪＰ，Ａ）
【文献】特開２０１８－０６０４６６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得部と、前記取得部により取得された前記撮像画像が、少なくとも、前記乗員の顔の特徴部分は含まないが前記乗員の体の少なくとも一部を含む第１の画像と、前記乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別部と、
前記撮像画像に基づいて前記乗員の顔の状態変化をモニタリングし、前記判別部による判別結果に応じて、前記乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理部と、
を備え、
前記判別部は、前記撮像画像が、前記第１の画像と、前記第２の画像と、前記乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、
前記処理部は、
前記撮像画像が前記第１の画像に該当すると前記判別部により判別された場合、前記撮像画像に基づいて前記乗員の顔に関する顔情報を検出することなく、前記乗員パラメータを保持し、
前記撮像画像が前記第２の画像に該当すると前記判別部により判別された場合、前記撮像画像に基づいて前記顔情報を検出することなく、前記乗員パラメータをリセットし、
前記撮像画像が前記第３の画像に該当すると前記判別部により判別された場合、前記撮像画像に基づいて前記顔情報を検出するとともに、前記乗員パラメータを更新する、
乗員モニタリング装置。
【請求項2】
前記取得部は、前記撮像画像を継続的に複数回取得し、前記処理部は、
前記撮像画像が前記第３の画像に該当すると前記判別部により判別された場合、前記顔情報を検出するとともに前記乗員パラメータを更新した後、前記取得部により次に取得される前記撮像画像に基づいて前記顔情報のトラッキングを実行し、
前記撮像画像が前記第１の画像または前記第２の画像に該当すると前記判別部により判別された場合、前記顔情報を検出することなく前記乗員パラメータを保持またはリセットした後、前記顔情報のトラッキングを実行することなく、前記取得部により次に取得される前記撮像画像を対象とした前記判別部による判別結果に応じて、前記顔情報を検出するか否か、および、前記乗員パラメータを保持するかリセットするか更新するか、を切り替える、
請求項１に記載の乗員モニタリング装置。
【請求項3】
前記取得部は、前記撮像画像を継続的に複数回取得し、前記処理部は、前記撮像画像が前記第２の画像に該当すると前記判別部により判別された後、最初に、前記撮像画像が前記第３の画像に該当すると前記判別部により判別された場合に、前記撮像画像に基づいて前記乗員を識別し、識別結果に応じて、乗員ごとに予め設定されたサービスを実行する、
請求項１または２に記載の乗員モニタリング装置。
【請求項4】
前記乗員パラメータは、前記乗員の顔の三次元の形状を含む構造を表す三次元モデルにおける、前記乗員の眼球の中心の位置を含む、請求項１～３のいずれか１項に記載の乗員モニタリング装置。
【請求項5】
前記判別部は、前記撮像画像と同様の情報を含む学習用画像と、当該学習用画像が少なくとも前記第１の画像と前記第２の画像とのいずれに該当するかと、を機械学習により学習することで生成される学習済みモデルに基づいて、前記取得部により取得された前記撮像画像が少なくとも前記第１の画像と前記第２の画像とのいずれに該当するかを判別する、請求項１～４のいずれか１項に記載の乗員モニタリング装置。
【請求項6】
車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、前記取得ステップにおいて取得された前記撮像画像が、少なくとも、前記乗員の顔は含まないが前記乗員の体の少なくとも一部を含む第１の画像と、前記乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、
前記撮像画像に基づいて前記乗員の顔の状態変化をモニタリングし、前記判別ステップにおける判別結果に応じて、前記乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、
を備え、
前記判別ステップは、前記撮像画像が、前記第１の画像と、前記第２の画像と、前記乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、
前記処理ステップは、
前記撮像画像が前記第１の画像に該当すると前記判別ステップにより判別された場合、前記撮像画像に基づいて前記乗員の顔に関する顔情報を検出することなく、前記乗員パラメータを保持し、
前記撮像画像が前記第２の画像に該当すると前記判別ステップにより判別された場合、前記撮像画像に基づいて前記顔情報を検出することなく、前記乗員パラメータをリセットし、
前記撮像画像が前記第３の画像に該当すると前記判別ステップにより判別された場合、前記撮像画像に基づいて前記顔情報を検出するとともに、前記乗員パラメータを更新する、
乗員モニタリング方法。
【請求項7】
コンピュータに、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記撮像画像が、少なくとも、前記乗員の顔は含まないが前記乗員の体の少なくとも一部を含む第１の画像と、前記乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、
前記撮像画像に基づいて前記乗員の顔の状態変化をモニタリングし、前記判別ステップにおける判別結果に応じて、前記乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、
を実行させ、
前記判別ステップは、前記撮像画像が、前記第１の画像と、前記第２の画像と、前記乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、
前記処理ステップは、
前記撮像画像が前記第１の画像に該当すると前記判別ステップにより判別された場合、前記撮像画像に基づいて前記乗員の顔に関する顔情報を検出することなく、前記乗員パラメータを保持し、
前記撮像画像が前記第２の画像に該当すると前記判別ステップにより判別された場合、前記撮像画像に基づいて前記顔情報を検出することなく、前記乗員パラメータをリセットし、
前記撮像画像が前記第３の画像に該当すると前記判別ステップにより判別された場合、前記撮像画像に基づいて前記顔情報を検出するとともに、前記乗員パラメータを更新する、
乗員モニタリングプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラムに関する。
【背景技術】
【0002】
従来、車両の乗員の顔を撮像することで得られる撮像画像に基づいて、乗員の顔の状態変化をモニタリングする技術が知られている。このような従来の技術では、撮像画像に写っている乗員の顔の検出結果に応じて適宜調整される乗員パラメータに基づいて、乗員の顔に関する顔情報の検出（および検出された顔情報のトラッキング）を含む乗員モニタリング処理が実行される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－２５２３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような従来の技術において、たとえば乗員の入れ替わりが発生した場合には、乗員パラメータをリセットし、入れ替わり後の乗員に対応するように乗員パラメータを初期値から再調整することができれば有益である。そこで、乗員パラメータをリセットするタイミングとして、たとえば、撮像画像から乗員の顔の特徴部分（目や鼻、口など）が検出されない状況が発生したタイミングが考えられる。
【0005】
しかしながら、撮像画像から乗員の顔の特徴部分が検出されない状況は、乗員が入れ替わりの際に車両から不在になる場合に発生するだけでなく、車両から不在にはなっていないものの撮像画像に顔の特徴部分が写らない位置に乗員が存在している場合にも発生しうる。後者の場合では、乗員の入れ替わりは発生していないので、乗員パラメータをリセットすると、たとえば、乗員パラメータの再調整のための無駄な処理が必要となったり、乗員モニタリング処理の精度が低下したりすることがある。
【0006】
そこで、本開示の課題の一つは、乗員パラメータをリセットするか否かの切り替えを適切に実行することが可能な乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示の一例としての乗員モニタリング装置は、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得部と、取得部により取得された撮像画像が、少なくとも、乗員の顔の特徴部分は含まないが乗員の体の少なくとも一部を含む第１の画像と、乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別部と、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別部による判別結果に応じて、乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理部と、を備える。判別部は、撮像画像が、第１の画像と、第２の画像と、乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、処理部は、撮像画像が第１の画像に該当すると判別部により判別された場合、撮像画像に基づいて乗員の顔に関する顔情報を検出することなく、乗員パラメータを保持し、撮像画像が第２の画像に該当すると判別部により判別された場合、撮像画像に基づいて顔情報を検出することなく、乗員パラメータをリセットし、撮像画像が第３の画像に該当すると判別部により判別された場合、撮像画像に基づいて顔情報を検出するとともに、乗員パラメータを更新する。
【0008】
上述した乗員モニタリング装置によれば、撮像画像が第１の画像と第２の画像とのいずれに該当するか、すなわち乗員の入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。また、このような構成によれば、撮像画像が第１の画像と第２の画像と第３の画像とのいずれに該当するかに応じて、顔情報を検出するか否かを適切に切り替えることができるとともに、乗員パラメータを保持するかリセットするか更新するかを適切に切り替えることができる。
【0010】
この場合において、取得部は、撮像画像を継続的に複数回取得し、処理部は、撮像画像が第３の画像に該当すると判別部により判別された場合、顔情報を検出するとともに乗員パラメータを更新した後、取得部により次に取得される撮像画像に基づいて顔情報のトラッキングを実行し、撮像画像が第１の画像または第２の画像に該当すると判別部により判別された場合、顔情報を検出することなく乗員パラメータを保持またはリセットした後、顔情報のトラッキングを実行することなく、取得部により次に取得される撮像画像を対象とした判別部による判別結果に応じて、顔情報を検出するか否か、および、乗員パラメータを保持するかリセットするか更新するか、を切り替える。このような構成によれば、撮像画像が顔情報のトラッキングを実行可能な第３の画像に該当するか否かに応じて、顔情報のトラッキングを実行するか否かを適切に切り替えることができる。
【0011】
また、上述したような、撮像画像が第１の画像と第２の画像と第３の画像とのいずれに該当するかを判別する判別部を備えた乗員モニタリング装置において、取得部は、撮像画像を継続的に複数回取得し、処理部は、撮像画像が第２の画像に該当すると判別部により判別された後、最初に、撮像画像が第３の画像に該当すると判別部により判別された場合に、撮像画像に基づいて乗員を識別し、識別結果に応じて、乗員ごとに予め設定されたサービスを実行する。このような構成によれば、乗員の入れ替わりが発生した可能性が高い場合に、入れ替わり後の乗員を識別することで、乗員ごとに適切なサービスを実行することができる。
【0012】
上述した乗員モニタリング装置において、乗員パラメータは、乗員の顔の三次元の形状を含む構造を表す三次元モデルにおける、乗員の眼球の中心の位置を含む。このような構成によれば、三次元モデルにおける乗員の眼球の中心の位置を乗員パラメータとしてリセットするか否かを適切に切り替えることができる。
【0013】
また、上述した乗員モニタリング装置において、判別部は、撮像画像と同様の情報を含む学習用画像と、当該学習用画像が少なくとも第１の画像と第２の画像とのいずれに該当するかと、を機械学習により学習することで生成される学習済みモデルに基づいて、取得部により取得された撮像画像が少なくとも第１の画像と第２の画像とのいずれに該当するかを判別する。このように構成すれば、学習済みモデルに基づいて、撮像画像の判別を容易に実行することができる。
【0014】
本開示の他の一例としての乗員モニタリング方法は、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、取得ステップにおいて取得された撮像画像が、少なくとも、乗員の顔は含まないが乗員の体の少なくとも一部を含む第１の画像と、乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別ステップにおける判別結果に応じて、乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、を備える。判別ステップは、撮像画像が、第１の画像と、第２の画像と、乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、処理ステップは、撮像画像が第１の画像に該当すると判別ステップにより判別された場合、撮像画像に基づいて乗員の顔に関する顔情報を検出することなく、乗員パラメータを保持し、撮像画像が第２の画像に該当すると判別ステップにより判別された場合、撮像画像に基づいて顔情報を検出することなく、乗員パラメータをリセットし、撮像画像が第３の画像に該当すると判別ステップにより判別された場合、撮像画像に基づいて顔情報を検出するとともに、乗員パラメータを更新する。
【0015】
上述した乗員モニタリング方法によれば、撮像画像が第１の画像と第２の画像とのいずれに該当するか、すなわち乗員の入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。
【0016】
本開示のさらに他の一例としての乗員モニタリングプログラムは、コンピュータに、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、取得ステップにおいて取得された撮像画像が、少なくとも、乗員の顔は含まないが乗員の体の少なくとも一部を含む第１の画像と、乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別ステップにおける判別結果に応じて、乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、を実行させる。判別ステップは、撮像画像が、第１の画像と、第２の画像と、乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、処理ステップは、撮像画像が第１の画像に該当すると判別ステップにより判別された場合、撮像画像に基づいて乗員の顔に関する顔情報を検出することなく、乗員パラメータを保持し、撮像画像が第２の画像に該当すると判別ステップにより判別された場合、撮像画像に基づいて顔情報を検出することなく、乗員パラメータをリセットし、撮像画像が第３の画像に該当すると判別ステップにより判別された場合、撮像画像に基づいて顔情報を検出するとともに、乗員パラメータを更新する。
【0017】
上述した乗員モニタリングプログラムによれば、撮像画像が第１の画像と第２の画像とのいずれに該当するか、すなわち乗員の入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。
【0020】
まず、図１および図２を参照して、実施形態による車両１の概略的な構成について説明する。図１は、実施形態にかかる車両１の構成の一例を示した例示的かつ模式的な図であり、図２は、実施形態にかかる撮像装置２０１の配置の一例を示した例示的かつ模式的な図である。
【0021】
図１に示されるように、実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車である。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを総称して車輪３と記載することがある。実施形態では、４つの車輪３の一部または全部の横滑り角が、操舵部３０３ａの操舵などに応じて変化（転舵）する。
【0022】
また、図１に示されるように、実施形態にかかる車両１は、乗員（図１には不図示）が乗車する車室２ａを有している。車室２ａ内には、乗員としての運転者Ｘ（図１には不図示）が運転席２ｂから操作可能な状態で、操舵部３０３ａが設けられている。操舵部３０３ａは、たとえば、ダッシュボード（インストルメントパネル）１２から突出するように設けられたステアリングホイールやハンドルなどとしてとして構成される。なお、実施形態において、車室２ａ内に運転席２ｂ以外の座席が存在していてもよいことは、言うまでもない。
【0023】
また、車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有したモニタ装置１１が設けられている。モニタ装置１１は、たとえば、車室２ａ内のダッシュボードの車幅方向（左右方向）の中央部に設けられている。図１に示される例において、表示部８は、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能な操作入力部１０によって覆われている。これにより、乗員は、表示部８に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いた入力操作（たとえばタッチ操作）を行うことで、各種の操作を入力することができる。
【0024】
また、図２に示されるように、操舵部３０３ａを支持する支持部２０２には、撮像装置２０１が設けられている。撮像装置２０１は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラとして構成される。
【0025】
ここで、実施形態において、撮像装置２０１は、運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域を撮像するように構成されている。より具体的に、撮像装置２０１は、運転席２ｂに着座した運転者Ｘの顔が視野の中心に位置するように、視野角および姿勢が調整されている。
【0026】
撮像装置２０１は、車両１の運転が行われている間、運転者Ｘの顔の撮像を所定の時間間隔で周期的に実行し、撮像により得た撮像画像（に対応した画像データ）を順次、後述する乗員モニタリング装置３１０（図３および図４参照）に出力する。詳細は後述するが、乗員モニタリング装置３１０は、撮像装置２０１の撮像によって得られる撮像画像に基づいて、運転者Ｘの顔に関する顔情報の検出（および検出された顔情報のトラッキング）を含む乗員モニタリング処理を実行することで、運転者Ｘの顔の状態変化をモニタリングする。
【0027】
なお、図２には図示されていないが、実施形態では、撮像装置２０１が撮像する領域に光を照射する照明部が設けられてもよい。この場合、赤外線を照射する赤外線照明を使用すれば、運転者Ｘにまぶしさを感じさせることなく、撮像装置２０１による撮像を補助することができる。
【0028】
また、以下では、撮像装置２０１によって得られる、運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域の情報を含む撮像画像に基づいて実行される乗員モニタリング処理について説明するが、乗員モニタリング処理は、運転者Ｘ以外の乗員に対しても実行可能である。すなわち、乗員モニタリング処理は、撮像装置２０１とは異なる位置に設けられる、運転席２ｂ以外の他の座席に着座した乗員の顔が存在する可能性のある領域を撮像する撮像部によって得られる撮像画像に基づいても、同様に実行可能である。
【0029】
次に、図３を参照して、乗員モニタリング処理を実行する乗員モニタリング装置３１０を含む乗員モニタリングシステム３００のシステム構成について説明する。なお、図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。
【0030】
図３は、実施形態にかかる乗員モニタリングシステム３００のシステム構成を示した例示的かつ模式的なブロック図である。図３に示されるように、乗員モニタリングシステム３００は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、撮像装置２０１と、モニタ装置１１と、乗員モニタリング装置３１０と、車載ネットワーク３５０と、を有している。
【0031】
制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。
【0032】
制動部３０１ａは、たとえばブレーキペダルなどといった、車両１を減速させるための装置である。
【0033】
制動制御部３０１ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。制動制御部３０１ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速度合を制御する。
【0034】
制動部センサ３０１ｃは、制動部３０１ａの状態を検出するための装置である。たとえば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。
【0035】
加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。
【0036】
加速部３０２ａは、たとえばアクセルペダルなどといった、車両１を加速させるための装置である。
【0037】
加速制御部３０２ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。加速制御部３０２ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速度合を制御する。
【0038】
加速部センサ３０２ｃは、加速部３０２ａの状態を検出するための装置である。たとえば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。
【0039】
操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。
【0040】
操舵部３０３ａは、たとえばステアリングホイールやハンドルなどといった、車両１の転舵輪を転舵させる装置である。
【0041】
操舵制御部３０３ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。操舵制御部３０３ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。
【0042】
操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するための装置である。たとえば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。
【0043】
変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。
【0044】
変速部３０４ａは、たとえば、シフトレバーなどといった、車両１の変速比を変更するための装置である。
【0045】
変速制御部３０４ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。変速制御部３０４ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。
【0046】
変速部センサ３０４ｃは、変速部３０４ａの状態を検出するための装置である。たとえば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。
【0047】
障害物センサ３０５は、車両１の周囲に存在しうる障害物に関する情報を検出するための装置である。障害物センサ３０５は、たとえば、障害物までの距離を検出するソナーなどといった測距センサを含んでいる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。
【0048】
走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、たとえば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサなどを含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。
【0049】
乗員モニタリング装置３１０は、乗員モニタリングシステム３００を統括的に制御するための装置である。乗員モニタリング装置３１０は、撮像装置２０１によって得られる撮像画像に基づいて、運転者Ｘの顔に関する顔情報の検出（および検出された顔情報のトラッキング）を含む乗員モニタリング処理を実行することで、運転者Ｘの顔の状態変化をモニタリングする。なお、顔情報とは、運転者Ｘの目に関する目情報や、運転者Ｘの口に関する口情報、運転者Ｘの表情に関する表情情報などを含むデータである。目情報とは、目（瞼）の開閉状態や視線の向きなどを示すデータであり、口情報とは、口の開閉状態（会話の状態）などを示すデータである。
【0050】
乗員モニタリング装置３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０ａと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１０ｂと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１０ｃと、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したＥＣＵとして構成されている。
【0051】
ＣＰＵ３１０ａは、乗員モニタリング装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。各種の制御プログラムには、乗員モニタリング処理を実現するための乗員モニタリングプログラムが含まれる。
【0052】
ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
【0053】
ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。
【0054】
ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる乗員モニタリング装置３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよい。
【0055】
表示制御部３１０ｅは、乗員モニタリング装置３１０で実行されうる各種の処理のうち、主として、撮像装置２０１から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成などを司る。
【0056】
音声制御部３１０ｆは、乗員モニタリング装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成などを司る。
【0057】
車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、乗員モニタリング装置３１０と、を通信可能に接続する。
【0058】
ところで、従来、乗員モニタリング処理は、撮像画像に写っている乗員の顔の検出結果に応じて適宜調整される乗員パラメータに基づいて実行される。乗員パラメータの例としては、たとえば、乗員の顔の三次元の形状を含む構造を表す三次元モデルにおける乗員の眼球の中心の位置（所定の座標系における座標）や、当該三次元モデルを特定するための複数の点の位置（所定の座標系における座標）などが挙げられる。
【0059】
上記のような従来の技術において、たとえば乗員の入れ替わりが発生した場合には、乗員パラメータをリセットし、入れ替わり後の乗員に対応するように乗員パラメータを初期値から再調整することができれば有益である。そこで、乗員パラメータをリセットするタイミングとして、たとえば、撮像画像から乗員の顔の特徴部分（目や鼻、口など）が検出されない状況が発生したタイミングが考えられる。
【0060】
しかしながら、撮像画像から乗員の顔の特徴部分が検出されない状況は、入れ替わりの際に車両１から乗員が不在になる場合に発生するだけでなく、車両１から不在にはなっていないものの撮像画像に顔の特徴部分が写らない位置に乗員が存在している場合にも発生しうる。後者の場合では、乗員の入れ替わりは発生していないので、乗員パラメータをリセットすると、たとえば、乗員パラメータの再調整のための無駄な処理が必要となったり、乗員モニタリング処理の精度が低下したりすることがある。
【0061】
そこで、実施形態は、乗員モニタリング装置３１０に次の図４に示されるような機能を持たせることで、乗員パラメータをリセットするか否かの切り替えを適切に実行することを実現する。
【0062】
図４は、実施形態にかかる乗員モニタリング装置３１０の機能を示した例示的かつ模式的なブロック図である。図４に示される機能は、ソフトウェアとハードウェアとの協働によって実現される。すなわち、図４に示される例において、乗員モニタリング装置３１０の機能は、ＣＰＵ３１０ａがＲＯＭ３１０ｂなどに記憶された所定の制御プログラムを読み出して実行した結果として実現される。なお、実施形態では、図４に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されてもよい。
【0063】
図４に示されるように、実施形態にかかる乗員モニタリング装置３１０は、取得部４０１と、判別部４０２と、処理部４０４と、を有している。
【0064】
取得部４０１は、撮像装置２０１によって得られる撮像画像を、所定の制御タイミングで継続的に複数回取得する。前述したように、撮像画像は、車両１内において運転者Ｘの顔が存在する可能性のある領域の情報を含んでいる。
【0065】
判別部４０２は、取得部４０１により取得された撮像画像が、顔の特徴部分（目や鼻、口など）は含まないが体の少なくとも一部を含む第１の画像と、顔の特徴部分はおろか体を全く含まない第２の画像と、顔の特徴部分を含む第３の画像と、のいずれに該当するかを判別する。
【0066】
より具体的に、判別部４０２は、機械学習の結果として生成される学習済みモデル４０３を有しており、当該学習済みモデル４０３に基づいて、撮像画像が、第１の画像、第２の画像、および第３の画像のいずれに該当するか否かを判別する。学習済みモデル４０３は、たとえば、第１の画像、第２の画像、または第３の画像のいずれに該当するかのラベルを複数の学習用画像のそれぞれに対して付与し、これらの学習用画像とラベルとの組み合わせを教師データとした教師あり学習によって生成することが可能である。なお、学習用画像は、たとえば撮像画像と同条件下で撮像された画像であり、撮像画像と同様の情報を含んでいるものとする。実施形態において、学習済みモデル４０３を生成するための機械学習は、教師あり学習に限らず、教師なし学習や強化学習、これら３つの学習スキームのうち１つ以上の組み合わせなどであってもよい。
【0067】
ここで、第１の画像、第２の画像、および第３の画像の具体例について簡単に説明する。
【0068】
図５は、実施形態にかかる第１の画像の一例を示した例示的かつ模式的な図である。この図５に示される画像５００は、運転者Ｘの顔の特徴部分は含まないが体の少なくとも一部を含んでいるので、第１の画像の一例である。より具体的に、画像５００は、運転席２ｂに運転者Ｘが座っており、運転者Ｘの手Ｈを含む体の一部は写っているものの顔の特徴部分は手Ｈによって隠されているので写っていない状況を表している。
【0069】
図５に示される画像５００のような第１の画像からは、運転者Ｘの顔に関する顔情報を検出できないので顔情報の検出（および検出した顔情報のトラッキング）を含む乗員モニタリング処理に利用することは不可能であるが、運転者Ｘが車内に存在していること自体を検出することは可能である。以下では、第１の画像を便宜的に隠れ画像と表現することがある。
【0070】
また、図６は、実施形態にかかる第２の画像の一例を示した例示的かつ模式的な図である。この図６に示される画像６００は、運転者Ｘの顔はおろか体の一部も全く含まないので、第２の画像の一例である。より具体的に、画像６００は、運転者Ｘが全く写っておらず運転席２ｂのみが写っている状況を表している。
【0071】
図６に示される画像６００のような第２の画像からは、運転者Ｘの顔情報を全く検出できないので顔情報の検出（および検出した顔情報のトラッキング）を含む乗員モニタリング処理に利用することは不可能である。さらに言えば、第２の画像からは、運転者Ｘの顔情報はおろか、運転者Ｘが車内に存在していることも当然に検出されないので、第２の画像は、入れ替わりなどのために車内から運転者Ｘが不在になった状況を表しているといえる。以下では、第２の画像を便宜的に不在画像と表現することがある。
【0072】
また、図７は、実施形態にかかる第３の画像の一例を示した例示的かつ模式的な図である。この図７に示される画像７００は、運転者Ｘの顔の特徴部分を含んでいるので、第３の画像の一例である。より具体的に、画像７００は、運転者Ｘの顔の全体があらわになった状況を表している。
【0073】
図７に示される画像７００のような第３の画像からは、運転者Ｘの顔情報を検出することができる。したがって、第３の画像は、顔情報の検出（および検出した顔情報のトラッキング）を含む乗員モニタリング処理に利用することができる。以下では、第３の画像を便宜的に検出可能画像と表現することがある。
【0074】
ここで、取得部４０１により取得される撮像画像が不在画像に該当する場合、運転者Ｘの入れ替わりが発生した可能性が高いと判断できるので、乗員パラメータをリセットするのが適切である。
【0075】
一方、取得部４０１により取得される撮像画像が不在画像に該当する場合、顔情報を検出すること自体は不可能であるが、運転者Ｘの入れ替わりは発生しておらず、その後も引き続き同一人物の顔情報を検出することになると判断できるので、乗員パラメータはリセットせずにそのまま保持するのが適切である。
【0076】
また、取得部４０１により取得される撮像画像が検出可能画像に該当する場合、当該検出可能画像から最新の顔情報を検出することが可能であるので、当該最新の顔情報に基づいて、乗員パラメータを更新するのが適切である。
【0077】
このように、取得部４０１により取得される撮像画像が、不在画像、隠れ画像、および検出可能画像のいずれに該当するかに応じて、乗員パラメータの適切な取り扱い方が異なっている。
【0078】
そこで、図４に戻り、処理部４０４は、判別部による判別結果に応じて、運転者Ｘの顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える。以下、処理部４０４の機能についてより詳細に説明する。
【0079】
処理部４０４は、乗員モニタリング処理の初期段階として撮像画像から最初に顔情報を検出する初期検出モードと、初期検出処理において検出された顔情報のトラッキングを実行するトラッキングモードと、の２つの制御モードにそれぞれ対応した機能モジュールを有している。
【0080】
すなわち、処理部４０４は、初期検出モードに対応した処理としての初期検出処理を実行する初期検出処理部４０５と、トラッキングモードに対応した処理としてのトラッキング処理を実行するトラッキング処理部４０６と、を有している。
【0081】
処理部４０４の制御モードは、たとえば取得部４０１により撮像画像が取得された場合に、初期検出モードに設定される。
【0082】
前述したように、撮像画像が検出可能画像に該当する場合、運転者Ｘの顔情報を検出することが可能である。したがって、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が検出可能画像に該当する場合、撮像画像と現在の乗員パラメータとに基づいて、顔情報を検出するとともに乗員パラメータを更新する。
【0083】
より具体的に、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が検出可能画像に該当する場合、顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルを表す乗員パラメータを、検出可能画像の特徴点にマッチするように適宜調整することで、顔情報を検出するとともに乗員パラメータを更新する。
【0084】
初期検出処理部４０５により顔情報が正常に検出されると、処理部４０４の制御モードがトラッキングモードに設定される。
【0085】
そして、処理部４０４のトラッキング処理部４０６は、次に取得される撮像画像と、更新された乗員パラメータと、に基づいて、初期検出処理において検出された顔情報のトラッキングを実行する。
【0086】
一方、前述したように、撮像画像が隠れ画像または不在画像に該当する場合、運転者Ｘの顔情報を検出することは不可能である。したがって、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が隠れ画像または不在画像に該当する場合、顔情報の検出を実行しないとともに、乗員パラメータを更新しない。
【0087】
より具体的に、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が隠れ画像に該当する場合、顔情報を検出することなく、乗員パラメータを保持し、撮像画像が不在画像に該当する場合、顔情報を検出することなく、乗員パラメータをリセットする。
【0088】
このように、撮像画像が隠れ画像または不在画像に該当する場合、初期検出処理においてトラッキングの対象となる顔情報が検出されない。したがって、この場合、処理部４０４は、初期検出処理部４０５による初期検出処理の実行後、トラッキング処理部４０６による顔情報のトラッキングを実行することなく、初期検出処理部４０５による初期検出処理を再度実行する。すなわち、この場合、処理部４０４は、次に取得される撮像画像を対象とした判別部４０２による判別結果に応じて、顔情報を検出するか否かを切り替えるとともに、乗員パラメータを保持するかリセットするか更新するかを切り替える。
【0089】
ところで、前述したように、撮像画像は、取得部４０１により継続的に複数回取得される。このような構成においては、撮像画像が不在画像から検出可能画像に変化したタイミングは、運転者Ｘの入れ替わりが発生し、かつ、新たな運転者Ｘを撮像画像に基づいて明確に識別可能になったと判断することができる最初のタイミングに相当する。このタイミングで個人認識処理を実行すれば、オーディオや空調などの設定や、運転席２ｂの位置の調整などといった、運転者Ｘごとに予め設定（カスタマイズ）されたサービスを、識別された新たな運転者Ｘに対して適切に提供することが可能になる。
【0090】
そこで、実施形態において、処理部４０４は、上記のような個人認識処理を実行する個人認識処理部４０７を有している。個人認識処理部４０７は、撮像画像が不在画像に該当すると判別部４０２により判別された後、最初に、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合に、撮像画像に基づいて運転者Ｘを識別し、識別結果に応じて予め設定されたサービスを実行する処理を、個人認識処理として実行する。運転者Ｘの識別は、たとえば画像認識処理などによって撮像画像から取得される個人の識別情報に基づいて実行される。
【0091】
以下、実施形態にかかる初期検出処理、個人認識処理およびトラッキング処理のより詳細な内容について、フローチャートとともに説明する。
【0092】
まず、初期検出処理の詳細について説明する。
【0093】
図８は、実施形態にかかる乗員モニタリング装置３１０が実行する初期検出処理を示した例示的かつ模式的なフローチャートである。初期検出処理は、たとえば、処理部４０４の制御モードが初期検出モードに設定され、かつ、取得部４０１により撮像画像が取得された場合に実行される。
【0094】
図８に示されるように、初期検出処理においては、まず、Ｓ８０１において、初期検出処理部４０５は、撮像画像における顔の位置を検出する。
【0095】
そして、Ｓ８０２において、初期検出処理部４０５は、撮像画像における顔の向きを検出する。
【0096】
そして、Ｓ８０３において、判別部４０２は、撮像画像の判別を実行する。
【0097】
そして、Ｓ８０４において、初期検出処理部４０５は、Ｓ８０２の判別結果に基づいて、撮像画像が、図７に示される画像７００のような検出可能画像に該当するか否かを判断する。
【0098】
Ｓ８０４において、撮像画像が検出可能画像に該当すると判断された場合、Ｓ８０５に処理が進む。そして、Ｓ８０５において、個人認識処理部４０７は、次の図９に示されるような個人認識処理を実行する。
【0099】
図９は、実施形態にかかる乗員モニタリング装置３１０が実行する個人認識処理を示した例示的かつ模式的なフローチャートである。前述したように、個人認識処理とは、運転者Ｘの入れ替わりに応じて運転者Ｘごとに予め設定されたサービスを実行する処理である。
【0100】
図９に示されるように、個人認識処理においては、まず、Ｓ９０１において、個人認識処理部４０７は、判別部４０２による判別処理（図８に示されるＳ８０３参照）の前回の実行時に、撮像画像が不在画像に該当すると判定されていたか否かを判断する。
【0101】
Ｓ９０１において、撮像画像が不在画像に該当すると前回は判定されていないと判断された場合、運転者Ｘの入れ替わりは発生していないと判断することができる。したがって、この場合、運転者Ｘの識別が実行されることなく処理が終了し、図８に示されるＳ８０５の処理が終了する。
【0102】
一方、Ｓ９０１において、撮像画像が不在画像に該当すると前回判定されていたと判断された場合、現在のタイミングが、運転者Ｘの入れ替わりが発生し、かつ、新たな運転者Ｘを撮像画像に基づいて明確に識別可能になった最初のタイミングであると判断することができる。したがって、この場合、Ｓ９０２に処理が進み、当該Ｓ９０２において、個人認識処理部４０７は、新たな運転者Ｘを特定するために、撮像画像に対して画像認識処理などを実行し、撮像画像から、個人を識別するための識別情報を取得する。
【0103】
そして、Ｓ９０３において、個人認識処理部４０７は、Ｓ９０２で取得された識別情報に応じて、入れ替わり後の運転者Ｘに対して予め設定されたサービスを決定する。なお、乗員モニタリング装置３１０には、たとえば、複数の運転者Ｘの識別情報と、当該複数の運転者Ｘごとに予め設定（カスタマイズ）されたサービスに関する情報と、が対応付けられた状態で記憶されているものとする。
【0104】
そして、Ｓ９０４において、個人認識処理部４０７は、Ｓ９０３で決定したサービスを実行する。これにより、オーディオや空調などの設定や、運転席２ｂの位置の調整などといったサービスを、入れ替わり後の運転者Ｘに応じた適切な内容で提供することが可能となる。
【0105】
Ｓ９０４の処理が終了すると、図８に示されるＳ８０５の処理が終了する。
【0106】
そして、図８に戻り、Ｓ８０６において、初期検出処理部４０５は、現在保持している乗員パラメータを調整しながら、撮像画像と、顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルと、のフィッティングを実行し、撮像画像に含まれる顔の位置および向きを、より詳細に検出する。初期検出処理におけるフィッティングは、たとえば、顔の三次元の形状を含む構造を表す統計的なデータとして予め設定された初期モデルに基づいて実行される。
【0107】
そして、Ｓ８０７において、初期検出処理部４０５は、Ｓ８０６におけるフィッティングの結果に基づいて、運転者Ｘの顔に関する顔情報を検出する。前述したように、顔情報とは、目に関する目情報（瞼の開閉状態や視線の向きなど）や、口に関する口情報（会話の状態など）、表情に関する表情情報などを含むデータである。
【0108】
そして、Ｓ８０８において、初期検出処理部４０５は、顔情報が正常に検出されたか否かを判断する。たとえば、初期検出処理部４０５は、顔情報の検出のために直近に実行された一連の処理としてのＳ８０５～Ｓ８０７の処理のそれぞれについて、その信頼度を示す値（スコア）を算出し、当該スコアに基づいて、Ｓ８０８の判断を実行する。
【0109】
Ｓ８０８において、顔情報が正常に検出されたと判断された場合、Ｓ８０９に処理が進む。そして、Ｓ８０９において、初期検出処理部４０５は、Ｓ８０６におけるフィッティングの結果を反映するように、乗員パラメータを更新する。
【0110】
そして、Ｓ８１０において、初期検出処理部４０５は、処理部４０４の次の制御モードをトラッキングモードに設定する。そして、処理が終了する。
【0111】
一方、Ｓ８０８において、顔情報が正常に検出されなかったと判断された場合、Ｓ８１１に処理が進む。そして、Ｓ８１１において、初期検出処理部４０５は、乗員パラメータを更新することなくそのまま保持する。
【0112】
そして、Ｓ８１２において、初期検出処理部４０５は、処理部４０４の次の制御モードを初期検出モードに設定する。そして、処理が終了する。
【0113】
なお、Ｓ８０４において、撮像画像が検出可能画像に該当しないと判断された場合、Ｓ８１３に処理が進む。そして、Ｓ８１３において、初期検出処理部４０５は、Ｓ８０３の判別結果に基づいて、撮像画像が、図５に示される画像５００のような隠れ画像に該当するか否かを判断する。
【0114】
Ｓ８１３において、撮像画像が隠れ画像に該当すると判断された場合、顔情報の検出および乗員パラメータの更新は実行されない。したがって、この場合、Ｓ８１１に処理が進む。なお、Ｓ８１１以降の処理については、既に説明したため、ここでは説明を省略する。
【0115】
一方、Ｓ８１３において、撮像画像が隠れ画像に該当しないと判断された場合、Ｓ８１４に処理が進む。そして、Ｓ８１４において、初期検出処理部４０５は、Ｓ８０３の判別結果に基づいて、撮像画像が、図６に示される画像６００のような不在画像に該当するか否かを判断する。
【0116】
Ｓ８１３において、撮像画像が隠れ画像に該当すると判断された場合、顔情報の検出が実行されることなく、乗員パラメータのリセットが実行される。したがって、この場合、Ｓ８１５に処理が進み、当該Ｓ８１５において、初期検出処理部４０５は、乗員パラメータを初期値にリセットする。
【0117】
Ｓ８１５の処理が終了すると、Ｓ８１２に処理が進み、また、Ｓ８１４において、撮像画像が隠れ画像に該当しないと判断された場合にも、Ｓ８１２に処理が進むが、Ｓ８１２以降の処理については、既に説明したため、ここでは説明を省略する。
【0118】
次に、トラッキング処理の詳細について説明する。
【0119】
図１０は、実施形態にかかる乗員モニタリング装置３１０が実行するトラッキング処理を示した例示的かつ模式的なフローチャートである。トラッキング処理は、たとえば、処理部４０４の制御モードがトラッキングモードに設定され、かつ、取得部４０１により撮像画像が取得された場合に実行される。
【0120】
図１０に示されるように、トラッキング処理においては、まず、Ｓ１００１において、トラッキング処理部４０６は、撮像画像における顔の位置のトラッキングを実行する。なお、トラッキングは、初期検出処理における各種の検出結果を利用して、探索範囲を限定したり、マッチングのためのテンプレートを流用したり、連続するフレーム間の差分に基づいて変化した部分を特定したりすることができる。したがって、一般に、トラッキングは、初期検出処理における各種の検出に比べて、処理速度が速い。
【0121】
そして、Ｓ１００２において、トラッキング処理部４０６は、撮像画像における顔の向きのトラッキングを実行する。
【0122】
そして、Ｓ１００３において、トラッキング処理部４０６は、現在保持している乗員パラメータを調整しながら、撮像画像と三次元モデルとのフィッティングを実行する。なお、トラッキング処理におけるフィッティングは、たとえば、前回の初期検出処理またはトラッキング処理において調整された後の最新の三次元モデルに基づいて実行される。
【0123】
そして、Ｓ１００４において、トラッキング処理部４０６は、Ｓ１００３におけるフィッティングの結果に基づいて、初期検出処理において検出された顔情報のトラッキングを実行する。
【0124】
そして、Ｓ１００５において、トラッキング処理部４０６は、顔情報のトラッキングが正常に実行されたか否かを判断する。たとえば、トラッキング処理部４０６は、顔情報のトラッキングのために直近に実行された一連の処理のそれぞれについて、その信頼度を示す値（スコア）を算出し、当該スコアに基づいて、Ｓ１００５の判断を実行する。
【0125】
Ｓ１００５において、顔情報のトラッキングが正常に実行されたと判断された場合、Ｓ１００６に処理が進む。そして、Ｓ１００６において、トラッキング処理部４０６は、Ｓ１００３におけるフィッティングの結果を反映するように、乗員パラメータを更新する。
【0126】
そして、Ｓ１００７において、トラッキング処理部４０６は、処理部４０４の次の制御モードをトラッキングモードに設定する。そして、処理が終了する。
【0127】
一方、Ｓ１００５において、顔情報のトラッキングが正常に実行されなかったと判断された場合、Ｓ１００８に処理が進む。そして、Ｓ１００８において、トラッキング処理部４０６は、乗員パラメータを更新することなくそのまま保持する。
【0128】
そして、Ｓ１００９において、トラッキング処理部４０６は、処理部４０４の次の制御モードを初期検出モードに設定する。そして、処理が終了する。
【0129】
以上説明したように、実施形態にかかる乗員モニタリング装置３１０は、取得部４０１と、判別部４０２と、処理部４０４と、を有している。取得部４０１は、車両１内において乗員としての運転者Ｘの顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する。判別部４０２は、取得部４０１により取得された撮像画像が、少なくとも、図５に示される画像５００のような隠れ画像、すなわち運転者Ｘの顔の特徴部分は含まないが運転者Ｘの体の少なくとも一部を含む第１の画像と、図６に示される画像６００のような不在画像、すなわち運転者Ｘの体を全く含まない第２の画像と、のいずれに該当するかを判別する。処理部４０４は、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別部４０２による判別結果に応じて、運転者Ｘの顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える。
【0130】
実施形態にかかる乗員モニタリング装置３１０によれば、撮像画像が隠れ画像と不在画像とのいずれに該当するか、すなわち運転者Ｘの入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。
【0131】
実施形態にかかる乗員モニタリング装置３１０において、判別部４０２は、撮像画像が、隠れ画像と、不在画像と、図７に示される画像７００のような検出可能画像、すなわち乗員の顔を含む第３の画像と、のいずれに該当するかを判別する。そして、処理部４０４は、撮像画像が隠れ画像に該当すると判別部４０２により判別された場合、撮像画像に基づいて運転者Ｘの顔に関する顔情報を検出することなく、乗員パラメータを保持し、撮像画像が不在画像に該当すると判別部４０２により判別された場合、撮像画像に基づいて顔情報を検出することなく、乗員パラメータをリセットし、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合、撮像画像に基づいて顔情報を検出するとともに、乗員パラメータを更新する。このような構成によれば、撮像画像が隠れ画像と不在画像と検出可能画像とのいずれに該当するかに応じて、顔情報を検出するか否かを適切に切り替えることができるとともに、乗員パラメータを保持するかリセットするか更新するかを適切に切り替えることができる。
【0132】
また、実施形態にかかる乗員モニタリング装置３１０において、取得部４０１は、撮像画像を継続的に複数回取得する。そして、処理部４０４は、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合、顔情報を検出するとともに乗員パラメータを更新した後、取得部４０１により次に取得される撮像画像に基づいて顔情報のトラッキングを実行し、撮像画像が隠れ画像または不在画像に該当すると判別部４０２により判別された場合、顔情報を検出することなく乗員パラメータを保持またはリセットした後、顔情報のトラッキングを実行することなく、取得部４０１により次に取得される撮像画像を対象とした判別部４０２による判別結果に応じて、顔情報を検出するか否か、および、乗員パラメータを保持するかリセットするか更新するか、を切り替える。このような構成によれば、撮像画像が顔情報のトラッキングを実行可能な検出可能画像に該当するか否かに応じて、顔情報のトラッキングを実行するか否かを適切に切り替えることができる。
【0133】
また、実施形態にかかる乗員モニタリング装置３１０において、処理部４０４は、撮像画像が不在画像に該当すると判別部４０２により判別された後、最初に、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合に、撮像画像に基づいて運転者Ｘを識別し、識別結果に応じて、運転者Ｘごとに予め設定されたサービスを実行する。このような構成によれば、運転者Ｘの入れ替わりが発生した可能性が高い場合に、入れ替わり後の運転者Ｘを識別することで、運転者Ｘごとに適切なサービスを実行することができる。
【0134】
また、実施形態にかかる乗員モニタリング装置３１０において、乗員パラメータは、運転者Ｘの顔の三次元の形状を含む構造を表す三次元モデルにおける、運転者Ｘの眼球の中心の位置を含む。このような構成によれば、三次元モデルにおける運転者Ｘの眼球の中心の位置を乗員パラメータとしてリセットするか否かを適切に切り替えることができる。
【0135】
また、実施形態にかかる乗員モニタリング装置３１０において、判別部４０２は、撮像画像と同様の情報を含む学習用画像と、当該学習用画像が少なくとも第１の画像と第２の画像とのいずれに該当するかと、を機械学習により学習することで生成される学習済みモデル４０３に基づいて、取得部４０１により取得された撮像画像が少なくとも第１の画像と第２の画像とのいずれに該当するかを判別する。このように構成すれば、学習済みモデル４０３に基づいて、撮像画像の判別を容易に実行することができる。
【0136】
なお、実施形態において、乗員パラメータは、三次元モデルにおける運転者Ｘの眼球の中心の位置のような、乗員の顔の形状を含む構造を特定するためのパラメータに制限されるものではない。すなわち、乗員パラメータは、乗員の顔の状態変化をモニタリングするために設定されうるパラメータであれば、性別や年齢などといった、乗員の顔に直接的には関係ないパラメータも含みうる。
【0137】
また、実施形態にかかる乗員モニタリング装置３１０において実行される乗員モニタリングプログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる乗員モニタリング装置３１０において実行される乗員モニタリングプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。
【0138】
以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0139】
１ 車両
３１０ 乗員モニタリング装置
４０１ 取得部
４０２ 判別部
４０３ 学習済みモデル
４０４ 処理部
３１０ 乗員モニタリング装置
４０１ 取得部
４０２ 判別部
４０３ 学習済みモデル
４０４ 処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】