特許 7722334 車載システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-08-04

(45)【発行日】2025-08-13

(54)【発明の名称】車載システム

(51)【国際特許分類】

   B60W 40/08 20120101AFI20250805BHJP

   B60W 30/18 20120101ALI20250805BHJP

【ＦＩ】

B60W40/08

B60W30/18

【請求項の数】 5

(21)【出願番号】P 2022176520

(22)【出願日】2022-11-02

(65)【公開番号】P2024066808

(43)【公開日】2024-05-16

【審査請求日】2024-06-20

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】金子 智洋

(72)【発明者】

【氏名】中山 茂樹

(72)【発明者】

【氏名】佐藤 古都瑠

【審査官】佐々木 淳

(56)【参考文献】

【文献】韓国登録特許第１０－２２００８０７（ＫＲ，Ｂ１）

【文献】特開２０２０－１６４１０３（ＪＰ，Ａ）

【文献】特開２０１７－０２１６５１（ＪＰ，Ａ）

【文献】特開２０２０－１７７３９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－６０／００

(57)【特許請求の範囲】

【請求項1】

制御装置と、
車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、
感情推定用の学習済みモデルを記憶する記憶装置と、
を備えた車載システムであって、
前記制御装置は、
前記監視装置の監視結果に基づいて、前記複数の乗員のうち、前記車両の運転者である乗員を除外して、前記車両の挙動を把握していない乗員が存在するか否かを判定し、
その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、
前記学習済みモデルを用いて、決定された前記対象乗員の感情を推定し、且つ、
前記対象乗員の感情の推定結果に応じて、車両制御を実行する、
ように構成されており、
前記制御装置は、前記車両の挙動を把握していない乗員が存在しないと判断した場合、前記車両の後部座席に着座している乗員を感情推定の対象とする、
車載システム。

【請求項2】

前記判定結果に基づいて、前記対象乗員を決定することは、前記車両の挙動を把握していない１人以上の乗員が前記複数の乗員の中に存在する場合に、当該１人以上の乗員から前記対象乗員を決定することを含む、
請求項１に記載の車載システム。

【請求項3】

車内において前記複数の乗員の顔を撮影可能な位置に配置された撮像装置を更に備え、
前記学習済みモデルは、人物の表情の写る画像データから当該人物の感情を推定した結果を導出するように機械学習により生成されたものであり、
前記学習済みモデルを用いて、前記対象乗員の感情を推定することは、
前記撮像装置により得られる前記対象乗員の表情の写る画像データを前記学習済みモデルに与え、且つ、
前記学習済みモデルの演算処理を実行することで、前記対象乗員の感情を推定した結果を前記学習済みモデルから得ること、
により構成される、請求項１に記載の車載システム。

【請求項4】

前記監視装置は、前記撮像装置により構成され、
前記車両の挙動を把握していない乗員が存在するか否かを判定することは、前記撮像装置により得られる画像データに基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定することにより構成される、
請求項３に記載の車載システム。

【請求項5】

前記車両制御を実行することは、前記車両の挙動を把握していない乗員が存在すると判定した場合に、
前記対象乗員の感情の推定結果に応じて、前記車両の加速度の範囲を限定する車両制御を実行することを含む、
請求項１乃至４のいずれか１項に記載の車載システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載システムに関する。

【背景技術】

【0002】

特許文献１には、運転者と乗員との感情差に基づいて、運転アドバイスを生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０９８７７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

加減速、右左折、及び、段差などの車両の挙動を乗員が把握していない場合には、車酔いなどの不快な感情になりやすい。

【0005】

本発明は、上記課題に鑑みてなされたものであって、その目的は、車両の挙動を把握していない乗員が不快になるのを抑制することができる車載システムを提供することである。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る車載システムは、制御装置と、車内の複数の乗員それぞれが車両の挙動を把握しているか否かを監視する監視装置と、感情推定用の学習済みモデルを記憶する記憶装置と、を備えた車載システムであって、前記制御装置は、前記監視装置の監視結果に基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定し、その判定結果に基づいて、感情を推定する対象となる対象乗員を前記複数の乗員から決定し、前記学習済みモデルを用いて、決定された前記対象乗員の感情を推定し、且つ、前記対象乗員の感情の推定結果に応じて、車両制御を実行する、ように構成されるものである。

【0007】

これにより、本発明に係る車載システムにおいては、車両の挙動を把握していない乗員の感情を優先して車両制御を実行することにより、当該乗員が不快になるのを抑制することができる。

【0008】

また、上記において、前記判定結果に基づいて、前記対象乗員を決定することは、前記車両の挙動を把握していない１人以上の乗員が前記複数の乗員の中に存在する場合に、当該１人以上の乗員から前記対象乗員を決定することを含むようにしてもよい。

【0009】

これにより、複数の乗員の中に存在する、車両の挙動を把握していない１人以上の乗員から、対象乗員を決定することができる。

【0010】

また、上記において、車内において前記複数の乗員の顔を撮影可能な位置に配置された撮像装置を更に備え、前記学習済みモデルは、人物の表情の写る画像データから当該人物の感情を推定した結果を導出するように機械学習により生成されたものであり、前記学習済みモデルを用いて、前記対象乗員の感情を推定することは、前記撮像装置により得られる前記対象乗員の表情の写る画像データを前記学習済みモデルに与え、且つ、前記学習済みモデルの演算処理を実行することで、前記対象乗員の感情を推定した結果を前記学習済みモデルから得ること、により構成されるようにしてもよい。

【0011】

これにより、撮像装置によって撮影された対象乗員の表情から感情を推定することができる。

【0012】

また、上記において、前記監視装置は、前記撮像装置により構成され、前記車両の挙動を把握していない乗員が存在するか否かを判定することは、前記撮像装置により得られる画像データに基づいて、前記複数の乗員のうち、前記車両の挙動を把握していない乗員が存在するか否かを判定することにより構成されるようにしてもよい。

【0013】

これにより、撮像装置により得られる画像データに基づいて、車両の挙動を把握していない乗員を判定することができる。

【0014】

また、上記において、前記車両制御を実行することは、前記車両の挙動を把握していない乗員が存在すると判定した場合に、前記対象乗員の感情の推定結果に応じて、前記車両の加速度の範囲を限定する車両制御を実行することを含むようにしてもよい。

【0015】

これにより、車両の挙動を把握していない乗員が、急激な加減速によって不快になるのを抑制することができる。

【発明の効果】

【0016】

本発明に係る車載システムは、車両の挙動を把握していない乗員が不快になるのを抑制することができるという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】実施形態１に係る車載システムが搭載された車両の概略を示した図である。

【図2】制御装置が実施する制御の一例を示したフローチャートである。

【図3】実施形態２に係る車載システムが搭載された車両の概略を示した図である。

【図4】実施形態３に係る車載システムが搭載された車両の概略を示した図である。

【図5】実施形態４に係る車載システムが搭載された車両の概略を示した図である。

【発明を実施するための形態】

【0018】

（実施形態１）
以下に、本発明に係る車載システムの実施形態１について説明する。なお、本実施形態により本発明が限定されるものではない。

【0019】

図１は、実施形態１に係る車載システム２が搭載された車両１の概略を示した図である。

【0020】

図１に示すように、実施形態に係る車両１は、車載システム２、ハンドル４、前部座席３１，３２、及び、後部座席３３などを備えている。なお、図１中の矢印Ａは、車両１の進行方向を示している。

【0021】

前部座席３１，３２及び後部座席３３には、それぞれ乗員１０Ａ，１０Ｂ，１０Ｃが着座している。ハンドル４と対向する前部座席３１に着座した乗員１０Ａは、車両１の運転者である。図１中の矢印ＬＳ１は、乗員１０Ｂの視線の向きを示している。図１中の矢印ＬＳ２は、乗員１０Ｃの視線の向きを示している。なお、以下の説明において、乗員１０Ａ，１０Ｂ，１０Ｃを特に区別しない場合には、単に乗員１０と記す。

【0022】

車載システム２は、制御装置２１、記憶装置２２、及び、車内カメラ２３などによって構成されている。

【0023】

制御装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む集積回路によって構成されている。制御装置２１は、記憶装置２２に記憶されたプログラムなどを実行する。また、制御装置２１は、例えば、車内カメラ２３から画像データを取得する。

【0024】

記憶装置２２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などを少なくとも１つ備えている。また、記憶装置３０は、物理的に一つの要素である必要はなく、物理的に離間して設けられた複数の要素を有してもよい。記憶装置２２は、制御装置２１によって実行されるプログラムなどを記憶する。また、記憶装置２２は、後述する訓練済みの機械学習モデルである、車両１の挙動を把握しているか否かの判定用の学習済みモデル、感情推定用の学習済みモデル、車両制御用の学習済みモデルなどのプログラムの実行時に使用される各種データも記憶している。

【0025】

車内カメラ２３は、図１に示されるように、車内において複数の乗員１０Ａ，１０Ｂ，１０Ｃの顔を撮影可能な位置に配置された撮像装置である。この車内カメラ２３によって撮影された画像データは、制御装置２１に送信されて、記憶装置２２に一時的に記憶されるようになっている。また、車内カメラ２３は、車両１の複数の乗員１０Ａ、１０Ｂ，１０Ｃそれぞれが、車両１の挙動を把握しているか否かを監視するための監視装置として機能する。

【0026】

制御装置２１は、車内カメラ２３によって撮影された画像データに基づいて、乗員１０の顔の向きや視線、表情などを探知することができる。また、制御装置２１は、車内カメラ２３によって撮影された人物の表情の写る画像データに基づいて、車両１の挙動を把握していない乗員１０や、乗員１０の表情から当該乗員１０の感情を、機械学習した学習済みモデルを用いてＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｎｅｃｅ）により判定することが可能となっている。なお、車両１の挙動を把握していない乗員１０が存在するか否かを判定することは、車内カメラ３により得られる画像データに基づいて、複数の乗員１０のうち、車両１の挙動を把握していない乗員１０が存在するか否かを判定することにより構成される。さらに、制御装置２１は、乗員１０の感情から車両制御の内容を、機械学習した学習済みモデルを用いてＡＩにより判断することが可能となっている。

【0027】

車両１の挙動を把握しているか否かの判定用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから感情の推定結果を出力するように機械学習されている。前記判定用の学習済みモデルは、入力及び結果のデータの組み合わせである学習用データセットを用いて、学習処理を繰り返し実行して生成される。学習用データセットは、例えば、入力として与えられる乗員１０の視線など人物の顔の写る画像データの入力データに対して、出力となる車両１の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。入力データに対する車両１の挙動を把握しているか否かのラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された前記判定用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、車両１の挙動を把握しているか否かを出力する。

【0028】

感情推定用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから感情の推定結果を出力するように機械学習されている。感情推定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員１０の表情など人物の表情の写る画像データの入力データに対して、出力となる乗員１０の感情をラベル付けした学習用データを複数含むものである。入力データに対する乗員１０の感情のラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された感情推定用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、乗員１０の感情を推定した結果を出力する。

【0029】

なお、乗員１０が車両の挙動を把握しているか否かの判断に用いるデータと、車両１の挙動を把握していない乗員１０の感情推定に用いるデータとは、同一でもよいし、異なっていてもよい。

【0030】

車両制御用の学習済みモデルは、訓練済みの機械学習モデルであって、例えば、ニューラルネットワークモデルに従って、教師あり学習により、入力データから車両制御の内容の結果を出力するように機械学習されている。車両制御用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員１０の感情の推定結果などの入力データに対して、出力となる車両制御の内容をラベル付けした学習用データを複数含むものである。入力データに対する車両制御の内容のラベル付けは、例えば、当業者などによって行われる。このように、学習用データセットを用いて学習された車両制御用の学習済みモデルは、入力データを受けると、学習済みモデルの演算処理を実行することで、車両制御の内容を出力する。車両制御の内容としては、例えば、加速度の範囲を限定したり、操舵角や横Ｇが閾値以下になるようにしたりする。

【0031】

なお、制御装置２１は、車両制御の内容を決定するときに、車両制御用の学習済みモデルではなく、乗員１０の感情と車両制御の内容とを対応付けたルールに基づいて、乗員１０の感情から車両制御の内容を決定してもよい。

【0032】

実施形態に係る車載システム２においては、制御装置２１が乗員１０の感情に基づいて車両制御を実行する。ここで、車両１の車内に複数の乗員１０Ａ，１０Ｂ，１０Ｃが存在する場合には、制御装置２１のＡＩによる感情推定の対象を誰にすれば良いか不明となり得る。そのため、制御装置２１は、複数の乗員１０Ａ，１０Ｂ，１０Ｃのうち、減速したり加速したり曲がったりするなどの車両１の挙動を把握していない乗員１０を、感情推定の対象として優先する。

【0033】

制御装置２１は、乗員１０が車両１の挙動を把握しているか否かを、例えば、乗員１０の視線から判定する。すなわち、図１に示すように、前部座席３２から前を向いて車外の風景を見ている乗員１０Ｂは、車両１の進行方向Ａと同方向の視線ＬＳ１であるため、加減速、右左折、及び、段差などの車両１の挙動を把握していると判断する。一方、後部座席３３から横を向いて車外の風景を見ている乗員１０Ｃは、車両１の進行方向Ａとは異なる方向の視線ＬＳ２であるため、加減速、右左折、及び、段差などの車両１の挙動を把握していないと判断する。

【0034】

なお、車両１の運転者である乗員１０Ａは、車両１の進行方向Ａを見て運転しており、自身の操作によって加減速などを行なうため、車両１の挙動を把握している。そのため、制御装置２１は、乗員１０Ａが車両１の挙動を把握しているか否かの判断の対象から除外している。なお、車両１が自動運転で走行している場合には、乗員１０Ａも車両１の挙動を把握しているか否かの判断の対象としてもよい。

【0035】

乗員１０が車両１の挙動を把握していない場合には、加減速、右左折、及び、段差などの車両１の挙動に対して予測できないため、当該乗員１０が不快な感情になるおそれがある。そのため、制御装置２１は、前記不快を低減させるために車両１の加減速などを制限する車両制御を実行する。このように、制御装置２１が車両制御を実行することは、車両１の挙動を把握していない乗員１０が存在すると判定した場合に、対象乗員の感情の推定結果に応じて、車両１の加速度の範囲などを限定する車両制御を実行することを含むものである。

【0036】

また、制御装置２１は、車両１の挙動を把握していない乗員１０が存在しないと判断した場合、任意の乗員１０を感情推定の対象とする。例えば、制御装置２１は、車両１の前方の風景が見え難く、前部座席３１，３２よりも車酔いし易い後部座席３３に着座している乗員１０Ｃを、感情推定の対象とする。また、制御装置２１は、車両１の挙動を把握していない乗員１０が存在しないと判断した場合、例えば、運転者を優先して感情推定の対象としてもよい。すなわち、制御装置２１は、車両１の挙動を把握していない乗員１０が存在しないと判断した場合、車両１の挙動の把握以外の他の基準によって、優先して感情推定の対象とする乗員１０を決定してもよい。

【0037】

図２は、制御装置２１が実施する制御の一例を示したフローチャートである。

【0038】

まず、制御装置２１は、ステップＳ１において、車両１に搭乗している複数の乗員１０のそれぞれが、車両１の挙動を把握しているか否かを監視する。次に、制御装置２１は、ステップＳ２において、複数の乗員１０のうち、車両１の挙動を把握していない乗員１０が存在するか否かを判定する。制御装置２１は、車両１の挙動を把握していない乗員１０が存在しないと判定した場合、ステップＳ２にてＮｏとして、一連の制御を終了する。一方、制御装置２１は、車両１の挙動を把握していない乗員１０が存在すると判定した場合、ステップＳ２にてＹｅｓとして、ステップＳ３に移行する。制御装置２１は、ステップＳ３において、感情を推定する対象となる対象乗員を決定する。なお、車両１の挙動を把握していない乗員１０が存在する判定結果に基づいて、対象乗員を決定することは、車両１の挙動を把握していない１人以上の乗員１０が複数の乗員１０の中に存在する場合に、当該１人以上の乗員１０から対象乗員を決定することを含む。次に、制御装置２１は、ステップＳ４において、感情推定用の学習済みモデルを使用して、決定された対象乗員の感情を推定する。次に、制御装置２１は、ステップＳ５において、推定した対象乗員の感情に基づいて、車両制御用の学習済みモデルを使用して、車両制御の内容を決定する。次に、制御装置２１は、ステップＳ６において、決定した車両制御の内容に基づいて、車両制御を実行する。その後、制御装置２１は、一連の制御を終了する。

【0039】

実施形態１に係る車載システム２は、車両１の挙動を把握していない乗員１０の感情を優先して車両制御を実行することにより、当該乗員１０が不快になるのを抑制することができる。

【0040】

（実施形態２）
以下に、本発明に係る車載システムの実施形態２について説明する。なお、実施形態２において実施形態１と共通する内容については、適宜説明を省略する。

【0041】

図３は、実施形態２に係る車載システム２が搭載された車両１の概略を示した図である。

【0042】

図３に示すように、実施形態２に係る車両１には、前部座席３１の背面にＤＶＤプレイヤーなどのＡＶ機器の表示装置であるディスプレイ２４が取り付けられている。また、図３では、前部座席３１の後方で後部座席３３に着座している乗員１０Ｃが、ディスプレイ２４に表示された映像を視聴している状態である。そして、制御装置２１は、車内カメラ２３が撮影した画像データに基づいて、車両１の挙動を把握しているか否かの判定用の学習済みモデルを用い、ディスプレイ２４に視線ＬＳ２を向けて視聴している乗員１０Ｃが車両１の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員１０のディスプレイ２４での視聴の有無などの入力データに対して、出力となる車両１の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。

【0043】

ディスプレイ２４に表示された映像を視聴していて、車両１の挙動を把握していない乗員１０Ｃは、加減速、右左折、及び、段差などの車両１の挙動に対して予測できないため不快になる。そのため、制御装置２１は、車両１の挙動を把握していない乗員１０Ｃの感情推定を、車内カメラ２３によって撮影された画像データに基づいて、乗員１０Ｃの表情から感情推定用の学習済みモデルを用いて優先して行う。そして、制御装置２１は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。

【0044】

また、実施形態２に係る車載システム２においては、車内の複数の乗員１０それぞれが車両１の挙動を把握しているか否かを監視する監視装置としてディスプレイ２４を用いてもよい。すなわち、制御装置２１は、乗員１０Ｃが車両１の挙動を把握しているか否かを、例えば、ディスプレイ２４の電源の状態を検出して判断するようにしてもよい。そして、制御装置２１は、ディスプレイ２４の電源が入っていれば、乗員１０Ｃがディスプレイ２４での視聴を行っているとして、乗員１０Ｃが車両１の挙動を把握していないと判定する。

【0045】

（実施形態３）
以下に、本発明に係る車載システムの実施形態３について説明する。なお、実施形態３において実施形態１と共通する内容については、適宜説明を省略する。

【0046】

図４は、実施形態３に係る車載システム２が搭載された車両１の概略を示した図である。

【0047】

図４では、前部座席３２に着座している乗員１０Ｂが睡眠状態である。そして、制御装置２１は、車内カメラ２３が撮影した乗員１０の画像データに基づいて、車両１の挙動を把握しているか否かの判定用の学習済みモデルを用いて、睡眠状態の乗員１０Ｂが車両１の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員１０の表情などの入力データに対して、出力となる車両１の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。

【0048】

また、制御装置２１は、睡眠状態である乗員１０Ｂの表情から感情推定を行えないため、他の乗員１０Ａ，１０Ｃの感情推定を優先する。制御装置２１は、睡眠状態の乗員１０Ｂが覚醒した際に、車内カメラ２３によって撮影された画像データに基づいて、乗員１０Ｂの表情から感情推定用の学習済みモデルを用いて、乗員１０Ｂの感情推定を優先して行う。そして、制御装置２１は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。

【0049】

また、実施形態３に係る車載システム２においては、車内の複数の乗員１０それぞれが車両１の挙動を把握しているか否かを監視する監視装置としてウェアブル端末を用いてもよい。例えば、図４に示すように、前部座席３２に着座している乗員１０Ｂは、ウェアブル端末２５を装着している。ウェアブル端末２５は、例えば、端末内に設けられた３軸加速度センサを用いて、ウェアブル端末２５の動きや動いた方向などの活動情報を検出する。制御装置２１は、ウェアブル端末２５から前記活動情報を無線通信などによって取得して、一定時間、乗員１０Ｂが激しい活動を行っていない場合に、乗員１０Ｂが睡眠状態であると判断する。そして、制御装置２１は、睡眠状態の乗員１０Ｂが車両１の挙動を把握していないと判定する。なお、ウェアブル端末２５が、前記活動情報に基づいて乗員１０Ｂの睡眠状態を判断し、その判断結果を無線通信などによって制御装置２１に送信するようにしてもよい。

【0050】

（実施形態４）
以下に、本発明に係る車載システムの実施形態４について説明する。なお、実施形態４において実施形態１と共通する内容については、適宜説明を省略する。

【0051】

図５は、実施形態４に係る車載システム２が搭載された車両１の概略を示した図である。

【0052】

実施形態４に係る車両１においては、図５に示すように、前部座席３１に着座している運転者である乗員１０Ａ以外の乗員１０Ｂ，１０Ｃが、それぞれ視覚カメラ２６ａ，２６Ｂを装着している。視覚カメラ２６ａ，２６Ｂは、例えば、乗員１０Ｂ，１０Ｃの頭などに装着して、乗員１０Ｂ，１０Ｃの視点をセンシングするセンサなどであって、ヘッドマウントのカメラなどが挙げられる。実施形態４に係る車載システム２においては、車内の乗員１０Ｂ，１０Ｃが車両１の挙動を把握しているか否かを監視する監視装置として視覚カメラ２６ａ，２６Ｂを用いる。

【0053】

制御装置２１は、視覚カメラ２６ａ，２６ｂとの間で無線通信により、視覚カメラ２６ａ，２６ｂによって撮影された画像データを取得可能である。そして、制御装置２１は、視覚カメラ２６ａ，２６ｂによって撮影された画像データに基づいて、乗員１０Ｂ，１０Ｃの視点をセンシングし、センシング結果に基づいて、乗員１０Ｂ，１０Ｃの視線ＬＳ１，ＬＳ２の向きを探知することができる。制御装置２１は、乗員１０Ｂ，１０Ｃが車両１の挙動を把握しているか否かを、車両１の挙動を把握しているか否かの判定用の学習済みモデルを用いて、乗員１０Ｂ，１０Ｃの視線ＬＳ１，ＬＳ２の向きから判定する。すなわち、図５に示すように、前部座席３２から前を向いて車外の風景を見ている乗員１０Ｂは、車両１の進行方向Ａと同方向の視線ＬＳ１であるため、車両１の挙動を把握していると判定する。一方、後部座席３３から横を向いて車外の風景を見ている乗員１０Ｃは、車両１の進行方向Ａとは異なる方向の視線ＬＳ２であるため、車両１の挙動を把握していないと判定する。なお、前記判定用の学習済みモデルにおける学習用データセットは、例えば、入力として与えられる乗員１０の視線などの入力データに対して、出力となる車両１の挙動を把握しているか否かをラベル付けした学習用データを複数含むものである。

【0054】

その後、制御装置２１は、視覚カメラ２６ｂによって撮影された画像データに基づいて、車両１の挙動を把握していない乗員１０Ｃの感情推定を、乗員１０Ｃの表情から感情推定用の学習済みモデルを用いて優先して行う。そして、制御装置２１は、感情の推定結果に基づいて、車両制御用の学習済みモデルを用いて、加速度などを制限する車両制御を実行する。

【0055】

以上のように説明した、実施形態１～４に係る車載システム２においては、例えば、車両１の後部座席３３に設置されたチャイルドシートに子供が座っている場合に、当該子供を車両１の挙動を把握していない乗員１０として優先的に判定するようにしてもよい。例えば、車載システム２は、チャイルドシートが設置された箇所に対応する後部座席３３のシートベルトの装着の有無を、シートベルトセンサの検知結果に基づいて判断する。そして、制御装置２１は、後部座席３３のシートベルトが設定された箇所に存在する乗員１０がシートベルトを装着していないと判断した場合に、当該乗員１０がチャイルドシートに座っている子供であると判断する。そして、車両１の挙動を把握していないと判定した乗員１０が、チャイルドシートに座っている子供である場合、制御装置２１は、より制限（加速度Ｇの範囲や横Ｇが閾値以下など）を厳しくして車両制御を実施する。さらに、制御装置２１は、車内カメラ２３が撮影した画像データに基づいて、前記子供が睡眠していると判断した場合に、より制限を厳しくして車両制御を実施してもよい。

【符号の説明】

【0056】

１ 車両
２ 車載システム
４ ハンドル
１０，１０Ａ，１０Ｂ，１０Ｃ 乗員
２１ 制御装置
２２ 記憶装置
２３ 車内カメラ
２４ ディスプレイ
２５ ウェアブル端末
２６ａ，２６ｂ 視覚カメラ
３１，３２ 前部座席
３３ 後部座席
ＬＳ１，ＬＳ２ 視線

【図1】

【図2】

【図3】

【図4】

【図5】