特許 7025123 心情推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-15

(45)【発行日】2022-02-24

(54)【発明の名称】心情推定装置

(51)【国際特許分類】

   A61B 5/18 20060101AFI20220216BHJP

【ＦＩ】

A61B5/18

【請求項の数】 4

(21)【出願番号】P 2017055014

(22)【出願日】2017-03-21

(65)【公開番号】P2018153570

(43)【公開日】2018-10-04

【審査請求日】2020-01-27

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(73)【特許権者】

【識別番号】000102728

【氏名又は名称】株式会社エヌ・ティ・ティ・データ

(73)【特許権者】

【識別番号】500027275

【氏名又は名称】株式会社エヌ・ティ・ティ・データ経営研究所

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(74)【代理人】

【識別番号】100146835

【弁理士】

【氏名又は名称】佐伯 義文

(74)【代理人】

【識別番号】100064908

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100175802

【弁理士】

【氏名又は名称】寺本 光生

(74)【代理人】

【識別番号】100094400

【氏名又は名称】鈴木 三義

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(72)【発明者】

【氏名】瀬下 渉

(72)【発明者】

【氏名】奥本 雅規

(72)【発明者】

【氏名】坂本 大輔

(72)【発明者】

【氏名】大山 翔

(72)【発明者】

【氏名】茨木 拓也

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１０－１５２５２４（ＪＰ，Ａ）

【文献】特開２０１６－１６２１０９（ＪＰ，Ａ）

【文献】特開２００７－１０８１３４（ＪＰ，Ａ）

【文献】特開２０１６－０９１１６６（ＪＰ，Ａ）

【文献】特開２０１３－２２８８４７（ＪＰ，Ａ）

【文献】特開２０１６－１５２０３３（ＪＰ，Ａ）

【文献】特開２０１６－１４６０８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ａ６１Ｂ ５／１６－５／１８

Ｇ０８Ｇ １／１６

Ｇ０８Ｂ ２１／０２

Ｂ６０Ｋ ２８／０２

(57)【特許請求の範囲】

【請求項1】

機械学習モデルによって出力される画像の特徴量ベクトルが入力されると心情の情報を出力する推定モデルであって、重回帰解析によって生成された推定モデルの情報を記憶するデータ記憶部と、
移動体の周辺の画像を取得する画像取得部と、
前記画像取得部によって取得される前記画像を前記機械学習モデルに入力することで前記特徴量ベクトルを算出する画像特徴量算出部と、
前記データ記憶部に記憶されている前記推定モデルに、前記画像特徴量算出部によって算出された前記特徴量ベクトルを入力することで、前記画像に関連する心情の情報を推定する心情推定部と、
を備え、
前記データ記憶部は、前記移動体の乗員の心情の情報に関する入力操作を検出する入力デバイスによって時系列的に検出される前記入力操作の累積に基づいて取得された、前記乗員の心情を前記推定モデルに関連付けて記憶することを特徴とする心情推定装置。

【請求項2】

前記画像取得部は、移動体に搭載され、前記移動体の進行方向前方の画像を取得する、
請求項１に記載の心情推定装置。

【請求項3】

操作者の心情の情報に関する入力操作を検出する入力デバイスと、
前記入力デバイスによって検出される前記入力操作に応じて、前記操作者の心情の情報を生成する心情データ生成部と、
前記心情の情報を出力とし、前記入力操作が行われたときに前記画像特徴量算出部によって算出された前記特徴量ベクトルを入力とするモデルに対して重回帰解析を行うことで前記推定モデルを作成し、前記推定モデルに関するデータを前記データ記憶部に格納する推定モデル作成部と、
を備える請求項１または請求項２に記載の心情推定装置。

【請求項4】

前記操作者の生体情報を取得する生体情報取得部を備え、
前記モデルは、前記生体情報を更に入力とする、
請求項３に記載の心情推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、心情推定装置に関する。

【背景技術】

【0002】

従来、車両の運転に関する各種の情報、乗員の生体情報、および乗員による入力項目などに基づいて乗員の心象を推定し、複数のコンテンツデータから乗員の心象に応じた再生候補を選択する再生装置が知られている（例えば、特許文献１参照）。この再生装置において、車両の運転に関する各種の情報は、例えば、日時情報、気象情報、位置情報、乗員構成、目的地、乗車目的、運転状況、交通状況、コンテンツデータの再生頻度、およびコンテンツデータに対する嗜好性などである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－１０８１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記従来技術に係る再生装置によれば、車両に搭載された各種のセンサなどによって検出される車両の運転に関する情報および生体情報に基づいて乗員の心象を推定するだけなので、車両の乗員が知覚する車両外部の情報および運転シーンの情報などに応じた推定を行うことはできない。これにより、乗員の心象の推定精度を向上させることは困難であるというという問題が生じる。

【0005】

本発明は上記事情に鑑みてなされたもので、車両の運転者が知覚する車両外部の情報および運転シーンの情報を心情推定に反映させることによって、心情の推定精度を向上させることが可能な心情推定装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記課題を解決して係る目的を達成するために、本発明は以下の態様を採用した。
（１）本発明の一態様に係る心情推定装置は、画像の特徴量ベクトルと心情の情報とを関連付けるデータを記憶するデータ記憶部（例えば、実施形態でのモデルデータ記憶部２６）と、画像を取得する画像取得部（例えば、実施形態での車外カメラ１２）と、前記画像取得部によって取得される前記画像から特徴量ベクトルを算出する画像特徴量算出部（例えば、実施形態での画像特徴量算出部２２）と、前記データ記憶部に記憶されている前記データを用いて、前記画像特徴量算出部によって算出される前記特徴量ベクトルに関連する心情の情報を推定する心情推定部（例えば、実施形態での心情推定部２７）と、を備える。

【0007】

（２）上記（１）に記載の心情推定装置では、前記画像取得部は、移動体に搭載され、前記移動体の進行方向前方の画像を取得してもよい。

【0008】

（３）上記（１）または（２）に記載の心情推定装置では、操作者の心情の情報に関する入力操作を検出する入力デバイス（例えば、実施形態でのステアリングスイッチ１１）と、前記入力デバイスによって検出される前記入力操作に応じて、前記操作者の心情データを生成する心情データ生成部（例えば、実施形態での心情データ生成部２１）と、前記心情データ生成部によって生成される前記心情データと、前記画像特徴量算出部によって算出される前記特徴量ベクトルとを関連付ける推定モデルを作成し、前記推定モデルに関するデータを前記データ記憶部に格納する推定モデル作成部（例えば、実施形態での推定モデル作成部２５）と、を備えてもよい。

【0009】

（４）上記（３）に記載の心情推定装置は、前記操作者の生体情報を取得する生体情報取得部（例えば、実施形態での生体センサ１５および生体指標算出部２４）を備え、前記推定モデル作成部は、前記推定モデルにおいて、前記生体情報取得部によって取得される前記生体情報と、前記心情データおよび前記特徴量ベクトルの各々とを関連付けてもよい。

【発明の効果】

【0010】

上記（１）に記載の態様に係る心情推定装置によれば、画像の特徴量ベクトルと、画像に対応する実際のシーンを視認する人の心情とが関連付けられているので、生体情報を用いること無しに、心情の推定精度を向上させることができる。

【0011】

さらに、上記（２）の場合、移動体の乗員が知覚する外部の情報を心情推定に反映させることによって、心情の推定精度を向上させることができる。

【0012】

さらに、上記（３）の場合、操作者自身による入力操作に応じて目的変数である心情データを生成するので、推定モデルを精度よく作成することができる。

【0013】

さらに、上記（４）の場合、心情の情報との直接的な関連性が高い生体情報を用いることによって、推定精度を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る心情推定装置の機能構成のブロック図である。

【図2】本発明の実施形態に係る心情推定装置のステアリングスイッチを拡大して示す斜視図である。

【図3】本発明の実施形態に係る心情推定装置の心情の情報を示すマップデータの一例を示す図である。

【図4】本発明の実施形態に係る心情推定装置の動作を示すフローチャートである。

【図5】本発明の実施形態に係る心情推定装置の心情値の実測値および推定値の経時変化の例を示す図である。

【図6】本発明の実施形態の変形例に係る心情推定装置の機能構成のブロック図である。

【図7】本発明の実施形態の変形例に係る心情推定装置の説明変数と目的変数との関係を模式的に示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態に係る心情推定装置について添付図面を参照しながら説明する。

【0016】

本実施形態による心情推定装置１０は、例えば車両１などの移動体に搭載され、移動体の乗員の心情を推定する。乗員の心情は、例えば、心理、気持ち、気分、快、および不快などの感情、並びに、眠い、および眠くない（覚醒）などの肉体的な状態を含む。
車両１は、図１に示すように、例えば、ステアリングスイッチ１１と、車外カメラ１２と、現在位置センサ１３と、車両センサ１４と、生体センサ１５と、車載装置１６と、処理ユニット１７と、を備えている。
実施形態による心情推定装置１０は、例えば、ステアリングスイッチ１１と、車外カメラ１２と、現在位置センサ１３と、車両センサ１４と、生体センサ１５と、車載装置１６と、を備えて構成されている。

【0017】

ステアリングスイッチ１１は、図２に示すように、ステアリングホイール１８に配置されている。ステアリングスイッチ１１は、車両１を運転するためにステアリングホイール１８を把持する運転者の手指により操作可能な位置に配置された入力デバイスである。ステアリングスイッチ１１は、操作者の接触および操作を検出する。ステアリングスイッチ１１は、例えば、操作者の手指による操作を受け付ける機械式スイッチとして、十字キー１９を備えている。十字キー１９は、第１キー１９ａと、第２キー１９ｂと、第３キー１９ｃと、第４キー１９ｄと、を備えている。十字キー１９は、操作者の手指による傾動操作を受け付けて、この傾動操作に応じて各キー１９ａ，…，１９ｄから操作信号を出力する。

【0018】

ステアリングスイッチ１１において、十字キー１９の第１キー１９ａおよび第２キー１９ｂは、例えば、操作者の心情のうち覚醒度の高低の情報に関する入力操作を受け付ける。第１キー１９ａは、覚醒度が高い状態であることを示す操作信号を出力し、第２キー１９ｂは、覚醒度が低い状態であることを示す操作信号を出力する。十字キー１９の第３キー１９ｃおよび第４キー１９ｄは、例えば、操作者の心情のうち快および不快の情報に関する入力操作を受け付ける。第３キー１９ｃは、不快であることを示す操作信号を出力し、第４キー１９ｄは、快であることを示す操作信号を出力する。

【0019】

車外カメラ１２は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を備えるデジタルカメラである。車外カメラ１２は、例えば、車両１の進行方向の前方領域を撮像し、撮像画像のデータを出力する。

【0020】

現在位置センサ１３は、例えばＧＰＳ（Global Positioning System）などの測位システムを含む航法衛星システム（例えば、ＧＮＳＳ：Global Navigation Satellite Systemなど）において人工衛星などから発信されている測位信号を受信し、測位信号を用いて現在位置を検出する。現在位置センサ１３は、現在位置の検出値の信号を出力する。

【0021】

車両センサ１４は、車両１に搭載される各種のセンサであり、各種車両状態量の検出値の信号を出力する。車両センサ１４は、例えば、車速センサ、エンジン回転センサ、加速度センサ、ヨーレートセンサ、アクセルセンサ、スロットル開度センサ、ブレーキ圧力センサ、ステアリングセンサなどである。車速センサは、車両１の速度（車速）を検出する。エンジン回転センサは、エンジン回転数を検出する。加速度センサは、車両１の加速度、例えば前後加速度および横加速度などを検出する。ヨーレートセンサは、車両１の上下方向軸周りの角速度を検出する。アクセルセンサは、アクセルペダルの変位量（アクセル開度）を検出する。スロットル開度センサは、スロットルバルブの開度を検出する。ブレーキ圧力センサは、マスターシリンダ、もしくはブレーキキャリパーまたはホイールシリンダーの油圧（ブレーキ圧力）を検出する。ステアリングセンサは、ステアリングホイールの操舵角または操舵トルクを検出する。

【0022】

生体センサ１５は、例えば、脳波（ＥＥＧ）、心電（ＥＣＧ）、皮膚コンダクタンスレベル（ＳＣＬ）、皮膚コンダクタンス反応（ＳＣＲ）、および皮膚電気反射（ＧＳＲ）などの各々を検出する各センサである。生体センサ１５は、各種生体データの検出値を出力する。

【0023】

車載装置１６は、車両１に搭載される各種装置である。車載装置１６は、例えば、駆動力出力装置、ブレーキ装置、ステアリング装置、映像および音響機器、ナビゲーション装置、表示装置、並びに各種装置を制御する制御装置などである。

【0024】

駆動力出力装置は、車両１が走行するための走行駆動力（トルク）を駆動輪に出力する。駆動力出力装置は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、車両１の制御装置から入力される情報、または運転操作子から入力される情報に従って、走行駆動力を制御する。

【0025】

ブレーキ装置は、例えば、ブレーキキャリパーまたはホイールシリンダーと、ブレーキキャリパーまたはホイールシリンダーに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、車両１の制御装置から入力される情報、または運転操作子から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクを各車輪に出力する。ブレーキ装置は、例えば、電動モータが発生させる油圧に加えて、運転操作子のブレーキペダルの操作によって発生する油圧を、マスターシリンダを介してシリンダに伝達する機構を備えている。なお、ブレーキ装置は、上記説明した構成に限らず、制御装置から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をブレーキキャリパーまたはホイールシリンダーに伝達してもよい。

【0026】

ステアリング装置は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、制御装置から入力される情報、または運転操作子から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更する。

【0027】

処理ユニット１７は、例えばＣＰＵ（Central Processing Unit）などのプロセッサによって所定のプログラムが実行されることにより機能するソフトウェア機能部である。ソフトウェア機能部は、ＣＰＵなどのプロセッサ、プログラムを格納するＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、およびタイマーなどの電子回路を備えるＥＣＵである。なお、処理ユニット１７の少なくとも一部は、ＬＳＩ（Large Scale Integration）などの集積回路であってもよい。

【0028】

処理ユニット１７は、例えば、心情データ生成部２１と、画像特徴量算出部２２と、車両情報特徴量算出部２３と、生体指標算出部２４と、推定モデル作成部２５と、モデルデータ記憶部２６と、心情推定部２７と、車両特性修正部２８と、を備えている。

【0029】

心情データ生成部２１は、ステアリングスイッチ１１の十字キー１９から出力される操作信号に応じて操作者の心情データを生成して、操作者の心情データを目的変数として推定モデル作成部２５に入力する。心情データ生成部２１は、例えば図３に示すラッセルの円環感情マップなどのように心情の情報を示すマップデータを用いて、十字キー１９から出力される操作信号に応じた操作者の心情を取得する。心情の情報を示すマップデータは、十字キー１９から時系列的に出力される操作信号の累積と、心情の情報とを対応付けるマップデータである。例えば図３に示すラッセルの円環感情マップは、第１キー１９ａおよび第２キー１９ｂに対応付けられている覚醒度の高低と、第３キー１９ｃおよび第４キー１９ｄに対応付けられている快および不快の情報とを、２次元直交座標系の２つの座標軸に設定している。ラッセルの円環感情マップの２次元直交座標系には、覚醒度の高低と快および不快の情報との組み合わせによって異なる複数種類の心情の領域が設定されている。心情データ生成部２１は、十字キー１９から出力される操作信号の累積に応じて、ラッセルの円環感情マップの２次元直交座標系における座標位置を変位させ、座標位置を含む領域に対応付けられている心情の情報を取得する。心情データ生成部２１は、マップデータから取得する心情の情報を操作者の心情データとする。なお、十字キー１９から出力される操作信号は、例えば、適宜の時間間隔における過去の時点に比べて現在の時点での覚醒度の高低または快および不快の情報に対する操作者の直感的な認識の変化を示している。

【0030】

画像特徴量算出部２２は、車外カメラ１２から出力される撮像画像のデータから画像特徴量ベクトルを算出して、画像特徴量ベクトルを説明変数として推定モデル作成部２５に入力する。画像特徴量算出部２２は、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）などの機械学習によって、画像特徴量ベクトルを算出する。画像特徴量算出部２２は、例えば、既存の学習済みのＣＮＮモデルを用いることによって、学習に必要なデータおよび時間を短縮してもよい。

【0031】

車両情報特徴量算出部２３は、現在位置センサ１３および車両センサ１４から出力される各種車両状態量の検出値の信号を用いて車両情報特徴量を算出して、車両情報特徴量を説明変数として推定モデル作成部２５に入力する。車両情報特徴量算出部２３は、例えば、車両センサ１４から出力される検出値自体を、または車両センサ１４から出力される検出値を用いた所定の演算によって得られる二次的な情報を、車両情報特徴量とする。車両情報特徴量算出部２３は、例えば、車両センサ１４のステアリングセンサから出力されるステアリングホイールの操舵角の検出値を用いて、操舵角速度を算出する。

【0032】

生体指標算出部２４は、生体センサ１５から出力される各種生体データの検出値の信号を用いて生体指標を算出して、生体指標を説明変数として推定モデル作成部２５に入力する。生体指標算出部２４は、例えば、生体センサ１５から出力される検出値自体を、または生体センサ１５から出力される検出値を用いた所定の演算によって得られる二次的な情報を、生体指標とする。生体指標算出部２４は、例えば、生体センサ１５から出力される脳波（ＥＥＧ）の検出値を用いて、特定周波数帯域（例えば、α波帯、β波帯、およびθ波帯など）の振幅を算出する。生体指標算出部２４は、例えば、生体センサ１５から出力される心電（ＥＣＧ）の検出値を用いて、Ｒ波の間隔（ＲＲＩ）を算出する。

【0033】

推定モデル作成部２５は、推定モデル生成モードの実行が指示されている場合に、心情推定モデルを作成する。推定モデル作成部２５は、心情データ生成部２１から出力される操作者の心情データを目的変数とする。推定モデル作成部２５は、画像特徴量算出部２２から出力される画像特徴量ベクトル、車両情報特徴量算出部２３から出力される車両情報特徴量、および生体指標算出部２４から出力される生体指標を説明変数とする。推定モデル作成部２５は、目的変数である操作者の心情データが、説明変数である画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかから一意に決まるように心情推定モデルを作成する。
推定モデル作成部２５は、例えば、画像特徴量ベクトルを入力とするとともに、操作者の心情データを出力とする重回帰モデルにおいて、Ｌａｓｓｏ（Least absolute shrinkage and selection operator）正則化法に基づくスパース推定法を用いることによって、心情推定モデルを作成する。
推定モデル作成部２５は、例えば、車両情報特徴量および生体指標を入力とするとともに、操作者の心情データを出力とする重回帰モデルにおいて、ステップワイズ法を用いることによって、心情推定モデルを作成する。
推定モデル作成部２５は、例えば、操作者の生理反応および運転特性などの情報に関する類似性に基づいて複数のグループを設定して、複数のグループ毎に心情推定モデルを作成してもよい。

【0034】

モデルデータ記憶部２６は、推定モデル作成部２５によって作成された心情推定モデル、または適宜の入力値と、この入力値に対して心情推定モデルによって推定される心情推定値との組み合わせによるモデルデータを記憶する。

【0035】

心情推定部２７は、推定モデル生成モードの実行が指示されていない場合に、モデルデータ記憶部２６に格納されている心情推定モデルまたはモデルデータを用いて、画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかに関連する心情の情報を推定する。心情推定部２７は、画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかに関連する心情推定値を、心情推定モデルによる推定またはモデルデータの検索によって取得する。
心情推定部２７は、モデルデータ記憶部２６に複数の心情推定モデルまたはモデルデータがグループ毎に格納されている場合には、操作者による選択指示などに応じて適宜の心情推定モデルまたはモデルデータを選択してもよい。

【0036】

車両特性修正部２８は、心情推定部２７によって取得される心情推定値に応じて、車両特性を修正する。車両特性は、例えば、車載装置１６の作動状態を特徴付ける情報である。

【0037】

本実施形態による心情推定装置１０は上記構成を備えており、次に、心情推定装置１０の動作について、図４を参照して説明する。

【0038】

先ず、ステップＳ０１において、画像特徴量算出部２２は、車外カメラ１２によって撮像された撮像画像のデータを取得する。
次に、ステップＳ０２において、画像特徴量算出部２２は、撮像画像のデータから画像特徴量ベクトルを算出する。
次に、ステップＳ０３において、車両情報特徴量算出部２３は、現在位置センサ１３によって検出された現在位置の検出値を取得する。
次に、ステップＳ０４において、車両情報特徴量算出部２３は、車両センサ１４によって検出された各種車両状態量の検出値を取得する。
次に、ステップＳ０５において、車両情報特徴量算出部２３は、現在位置および各種車両状態量の検出値によって車両情報特徴量を算出する。

【0039】

次に、ステップＳ０６において、推定モデル作成部２５は、推定モデル生成モードの実行が指示されているか否かを判定する。
この判定結果が「ＮＯ」の場合、推定モデル作成部２５は、処理をステップＳ１３に進める。
一方、この判定結果が「ＹＥＳ」の場合、推定モデル作成部２５は、処理をステップＳ０７に進める。
次に、ステップＳ０７において、生体指標算出部２４は、生体センサ１５によって検出された各種生体データの検出値を取得する。
次に、ステップＳ０８において、生体指標算出部２４は、各種生体データの検出値によって生体指標を算出する。
次に、ステップＳ０９において、心情データ生成部２１は、ステアリングスイッチ１１の十字キー１９から出力される操作信号を取得する。
次に、ステップＳ１０において、心情データ生成部２１は、操作信号に応じて操作者の心情データを生成する。

【0040】

次に、ステップＳ１１において、推定モデル作成部２５は、目的変数である操作者の心情データが、説明変数である画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかによって一意に決まるように、心情推定モデルを作成する。
次に、ステップＳ１２において、モデルデータ記憶部２６は、推定モデル作成部２５によって作成された心情推定モデル、または適宜の入力値と、この入力値に対して心情推定モデルによって推定される心情推定値との組み合わせによるモデルデータを記憶する。そして、処理をエンドに進める。

【0041】

また、ステップＳ１３において、生体指標算出部２４は、生体センサ１５によって検出された各種生体データの検出値を取得したか否かを判定する。
この判定結果が「ＮＯ」の場合、生体指標算出部２４は、処理をステップＳ１５に進める。
一方、この判定結果が「ＹＥＳ」の場合、生体指標算出部２４は、処理をステップＳ１４に進める。
次に、ステップＳ１４において、生体指標算出部２４は、各種生体データの検出値から生体指標を算出する。
次に、ステップＳ１５において、心情推定部２７は、画像特徴量ベクトル、車両情報特徴量、および生体指標の少なくとも何れかに関連する心情推定値を、心情推定モデルによる推定またはモデルデータの検索によって取得する。
次に、ステップＳ１６において、車両特性修正部２８は、心情推定部２７によって取得される心情推定値に応じて、車両特性を修正する。そして、処理をエンドに進める。

【0042】

以下に、車両１の実際の運転中に得られた所定の車両情報特徴量および生体指標のデータを用いて心情推定モデルを作成し、心情推定値（推定値）を推定した実施例について説明する。
この実施例において、説明変数とされる所定の車両情報特徴量および生体指標のデータは、ＲＲＩ、ＧＳＲ，車速、エンジン回転数、アクセル開度、ブレーキ圧力、ステアリング角度、ステアリング角速度、横加速度、前後加速度、ヨーレート、脳波シータ帯振幅、脳波アルファ帯振幅、および脳波ベータ帯振幅である。実施例では、所定の時間間隔（例えば、１秒など）で取得される各データの１分間に亘る平均値を１トライアル（試行）のデータとし、総トライアル数を１２６とすることによって、１２６分間に亘る１２６トライアル（試行）のデータを取得した。。実施例では、第１トライアルから第１２６トライアルまでの間の任意の第Ｎトライアル（１≦Ｎ≦１２６）のそれぞれにおいて、Leave one out法（１個抜き法）を用いながら、心情推定モデルによって心情推定値を推定した。図５は、１２６個の心情推定値と、各データの取得と同期した操作者の入力操作に応じた１２６個の心情実測値（実測値）とを、運転時間に応じて描画した図である。
図５によれば、心情推定値と心情実測値とは、よく一致しており、心情推定値の推定精度は高いことが認められる。

【0043】

上述したように、本実施の形態による心情推定装置１０によれば、車両１の進行方向前方の撮像画像と、撮像画像に対応する実際のシーンを視認する乗員の心情とが関連付けられているので、生体情報を用いること無しに、心情の推定精度を向上させることができる。車両１の乗員が知覚する車両１の外部の情報および運転シーンの情報を心情推定に反映させることによって、心情の推定精度を向上させることができる。
さらに、ステアリングスイッチ１１を用いた操作者自身の入力操作に応じて目的変数である心情データを生成するので、心情推定モデルを精度よく作成することができる。
さらに、心情の情報との直接的な関連性が高い各種の生体データを用いることによって、心情推定モデルの推定精度を向上させることができる。

【0044】

以下、上述した実施形態の変形例について説明する。
上述した実施形態において、心情推定モデルの作成が完了している場合には、図６に示す変形例のように、心情データ生成部２１、生体指標算出部２４、および推定モデル作成部２５は省略されてもよい。
この変形例において心情推定部２７は、モデルデータ記憶部２６に格納されている心情推定モデルまたはモデルデータを用いて、画像特徴量ベクトルまたは車両情報特徴量に関連する心情推定値を取得すればよい。
この変形例によれば、心情推定モデルの作成が完了していることに伴って、図７に示すように生体指標を省略したとしても、画像特徴量ベクトルまたは車両情報特徴量に関連する心情推定値を精度良く推定することができる。

【0045】

なお、上述した実施形態または変形例において、推定モデル作成部２５によって作成された心情推定モデルまたはモデルデータは、車両１の外部に設けられるサーバ装置に格納されてもよい。この場合、心情推定装置１０は、サーバ装置と通信する通信機器を備え、サーバ装置から取得する心情推定モデルまたはモデルデータを用いて、心情推定値を取得してもよい。

【0046】

なお、上述した実施形態において、心情推定装置１０はステアリングスイッチ１１の代わりに他の入力デバイスを備えてもよい。他の入力デバイスは、例えば、スイッチ、タッチパネル、キーボード、および音声入力装置などでもよい。

【0047】

本発明の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0048】

１…車両（移動体）、１０…心情推定装置、１１…ステアリングスイッチ（入力デバイス）、１２…車外カメラ（画像取得部）、１３…現在位置センサ、１４…車両センサ、１５…生体センサ（生体情報取得部）、１６…車載装置、１７…処理ユニット、１９…十字キー、１９ａ…第１キー、１９ｂ…第２キー、１９ｃ…第３キー、１９ｄ…第４キー、２１…心情データ生成部、２２…画像特徴量算出部、２３…車両情報特徴量算出部、２４…生体指標算出部（生体情報取得部）、２５…推定モデル作成部、２６…モデルデータ記憶部（データ記憶部）、２７…心情推定部、２８…車両特性修正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】