特開 2024-169061 推定装置、推定システム、推定方法、及び推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169061

(43)【公開日】2024-12-05

(54)【発明の名称】推定装置、推定システム、推定方法、及び推定プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20241128BHJP

   A61B 5/18 20060101ALI20241128BHJP

   A61B 5/374 20210101ALI20241128BHJP

   A61B 5/0245 20060101ALI20241128BHJP

   A61B 5/352 20210101ALN20241128BHJP

【ＦＩ】

A61B5/16 120

A61B5/18

A61B5/374

A61B5/0245 C

A61B5/0245 100B

A61B5/0245 B

A61B5/352 100

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023086245

(22)【出願日】2023-05-25

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】坂口 友理

(72)【発明者】

【氏名】村下 君孝

【テーマコード（参考）】

4C017

4C038

4C127

【Ｆターム（参考）】

4C017AA02

4C017AA08

4C017AA10

4C017AA18

4C017AA20

4C017AB02

4C017AB06

4C017AC16

4C017AC26

4C017BC11

4C017CC02

4C017CC08

4C038PP03

4C038PQ04

4C038PS00

4C038PS03

4C038PS05

4C127AA03

4C127CC06

4C127GG01

4C127GG05

4C127GG11

4C127KK03

4C127KK05

4C127LL13

(57)【要約】

【課題】生体センサによって計測された生体信号に基づいて推定される感情をさらに適切に絞り込むことができる技術を提供する。
【解決手段】例示的な推定装置は、感情を推定する推定装置であって、感情推定対象者の感情に関連する関連情報を取得し、感情推定結果の候補となる感情候補を複数種の生体信号に基づき推定し、前記感情候補から前記関連情報に基づき前記感情推定結果を決定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

感情を推定する推定装置であって、
感情推定対象者の感情に関連する関連情報を取得し、
感情推定結果の候補となる感情候補を複数種の生体信号に基づき推定し、
前記感情候補から前記関連情報に基づき前記感情推定結果を決定する、推定装置。

【請求項2】

前記関連情報は、前記感情推定対象者の周辺に配置された前記感情推定対象者に対して非接触なセンサから出力されるセンサ情報であり、
前記推定装置は、
前記各感情候補に対して設定された前記センサ情報に対する評価基準と、前記センサ情報との差に基き、前記各感情候補に評価点を算出し、
前記各感情候補の前記評価点の比較結果に基づき前記感情推定結果を決定する、請求項１に記載の推定装置。

【請求項3】

前記関連情報は、観連情報の対象期間と設定された設定期間における前記感情推定対象者に対する出来事情報である、請求項１に記載の推定装置。

【請求項4】

前記出来事情報は、前記感情推定対象者の携帯端末機から取得するスケジュール情報である、請求項３に記載の推定装置。

【請求項5】

前記関連情報と前記感情候補を入力データとし、当該関連情報と感情候補が示す状況における感情を正解データとする学習データで機械学習された学習済み感情予測モデルを備え、
取得した前記感情候補と推定した感情候補とを前記学習済み感情予測モデルに適用して前記感情推定結果を決定する、請求項１～３のいずれか一項に記載の推定装置。

【請求項6】

学習データ作成のためのデータ作成対象者の撮影画像を入力データとし、当該撮影画像撮影時の前記データ作成対象者の生体信号を正解データとする学習データで機械学習された生体信号学習モデルを有し、
前記複数種の生体信号は、前記生体信号学習モデルに感情推定対象者の撮影画像を適用することにより前記生体信号学習モデルから出力される生体信号である、請求項１～３のいずれか一項に記載の推定装置。

【請求項7】

前記感情推定結果の決定処理は、前記複数種の生体信号の少なくとも一種が変化したとき、車両の周辺環境が変化したとき、車両の挙動が変化したとき、車両が前記感情推定結果を利用した制御を開始するとき、の少なくとも一つである、請求項１に記載の推定装置。

【請求項8】

前記複数種の生体信号は脳波と心拍であって
前記脳波のβ波／α波に基づき、覚醒状態を表す覚醒状態指標値を算出し、
前記心拍のＬＦ成分の標準偏差に基づき、感情の強度を表す感情強度指標値を算出し、
前記覚醒状態指標値の２値化値と前記感情強度指標値の２値化値との組み合わせ場合分けで感情推定値が決定される感情モデルに、前記覚醒状態指標値及び前記感情強度指標値を適用して推定結果の候補となる感情を推定する、請求項１に記載の推定装置。

【請求項9】

感情を推定する推定装置と、複数種の生体信号を計測する生体センサと、感情推定対象者の感情に関連する関連情報を出力する出力装置と、を備える推定システムであって、
前記推定装置は、
感情推定結果の候補となる感情候補を前記複数種の生体信号に基づき推定し、
前記感情候補から前記関連情報に基づき前記感情推定結果を決定する、推定システム。

【請求項10】

感情推定結果の候補となる感情候補を感情推定対象者の複数種の生体信号に基づき推定し、前記感情候補から感情推定対象者の感情に関連する関連情報に基づき前記感情推定結果を決定する処理を装置が実行する、推定方法。

【請求項11】

感情推定結果の候補となる感情候補を感情推定対象者の複数種の生体信号に基づき推定することと、
前記感情候補から感情推定対象者の感情に関連する関連情報に基づき前記感情推定結果を決定することと、
をコンピュータに実行させる、推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情の推定を行う技術に関する。

【背景技術】

【0002】

従来、生体センサによって計測された生体信号に基づいて人の感情を推定し、推定した感情を提示する装置が知られる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－６３３２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の装置で用いられる感情推定モデル次第で、感情の推定結果が例えば「楽しい、喜び、怒り、悲しみ」の心理状態（これらの内、いずれかの心理状態である旨の推定結果）になることがあり得る。

【0005】

「楽しい、喜び、怒り、悲しみ」の心理状態推定結果は、被験者が「楽しい」、「喜び」、「怒り」または「悲しみ」の感情を抱いている可能性があり、この推定結果を各種制御に利用するには、制約が生じて利用し難いと言う問題がある。特に、「楽しい」「喜び」といったポジティブな感情と、「怒り」「悲しみ」といったネガティブな感情との両方の可能性を含む推定結果の場合は、推定結果が利用し難い。つまり、ポジティブな感情とネガティブな感情とは相反する感情であるにも関わらず、ポジティブな感情又はネガティブな感情のどちらであるかを判別できない場合、感情の推定結果を利用する態様によっては感情の推定結果を利用し難くなるおそれがある。

【0006】

本発明は、上記の点に鑑み、生体センサから出力される生体信号に基づいて推定される感情をさらに適切に絞り込むことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

例示的な本発明の推定装置は、感情を推定する推定装置であって、感情推定対象者の感情に関連する関連情報を取得し、感情推定結果の候補となる感情候補を複数種の生体信号に基づき推定し、前記感情候補から前記関連情報に基づき前記感情推定結果を決定する。

【発明の効果】

【0008】

例示的な本発明によれば、生体センサによって計測された生体信号に基づいて推定される感情候補は複数になる場合が多いがその精度は高精度が期待できる。その感情候補の内から、適当な関連情報に基づき感情推定結果である推定感情を決定することができるので、推定感情の高い精度が期待できる。

【図面の簡単な説明】

【0009】

【図1】第１、２実施形態に係る推定システムの構成例を示す図

【図2】感情推定モデル（心理平面）の一例を示す図

【図3】推定装置の構成例を示す図

【図4A】センサテーブルの一例を示す図

【図4B】心理平面テーブルの一例を示す図

【図5】推定装置によって実行される推定処理の一例を示すフローチャート

【図6】評価テーブルの一例を示す図

【図7】重み付けテーブルの一例を示す図

【図8】第３実施形態に係る推定システムの構成例を示す図

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0011】

＜１．第１実施形態＞
［１－１．推定システム］
図１は、本発明の例示的な第１実施形態に係る推定システム１の構成例を示す図である。本実施形態において、ユーザＵ１は、車両２０の乗員である。推定システム１は、ユーザＵ１の感情を推定するシステムとして構成されている。

【0012】

なお、図１には、ユーザＵ１が一人のみ示されているが、ユーザＵ１は複数であってもよい。また、例えば、ユーザＵ１は、ｅスポーツのプレーヤ、医療機関における患者、教育機関における生徒、映像や音楽といったコンテンツの視聴者等であってもよい。これらのユーザの場合、推定システム１の一部構成（生体センサ、カメラ、マイクロフォン等）は、ユーザＵ１の存在場所、例えばｅスポーツ操作端末の設置場所、病院、学校、コンテンツ視聴室等に設置されることになる。

【0013】

図１に示すように、推定システム１は、サーバ１０（コンピュータ）と、生体センサ２１と、カメラ２２と、マイクロフォン２３と、を備える。本実施形態では、サーバ１０は車両２０の外部、例えば感情推定サービスセンター建屋等に配置され、生体センサ２１、カメラ２２、及びマイクロフォン２３は車両２０の車室内に配置される。

【0014】

サーバ１０は、物理サーバであっても、仮想サーバであってもよい。本実施形態では、サーバ１０は、感情を推定する推定装置を構成する。すなわち、推定システム１は、推定装置１０を備える。以下、サーバ１０のことを推定装置１０と表現する。推定装置１０の詳細については後述する。なお、推定装置１０は、１つのサーバによって構成されても、複数のサーバによって構成されてもよい。

【0015】

生体センサ２１は、ユーザＵ１の複数種の生体信号をセンサ信号として検出する。すなわち、推定システム１は、複数種の生体信号を計測する生体センサ２１を備える。

【0016】

本実施形態では、生体センサ２１は、第１センサと第２センサとを含む。第１センサは脳波センサである。第２センサは心拍（脈拍）センサである。ただし、第１センサ及び第２センサは、取得したい生体情報等に応じて他の生体センサに変更されてよい。他の生体センサは、例えば、血圧計、ＮＩＲＳ（Near Infrared Spectroscopy）装置等であってよい。

【0017】

生体センサ２１は、例えばユーザＵ１に装着されるセンサのみで構成されてよい。また、生体センサ２１は、例えばユーザＵ１に装着されるセンサと車両２０に装備されたセンサとで構成されてもよい。また、生体センサ２１は、例えば車両２０に装備されたセンサのみで構成されてもよい。ユーザＵ１に装着されるセンサは、例えばヘッドギア型の脳波センサ、リストバンド型の光学式心拍（脈拍）センサ等であってよい。車両２０に装備されたセンサは、例えばハンドルに設置された光学式心拍（脈拍）センサ等であってよい。

【0018】

生体センサ２１は、ユーザＵ１の複数種の生体信号を計測可能であれば、複数のセンサでなく、単一のセンサで構成されてもよい。

【0019】

また、カメラ２２に撮影されたユーザＵ１の顔画像（表情や血色の変化等）から、生体信号（あるいは生体信号に基づく感情指標値）を推定する装置（検出方法）を適用することも可能である。例えば、ユーザＵ１の顔画像を入力データとして、その際の生体信号（あるいは生体信号に基づく感情指標値）を正解値とする学習データのデータセットで学習したＡＩ（人工知能）モデルを生体センサとして適用することも可能である。つまり、学習データ作成のための感情推定対象者の撮影画像を入力データし、当該撮影画像撮影時の前記感情推定対象者の生体信号を正解データとする学習データで機械学習された学習済み生体信号学習モデルを作成し、作成したこの生体信号学習モデルに感情推定対象者の撮影画像を適用することにより感情推定対象者の生体信号を推定する（生体信号学習モデルから推定生体信号が出力される）。

【0020】

カメラ２２は、車両２０の車室内を撮影する。カメラ２２は、例えば、車両２０に装備されたカメラ、車両２０の車室内に持ち込まれたスマートフォンに搭載されたカメラ等であってよい。

【0021】

マイクロフォン２３は、ユーザＵ１から発せられる音声を含む車両２０の車室内で発生する音に応じた音声情報を生成して出力する。マイクロフォン２３は、例えば、車両２０に装備されたマイクロフォン（他装置との兼用可能）、車両２０の車室内に持ち込まれたスマートフォンに搭載されたマイクロフォン等であってよい。

【0022】

カメラ２２及びマイクロフォン２３はそれぞれ、ユーザＵ１の感情に関連する関連情報を出力する出力装置の一例である。また、カメラ２２及びマイクロフォン２３はそれぞれ、ユーザＵ１の周辺に配置されたユーザＵ１に対して非接触なセンサの一例である。

【0023】

ここで、図１を参照して、推定システム１の処理の流れを説明する。

【0024】

生体センサ２１は、感情推定対象者であるユーザＵ１の複数種の生体信号を計測する。生体センサ２１の計測結果であるセンサ信号は、ネットワークＮ１経由で推定装置（サーバ）１０に送信される（ステップＳ１）。例えば、車両２０に装備される通信機器が関与して、生体センサ２１から推定装置１０にセンサ信号が送信されてよい。推定装置１０は、推定結果の候補となるユーザＵ１の感情を複数種の生体信号に基づき推定する（ステップＳ２）。

【0025】

ここで、ステップＳ２の感情推定の概要について説明する。推定装置１０は、入力されたセンサ信号に基づき、心身状態を示す指標（生理反応）の値である指標値を生成する。本実施形態では、推定装置１０は、脳波及び心拍に関する２つの心身状態を示す指標の指標値を生成する。例えば、脳波に関する心身状態を示す指標は、中枢神経系覚醒度（以下、単に覚醒度と記載する）であり、その指標値は「脳波のβ波／α波」で与えることができる。また、例えば、心拍に関する心身状態を示す指標は、自律神経系の活性度であり、その指標値は「心拍ＬＦ（low frequency（低周波数域））成分の標準偏差」で与えることができる。指標値は、予めメモリ等に記憶される算出用のモデル（算出式や変換データテーブル）を用いて算出される。

【0026】

なお、生体センサ２１が演算機能を有する構成（コンピュータ等が内蔵された構成）として、生体センサ２１が、指標値を算出する構成としてもよい。

【0027】

推定装置１０は、算出した指標値と、予めメモリ等に記憶される感情推定モデルとを用いて、推定結果の候補となるユーザＵ１の感情候補を推定する。なお、感情推定モデルは、医学的エビデンス（論文等）に基づいて作成される。

【0028】

図２は、感情推定モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標に基づき推定できるとされる。図２に示される２種類の心身状態の指標を軸とする心理平面は、当該技術思想に従った感情推定モデルの一例である。図２において、縦軸は「覚醒度（覚醒－不覚醒）」、横軸は「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）」であり、本件出願人が考案した高い推定精度が望める感情推定モデル例である。

【0029】

図２に示す心理平面では、縦軸と横軸で分離される４つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。図２の例では、第一象限に「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限に「憂鬱」の心理状態が割り当てられている。また、第三象限に「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限に「不安、恐怖、不愉快」の心理状態が割り当てられている。

【0030】

生体信号の計測結果に基づいて得られる２種類の心身状態の指標値を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。

【0031】

本例のように、縦軸を「覚醒度（覚醒－不覚醒）：例えば、脳波のβ波／α波に基づき算出」、横軸を「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）：例えば、心拍ＬＦ成分の標準偏差に基づき算出」したモデルでは、被験者の状態がどの象限にあるかにより、被験者の感情が「楽しい、喜び、怒り、悲しみ」、「憂鬱」、「リラックス、落ち着き」あるいは「不安、恐怖、不愉快」であると推定する。なお、このモデルは本出願人による実験等により有意なものとして検証されている。

【0032】

図２に示す例では、感情推定モデルは２次元の平面であるが、３次元以上の空間であってもよい。

【0033】

また、感情推定は物理的測定等に比較して誤差は大きくなるため、感情推定結果および感情推定に関する各パラメータ・指標の誤差を考慮し、図２に示すようなニュートラル領域ＮＲを設定して、感情推定不可（感情無）と言った判定を行っても良い。

【0034】

図１に戻って、引き続き推定システム１の処理の流れを説明する。推定装置１０は、所定の条件が満たされている場合、ユーザＵ１の感情に関連する関連情報をネットワークＮ１経由でカメラ２２及びマイクロフォン２３に要求する（ステップＳ３）。所定の条件については後述する。例えば、車両２０に装備される通信機器が関与して、カメラ２２及びマイクロフォン２３が推定装置１０からの要求を受信する。

【0035】

推定装置１０からの要求に応じて、カメラ２２は、車両２０の車室内の景色に応じた撮影画像を関連情報としてネットワークＮ１経由で推定装置１０に送信し、マイクロフォン２３は、車両２０の車室内で発生する音に応じた音声情報を関連情報としてネットワークＮ１経由で推定装置１０に送信する（ステップＳ４）。例えば、車両２０に装備される通信機器が関与して、マイクロフォン２３から推定装置１０に音声情報が送信されてよい。なお、車両２０の車室内の景色は、そのままの形式で、あるいは適当な画像処理（表情認識等）がなされた形式で撮影画像となる。また、車両２０の車室内で発生する音は、そのままの形式（音声波形）で、あるいは適当な音声処理（音声認識、周波数分析、音声強度分析等）がなされた形式で音声情報となる。

【0036】

推定装置１０は、ステップＳ２で得られた感情候補からステップＳ４で受信した関連情報に基づき推定結果を決定する（ステップＳ５）。推定装置１０は、決定した推定結果を車両２０に提供（送信）する（ステップＳ６）。

【0037】

そして、車両２０に搭載された制御装置は、例えば推定装置１０から提供された推定結果を利用して車両２０を制御する。例えば、怒っているドライバのアクセル操作、ブレーキ操作、及び舵角操作等は荒くなる傾向にある。そこで、車両２０に搭載された制御装置は、ユーザＵ１がドライバであって推定結果が「怒り」であるときにはアクセル操作、ブレーキ操作、及び舵角操作に対する感度を鈍くする（穏やかに変化する操作信号に変換する）制御を行う。

【0038】

また、他の適用例では、ユーザＵ１がスポーツにおけるプレーヤである場合、推定結果は、ユーザＵ１のメンタルトレーニングに利用することができる。例えば、ビデオゲームのプレイ中に、ユーザＵ１が勝負において不利な感情（不安、怒り等）を覚えた場面については、当該感情状態に対応した集中的なトレーニングが必要と判断される。そこで、スポールの各場面で推定した感情の情報をプレーヤ等に提供したり、推定した感情に対する適切なアドバイス情報を提供したりするなどして、当該トレーニングにおいて、推定装置１０の推定結果が利用される。

【0039】

また、各種ｅスポーツには、複数のユーザＵ１が協力してプレイするタイプや、複数のユーザＵ１が対戦するタイプがある。このようなタイプのｅスポーツにおいて、各プレーヤの感情状態が表示される構成等とすると、感情状態に応じてゲーム戦術を変える等、高度なゲームプレイが行うことが可能になる。また、ｅスポーツの観戦者が各プレーヤの感情状態を把握してゲームを観戦するといった構成も可能であり、ゲーム観戦の楽しみの要素を増やすことができる。

【0040】

また、ユーザＵ１が医療機関における患者である場合、推定結果は、検査及び治療等に利用することができる。例えば、医療機関のスタッフは、推定された感情に基づき患者が不安に感じていることを把握して、カウンセリング等の対応策を施すことができる。

【0041】

また、ユーザＵ１が教育機関における生徒である場合、推定結果は、授業内容の改善に利用することができる。例えば、教師は、推定された感情に基づき生徒が授業を退屈に感じていることを把握して、授業の内容を生徒が興味を引く内容に改善することができる。

【0042】

また、ユーザＵ１が、映像や音楽といったコンテンツの視聴者である場合、推定結果は、さらなるコンテンツの作成に利用することができる。例えば、映像コンテンツの配信者は、推定された感情に基づき視聴者が楽しく感じたシーンを集めて、ハイライト映像を作成することができる。

【0043】

なお、以上においては、車両２０の外部に配置されるサーバ１０が推定装置である例を示したが、推定装置は車両２０に搭載されてもよい。また、例えば、推定装置は、複数の装置で構成されてよい。例えば、車両２０の外部に配置される装置及び車両２０に搭載される装置が、感情を推定するための処理を分散して行ってもよい。

【0044】

［１－２．推定装置］
図３は、本発明の例示的な第１実施形態に係る推定装置１０の構成例を示す図である。なお、図３においては、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素についての記載は省略されている。図３に示すように，推定装置１０は、通信部１１及び記憶部１２を備える。また、推定装置１０は、コントローラ１３を備える。推定装置１０は、いわゆるコンピュータ装置であってよい。なお、推定装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える構成であってもよい。

【0045】

通信部１１は、ネットワークＮ１を介して他の装置との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）である。

【0046】

記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、又は、ハードディスクドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラム及びデータが格納される。なお、不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置、又は、可搬型記録媒体から取得される構成としてもよい。

【0047】

図３に示すように、本実施形態では、記憶部１２には、テーブル（データテーブル）１２１が含まれる。詳細には、テーブル１２１には、各種処理用の複数のテーブルが含まれる。例えば、テーブル１２１には、センサテーブル１２１ａ及び心理平面テーブル１２１ｂが含まれる。図４Ａは、センサテーブル１２１ａの一例を示す図である。図４Ｂは、心理平面テーブル１２１ｂの一例を示す図である。

【0048】

図４Ａに示すように、センサテーブル１２１ａの項目には、「センサＩＤ」、「センサ種別」、「生体信号種別」、「対応指標ＩＤ」、「対応指標種別」、及び、「指標変換情報」が含まれる。なお、テーブルの項目は、データ記憶セル（記憶枠）に対応する。

【0049】

センサテーブル１２１ａの項目「センサＩＤ」は、センサテーブル１２１ａにおけるデータレコードを識別するための識別情報であるセンサＩＤデータを記憶する。センサＩＤデータは、センサテーブル１２１ａにおけるデータレコードの主キーでもある。つまりセンサテーブル１２１ａでは、センサＩＤデータごとにデータレコードが構成され、当該データレコードにセンサＩＤデータに紐づいた各項目のデータが記憶されることになる。

【0050】

センサテーブル１２１ａの項目「センサ種別」は、生体センサの種別を特定するための情報を記憶する。本例では、センサ名称（型番等のデータでも可）が記憶される。

【0051】

センサテーブル１２１ａの項目「生体信号種別」は、生体センサにより検出される生体信号に基づく計測値の種別を記憶する。この生体信号種別データは、対応指標種別データと相関のあるデータである。学術的に、対応指標種別データは、それと対応する生体信号種別データを取得することにより推定（算出）できると認識されている。

【0052】

センサテーブル１２１ａの項目「対応指標ＩＤ」は、生体信号を検出する生体センサの信号に基づき生成（算出）される心身状態指標を識別するための識別情報を記憶する。そして、センサテーブル１２１ａの項目「対応指標種別」は、指標の種別（名称等）を記憶する。

【0053】

センサテーブル１２１ａの項目「指標変換情報」は、生体信号を検出する生体センサから得られる信号に基づき指標値を算出するための変換情報（演算式や変換データテーブル等）を記憶する。つまり、センサＩＤデータに対応する生体センサにより検出された生体信号を、指標変換情報に従って変換処理することにより、対応指標ＩＤで識別される心身状態指標の指標値が推定（算出）されることになる。

【0054】

例えば、図４Ａで示すセンサテーブル１２１ａにおけるセンサＩＤ「ＳＮ０１」のデータレコードは、次のような情報を有する。「脳波センサＢＡ」の出力信号により「脳波のβ波／α波」が計測される。そして、この「脳波のβ波／α波」を「ＦＸ０１」の指標変換情報を用いて変換することによって、「覚醒度」の指標値が得られる。

【0055】

図４Ｂに示すように、心理平面テーブル１２１ｂは、指標種別（具体的には指標ＩＤデータを使用）を縦軸及び横軸のパラメータとする２次元マトリックステーブルである。心理平面テーブル１２１ｂにおいては、２種類の指標種別で定まる記憶セル（記憶枠）に、当該２種類の指標種別データで使用できる心理平面種別のデータが記憶されている。例えば、指標として用いる指標種別が、指標種別ＶＳｍと指標種別ＶＳｎであれば、感情の推定に用いる心理平面は心理平面ｍｎとなる。心理平面ｍｎを用いた処理を行なうための情報が読み出され、感情の推定処理に使用されることになる。

【0056】

なお、センサテーブル１２１ａと心理平面テーブル１２１ｂとにおいては、共通の指標ＩＤが用いられる。すなわち、センサテーブル１２１ａと心理平面テーブル１２１ｂとに基づいて、ユーザＵ１に装着された２種類の生体センサに対応する心理平面ｍｎを決定することができる。例えば、ユーザＵ１に装着されたセンサ種別が「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」と「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」であるとする。この場合、「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」及び「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」に対応する指標ＩＤデータがセンサテーブル１２１ａに基づき決定される。そして、心理平面テーブル１２１ｂに基づき、「覚醒度」（ＶＳ０１）と「自律神経系活性度」（ＶＳ０２）を指標とする心理平面０１－０２が、感情の推定に用いる心理平面として決定されることになる。

【0057】

図３に戻って、引き続き推定装置１０の構成例を説明する。コントローラ１３は、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成されてよい。コントローラ１３は、１つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。なお、推定装置１０がクラウドサーバで構成される場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであってよい。

【0058】

図３に示すように、コントローラ１３は、その機能として、取得部１３１と、感情推定部１３２と、要求部１３３と、決定部１３４と、提供部１３５と、を備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。

【0059】

なお、本実施形態の範囲には、推定装置１０の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体は、例えば、上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いは、ＳＤカード等であってよい。

【0060】

また、各機能部１３１～１３５は、１つのプログラムにより実現されてもよいが、例えば、機能部ごとに別々のプログラムにより実現される構成であってもよい。また、各機能部１３１～１３５が別々のサーバとして実現されてもよい。また、各機能部１３１～１３５は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。各機能部１３１～１３５の少なくとも一部は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、各機能部１３１～１３５は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、各機能部１３１～１３５は、ソフトウェア及びハードウェアを併用して実現されてもよい。また、各機能部１３１～１３５は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

【0061】

取得部１３１は、通信部１１を介して、生体センサ２１から出力されるセンサ信号と、カメラ２２から出力される撮影画像と、マイクロフォン２３から出力される音声情報と、を取得する。取得部１３１は、受信したデータを、その後の処理のために必要に応じて記憶部１２に記憶する。

【0062】

感情推定部１３２は、取得部１３１により取得されたセンサ信号に基づき感情候補の推定に用いるモデルを選択する。具体的には、感情推定部１３２は、取得されたセンサ信号とセンサテーブル１２１ａとを照合して、取得されたセンサ信号に含まれるセンサ種別及び生体信号種別に対応する「対応指標種別」のデータ（指標種別データ）を抽出する。そして、感情推定部１３２は、抽出した指標種別データの「指標ＩＤ」と心理平面テーブル１２１ｂとを照合して、感情候補の推定に用いるモデル（心理平面）を選択する。例えば、センサＩＤが「ＳＮ０１」（センサ種別：脳波センサＢＡ）と「ＳＮ０２」（センサ種別：心拍センサＨＡ）の場合、対応する指標ＩＤは、「ＶＳ０１」（指標種別：覚醒度）と「ＶＳ０２」（指標種別：自律神経系活性度）となる（図４Ａ参照）。これらに基づき、感情推定部１３２は、使用する感情推定モデルとして心理平面０１－０２を選択する。

【0063】

なお、推定装置１０の使用するセンサ種別が予め決まっている場合（推定装置１０に固定接続（設置）されている場合等）は、使用する感情推定モデルも予め定められた感情推定モデルとなる（感情推定モデルの選択処理は不要となる）。

【0064】

感情推定部１３２は、選択した心理平面を用いて感情候補の推定処理を実行する。感情推定部１３２は、取得部１３１により取得された生体信号に基づく情報をセンサテーブル１２１ａにおける指標変換情報を用いて指標値に変換する。本実施形態では、第１センサ（センサ種別：脳波センサＢＡ）と第２センサ（センサ種別：心拍センサＨＡ）とから得られるデータを用いて、覚醒度の指標値と、自律神経系活性度の指標値とが求められる。

【0065】

そして、感情推定部１３２は、選択した心理平面上に、各指標値をプロットして得られる座標の位置に応じて感情候補の推定を行う。本実施形態では、覚醒度を縦軸、自律神経系活性度を横軸とした心理平面（図２参照）上に、覚醒度の指標値と自律神経系活性度の指標値とをそれぞれプロットして得られる座標の位置に応じて感情候補の推定が行われる。なお、各指標値による座標が位置する領域（感情候補が設定された領域）を判断する具体的方法は、各領域境界と各指標値との位置関係を各領域境界に対応する各関数式に基づき算出する方法、あるいは心理平面を模したデータテーブル（各指標値の値の組み合わせ毎に領域値（感情候補に対応する）が記憶されたデータテーブル）を用いて各指標値の組み合わせに対応する領域を抽出する方法、等を適用できる。そして、このようにして決定した領域から感情候補を決定する方法は、領域と感情候補を関連づけたデータテーブルを用いて領域に対応する感情候補を決定する方法等を適用できる。

【0066】

また、感情推定部１３２は、指標値を複数種求める。なお、本実施形態では、複数種は２種類である。ただし、３種類以上の指標値が求める構成であってよい。この場合、感情推定モデルは、２次元の平面ではなく、３次元以上の空間とされてよい。

【0067】

要求部１３３は、感情候補の絞り込み処理用の関連情報取得のため、通信部１１を介して、カメラ２２に撮影画像を要求し、マイクロフォン２３に音声情報を要求する。

【0068】

決定部１３４は、感情推定部１３２によって推定された感情候補すなわち推定結果の候補となる感情候補から、取得部１３１によって取得された関連情報（撮影画像及び音声情報）に基づき推定結果を決定する。

【0069】

提供部１３５は、決定部１３４によって決定された推定結果を、ネットワークＮ１を介して車両２０内の車載装置に提供する。

【0070】

［１－３．推定方法］
次に、推定装置１０によって実行される感情の推定方法について説明する。

【0071】

なお、本実施形態の推定方法は、コンピュータ装置を当該推定方法に沿った処理で動作させるコンピュータプログラムにより実現できる。そして、そのようなコンピュータプログラムは、コンピュータ読取り可能な不揮発性記録媒体により、あるいは通信ネットワークを用いて（所謂、ダウンロード）、推定装置１０の管理者等に提供され、推定装置１０にインストールされることになる。本実施形態の範囲に含まれる。また、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、１つのプログラムのみで構成されてもよいが、複数のプログラムによって構成されてもよい。

【0072】

図５は、推定装置１０によって実行される推定処理の一例を示すフローチャートである。図５に示す推定処理は、感情推定を開始する時に、例えば、ユーザの車両への搭乗時点からユーザの感情を推定して車両の各種制御に用いる場合は、車両２０からのドアロック解除を通知する信号を推定装置１０の取得部１３１が取得すること等により開始される。

【0073】

ステップＳ１１では、感情推定部１３２（コントローラ１３）が、生体センサ２１から出力されるセンサ信号（生体信号）に基づいて感情を推定する。ステップＳ１１で推定された感情は、最終的な推定結果の候補となる。感情推定部１３２によって感情が推定されると、次のステップＳ１２に処理が進められる。

【0074】

ステップＳ１２では、要求部１３３（コントローラ１３）が、関連情報を要求するか否かを判定する。要求部１３３は、種々の観点から関連情報を要求するか否かを判定することができる。なお、この各種判定条件は、予め（システム生産時等）記憶部１２に記憶され、判定時（ステップＳ１２）に記憶部１２から読み出されて判定に使用されることになる。基本的な考え方としては、推定感情候補から最終推定結果となる推定感情を絞り込む必要が無い場合と、生体信号の変化が小さい等、感情の変化（前回の推定結果からの変化）が無いと判断できる場合は、関連情報を要求する必要は無いと判定することになる。また、推定感情を用いた車両制御を開始する場合には、初動制御を安全側に寄せたものとするために（制御に持ちいるデータの正確性を上げるために）、関連情報を要求する必要は有ると判定することになる。

【0075】

例えば、要求部１３３は、感情推定部１３２によって心理平面にプロットされた座標（生体信号値）に基づき、関連情報を要求するか否かを判定してよい。要求部１３３は、複数種の生体信号の少なくとも一種が変化したときに、関連情報を要求すると判定してよい。ここで、変化とは、予め定めた所定条件を満たす変化であり、所定条件を満たさない変化（例えば微小な変化）を含まない。以下で説明する生体信号以外の変化についても同様である。

【0076】

具体的には例えば、要求部１３３は、図２に示す心理平面にプロットされた座標が第一象限以外の象限から第一象限に移動した場合に、要求部１３３は、関連情報を要求すると判定してよい。図２に示す心理平面の第一象限は、「楽しい」「喜び」といったポジティブな感情と、「怒り」「悲しみ」といったネガティブな感情との両方を含んでおり、これらを判別できることが望ましいからである。

【0077】

また、具体的には例えば、要求部１３３は、図２に示す心理平面にプロットされた座標が第一象限内部で原点からの距離が一定値以下の領域から原点からの距離が上記一定値を超えた領域に移動した場合、要求部１３３は、関連情報を要求すると判定してよい。上記座標が第一象限内部で原点からの距離が上記一定値を超えた領域に移動した場合、ユーザＵ１のある感情（第一象限に対応する感情の１つ）が強くなった可能性が高く、変化後の感情を推定装置１０が的確に推定することが望ましいからである。

【0078】

例えば、要求部１３３は、車両２０の周辺環境が変化したときに、関連情報を要求すると判定してよい。車両２０の周辺環境が変化すると、ユーザＵ１の感情も変化する可能性が高く、変化後の感情を推定装置１０が的確に推定することが望ましいからである。

【0079】

具体的には例えば、取得部１３１が、通信部１１を介して、車両２０に搭載された車載カメラで撮影された車両２０の周辺映像を取得する。そして、要求部１３３は、当該周辺映像から周辺環境の変化、例えば天候、景色（街中走行、郊外走行、山道走行中等）等の変化を検知したときに、関連情報を要求すると判定してよい。

【0080】

また、具体的には例えば、取得部１３１が、通信部１１を介して、車両２０に搭載されたカーナビゲーション装置から提供される交通情報を取得する。要求部１３３は、当該交通情報や車両速度情報等から渋滞等の特異な周囲交通状況や周囲交通状況の変化の発生を検知したときに、関連情報を要求すると判定してよい。

【0081】

例えば、要求部１３３は、車両２０の挙動が変化（操舵角や車両速度、加速度の大きな変化）したときに、関連情報を要求すると判定してよい。車両２０の挙動が変化すると、ユーザＵ１の感情が変化した可能性が高く、変化後の感情を推定装置１０が的確に推定することが望ましいからである。

【0082】

具体的には例えば、取得部１３１が、通信部１１を介して、車両２０に搭載されたカーナビゲーション装置、ＥＣＵ（Electronic Control Unit）等から車両２０の挙動に関する情報を取得する。そして、要求部１３３は、当該情報から急ブレーキの発生、速度超過の発生等を検知したときに、関連情報を要求すると判定する。

【0083】

例えば、要求部１３３は、車両２０が推定装置１０の推定結果を利用した制御を開始するときに、関連情報を要求すると判定してよい。

【0084】

具体的には例えば、車両２０が推定装置１０の推定結果を利用した制御を開始するときに推定結果を要求する推定結果要求信号を出力する。取得部１３１が、通信部１１を介して、当該推定結果要求信号を取得する。そして、要求部１３３は、当該推定結果要求信号に対応して、関連情報を要求すると判定する。

【0085】

関連情報を要求しない場合（ステップＳ１２でＮｏ）、ステップＳ１１に処理が戻される。関連情報を要求する場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に処理が進められる。

【0086】

ステップＳ１３では、要求部１３３は、通信部１１を介して、関連情報をカメラ２２及びマイクロフォン２３に要求する。要求部１３３によって関連情報が要求された後に、次のステップＳ１４に処理が進められる。

【0087】

ステップＳ１４では、取得部１３１が、通信部１１を介して、カメラ２２及びマイクロフォン２３から出力される関連情報を取得する。取得部１３１によって関連情報が取得された後に、次のステップＳ１５に処理が進められる。

【0088】

ステップＳ１５では、決定部１３４が、ステップＳ１１で感情推定部１３２によって推定された感情候補から、ステップＳ１４で取得部１３１によって取得された関連情報に基づき、推定結果を決定する。つまり、推定装置１０は、ステップＳ１１で推定された感情候補を、関連情報を利用してさらに適切に絞り込むことができる。具体的には、決定部１３４は、ステップＳ１１で感情推定部１３２によって推定された感情候補から、ステップＳ１４で取得部１３１によって取得された撮影画像から分析されたユーザＵ１の表情と、ステップＳ１４で取得部１３１によって取得された音声情報から分析されたユーザＵ１の対話内容と、ステップＳ１４で取得部１３１によって取得された音声情報から分析されたユーザＵ１の発する音の大きさと、に基づき、推定結果を決定する。なお、ユーザＵ１の対話は、ユーザＵ１と他の乗員との間で行われる対話であってもよく、ユーザＵ１とスマートスピーカ等の対話システムとの間で行われる対話であってもよい。

【0089】

例えば、決定部１３４は、評価テーブル１２１ｃ及び重み付けテーブル１２１ｄを参照して推定結果を決定する。評価テーブル１２１ｃ及び重み付けテーブル１２１ｄは、テーブル１２１に含まれる。

【0090】

図６は、評価テーブル１２１ｃの一例を示す図である。図６に示すように、評価テーブル１２１ｃの項目には、「感情」、「表情」、「対話内容」、及び「音の大きさ」が含まれる。

【0091】

評価テーブル１２１ｃの項目「感情」は、各心理平面の各象限に割り当てられた心理状態に含まれる感情を記憶する。

【0092】

評価テーブル１２１ｃの評価項目「表情」は、複数のパターンに分類された顔の表情を記憶する。

【0093】

評価テーブル１２１ｃの評価項目「対話内容」は、例えば対話に含まれる単語の内容を記憶する。

【0094】

評価テーブル１２１ｃの評価項目「音の大きさ」は、音の一要素である音の大きさの範囲を記憶する。なお、「音の大きさ」以外の音の要素である及び「音の高さ」、「音の音色」、「音の抑揚（音量の変動状態）」等が評価テーブル１２１ｃの項目に追加されてもよい。

【0095】

なお、評価テーブル１２１ｃにおけるこれらのデータは、例えば、感情推定装置１０システムの設計・開発者等が、実験等で収集した感情と、表情、対話内容、音（声）の大きさ等の関係性を示すデータに基づき生成することになる。また、評価テーブル１２１ｃはユーザに関係無い汎用的な評価テーブルであっても良く、またユーザ毎にユーザ特性に応じて作成された個人別の評価テーブルであっても良い。

【0096】

図７は、重み付けテーブル１２１ｄの一例を示す図である。図７に示すように、重み付けテーブル１２１ｄでは、図６に示す評価テーブル１２１ｃの評価項目毎に重み付け係数が定められている。

【0097】

重み付け係数は、図６に示す評価テーブル１２１ｃの評価項目の記憶内容に対して過去に合致した（あるいは類似した）頻度によって定められる。例えばユーザＵ１が表情に感情が表れやすいタイプの人であれば、評価項目「表情」に対応する重み付け係数の値は大きくなる。また、例えば車両２０の車室内での対話内容がユーザＵ１の感情変化に大きな影響を与える場合、評価項目「対話内容」に対応する重み付け係数の値は大きくなる。また、例えばユーザＵ１が感情によって声の大きさが変わりやすいタイプの人であれば、評価項目「音の大きさ」に対応する重み付け係数の値は大きくなる。

【0098】

なお、これらのデータは、例えば、感情推定装置１０システムの設計・開発者等が、実験等で収集した、表情、対話内容、音（声）の大きさ等が感情に与える影響度を示すデータに基づき生成することになる。また、重み付けテーブル１２１ｄはユーザに関係無い汎用的な重み付けテーブルであっても良く、またユーザ毎にユーザ特性に応じて作成された個人別の重み付けテーブルであっても良い。

【0099】

そして、決定部１３４は、推定された各感情候補について、評価テーブル１２１ｃの各評価項目における一致度に基づく評価点を算出する。そして、決定部１３４は、各評価項目の評価点に、重み付けテーブル１２１ｄにおける各評価項目の重み付け係数を乗算する。そして、決定部１３４は、各感情候補に対するそれら乗算結果の総和を各感情候補の評価値とし、最も高い評価値に該当する感情候補を推定感情として決定する。

【0100】

例えば、「推定結果の候補」が「楽しい、喜び、怒り、悲しみ」である場合、決定部１３４は、「楽しい」、「喜び」、「怒り」、「悲しみ」それぞれで、評価項目「表情」、評価項目「対話内容」、評価項目「音の大きさ」の記憶内容に対して合致するか否か（あるいは類似度）で評価項目毎に点数化する。そして、決定部１３４は、「楽しい」、「喜び」、「怒り」、「悲しみ」それぞれで、その評価項目毎の点数に対して重み付けテーブル１２１ｄの重み付け係数を用いて乗算処理を行い、その乗算結果を総和する重みづけ平均処理を行う。そして、決定部１３４は、その重み付け平均処理によって得られた重み付け平均値が最も大きい「楽しい」、「喜び」、「怒り」、あるいは「悲しみ」を推定結果として決定する。

【0101】

また、決定部１３４は、テーブルを用いて推定結果を決定するのではなく、ＡＩ（人工知能）を用いて感情推定結果を決定してもよい。具体的には、例えば、学習データ作成用の生体信号、環境情報を用いて、感情推定部１３２と同様の方法によって推定される感情候補（感情推定モデル（心理平面）に設定された感情種別）と、取得部１３１と同様の方法によって取得される関連情報（関連情報として取得するように設定された被験者の顔画像等）とを入力情報とする。またその状態（その入力情報に対する生体信号、環境情報状態）における実験（その状態下における被験者による感情の申告等（所謂：アンケート調査））等により決定（推定）された感情を正解データ（関連情報と感情の関係）とする学習データセットを作成する。そして作成した学習データセットで機械学習された学習済みＡＩモデルを作成する。そして、このように作成された学習済みＡＩモデルに、取得されたユーザの感情候補と関連情報を適用（入力）し、その推定結果を推定感情として決定する。

【0102】

決定部１３４によって推定結果が決定されると、次のステップＳ１６に処理が進められる。

【0103】

ステップＳ１６では、提供部１３５が、決定部１３４によって決定された推定結果を、ネットワークＮ１を介して車両２０内の車載装置に提供する。そして、車載装置は提供された推定感情に応じた各種制御を行う。

【0104】

提供部１３５によって推定結果が車両２０内の車載装置に提供されると、ステップＳ１１に処理が戻され、上述の処理が繰り返し行われる。

【0105】

なお、これら処理は感情推定結果を利用する装置の動作が終了すると、例えば、車両２０からのドアロックを通知する信号（車両走行中の各種制御終了）を推定装置１０の取得部１３１が取得すると、図５に示す推定処理を終了させるための割り込み処理が開始され、図５に示す推定処理が終了する。

【0106】

以上のような処理により、ユーザＵ１（感情推定対象者）の生体信号に基づき推定感情候補が選定され、そして関連情報に応じて当該推定感情候補から推定感情が絞り込まれて決定されることになる。

【0107】

＜２．第２実施形態＞
本発明の例示的な第２実施形態に係る推定システム１の構成例は、上述した第１実施形態と同様に図１に示す構成である。

【0108】

本発明の例示的な第２実施形態に係る推定装置１０の構成例は、上述した第１実施形態と同様に、図３に示す構成である。ただし、本実施形態では、推定装置１０の記憶部１２には、テーブル（データテーブル）１２１としてセンサテーブル１２１ａ及び心理平面テーブル１２１ｂが含まれるとともに、学習済み感情予測モデルも含まれる。

【0109】

また、本実施形態において推定装置１０によって実行される推定処理の一例は、上述し第１実施形態と同様に、図５に示すフローチャートである。ただし、本実施形態では、ステップＳ１３及びステップＳ１５の具体的な処理内容が第１実施形態とは異なる。

【0110】

推定装置１０の記憶部１２に含まれる学習済み感情予測モデルは、実験（被験者による出来事とその出来事が起こったされたときの感情（感情推定モデル（心理平面）に設定された感情種別内の感情）との関係のアンケート調査等）等により収集された正解データ（出来事と感情との関係）が機械学習されることで構築されるモデルである。具体的には、例えば被験者に対する出来事を入力データとし、その出来後発生時における被験者の感情を正解データとする学習データのセットで学習したＡＩモデルである。

【0111】

なお、学習データは、１つの出来事とその出来事が起こったされたときの感情との関係だけでなく、複数の出来事（入力データ）とそれらの出来事が起こったされたときの感情（正解データ）との関係も含まれることが望ましい。これにより、複数の出来事が起こったときの学習済み感情予測モデルによる感情予測の精度を向上させることができる。

【0112】

そして、複数の出来事とそれらの出来事が起こったされたときの感情との関係が学習データに含まれる場合、複数の出来事が起こった順序あるいは複数の出来事がそれぞれ起こった時刻も学習データ（入力データ）に含まれることが望ましい。これにより、複数の出来事が起こったときの学習済み感情予測モデルによる感情予測において複数の出来事が起こった順序あるいは時刻が加味されるため、学習済み感情予測モデルによる感情予測の精度をより一層向上させることができる。なお、この場合、感情推定の際には、学習済み感情予測モデルに、出来事が起こった順序あるいは複数の出来事がそれぞれ起こった時刻等を入力データとし入力（適用）する必要がある。

【0113】

次に、図５に示すフローチャートにおいて、上述した第１実施形態と異なる部分について説明する。

【0114】

ステップＳ１３では、要求部１３３は、通信部１１を介して、設計開発者等により予め設定された出来事対象期間内（例えば現時点から１時間以内）の関連情報をカメラ２２及びマイクロフォン２３に要求する。本実施形態において、カメラ２２及びマイクロフォン２３は、出来事対象期間内の関連情報を更新しながら記憶する記憶装置を内蔵あるいは外付け接続している。

【0115】

ステップＳ１５では、決定部１３４が、ステップＳ１１で感情推定部１３２によって推定された感情候補から、ステップＳ１４で取得部１３１によって取得された関連情報に基づき、推定結果を決定する。

【0116】

具体的には、まず決定部１３４は、ステップＳ１４で取得部１３１によって取得された関連情報から出来事対象期間内にユーザＵ１に発生する出来事を推測する。

【0117】

具体的には、決定部１３４は、例えばＡＩ画像解析装置等を用いた画像解析処理、あるいはＡＩ音声解析装置等を用いた音声解析処理により、感情の関連情報として感情判定タイミング前の出来事対象期間に発生した出来事を推定する。

【0118】

このような処理により、例えば、第１の時刻における撮影画像に泣き顔の子どもが写っており、第１の時刻における音声情報に子どもの泣き声が含まれていれば、決定部１３４は、第１の時刻において、子どもが駄々をこねているという出来事が生じていると推測する。

【0119】

また、例えば、第２の時刻における撮影画像に笑顔の乗員が複数写っており、第２の時刻における音声情報に複数の乗員の笑い声が含まれていれば、決定部１３４は、第２の時刻において、乗員同士が談笑しているという出来事が生じていると推測する。

【0120】

また、例えば、第３の時刻における撮影画像に水滴が付着している窓ガラスが写っており、第３の時刻における音声情報に雨音が含まれていれば、決定部１３４は、第３の時刻において、雨が降っているという出来事が生じていると推測する。

【0121】

次に決定部１３４は、推定した出来事を学習済み感情予測モデルに入力して、学習済み感情予測モデルから出力される感情を取得する。推定した出来事が存在し、学習済み感情予測モデルが複数の出来事が起こった順序あるいは複数の出来事がそれぞれ起こった時刻を考慮するモデルである場合、決定部１３４は、推定した複数の出来事が起こった順序あるいは推定した複数の出来事がそれぞれ起こった時刻も学習済み感情予測モデルに入力する。

【0122】

学習済み感情予測モデルは、推定した出来事に対応する感情の確率を出力する。例えば子どもが駄々をこねているという出来事が入力された場合、学習済み感情予測モデルは、例えばユーザＵ１の感情が怒りである確率６０％、ユーザＵ１の感情が憂鬱である確率３０％、ユーザＵ１の感情が不愉快である確率１０％というような出力を行う。なお、このような各出力候補の確率を算出して出力を決定する動作は、一般的なＡＩモデルの動作として知られている。

【0123】

そして、決定部１３４は、ステップＳ１１で感情推定部１３２によって推定された感情候補から、学習済み感情予測モデルの出力（確率）に基づき、推定結果を決定する。つまり、上述の場合、感情候補の内で、学習済み感情予測モデルにより推定された正解確率が最も高い感情候補が推定感情として決定される。

【0124】

以上のような処理により、ユーザＵ１（感情推定対象者）の生体信号に基づき推定感情候補が選定され、そして関連情報から推定される予め設定された出来事推定対象期間内にユーザＵ１に発生した出来事に応じて当該推定感情候補から推定感情が絞り込まれて決定されることになる。本実施形態では、ユーザＵ１の様子（例えばユーザＵ１の表情、対話内容、音声など）からユーザＵ１の感情を予測することが難しい場合でも、ユーザＵ１に発生する出来事がユーザＵ１の感情に影響を与えることを利用してユーザＵ１の感情を予測することができ、推定感情の絞り込みが可能になる。

【0125】

また、本実施形態では、学習済み感情予測モデルが用いられているため、出来事と感情との関係を精査してデータテーブル化する等の作業を行う必要がなくなる。

【0126】

また、決定部１３４は、ステップＳ１１で感情推定部１３２によって推定された感情候補から、学習済み感情予測モデルの出力（確率）に基づき推定結果を決定するのではなく、感情推定部１３２による推定機能と学習済み感情予測モデルの出力機能の両方を持つＡＩ（人工知能）を用いて感情推定結果を決定してもよい。具体的には、例えば、学習データ作成用の生体信号、環境情報に基づき、感情推定部１３２と同様の方法によって推定される感情候補（感情推定モデル（心理平面）に設定された感情種別）と、取得部１３１と同様の方法によって取得される関連情報（決定部１３４と同様の方法で推定した出来事）とを入力情報する。またその状態（その入力情報に対する生体信号、環境情報状態）における実験（その状態下における被験者による感情の申告等（所謂：アンケート調査））等により収集された正解データ（関連情報と感情の関係）とする学習データセットで機械学習されたＡＩモデルを作成する。そして、このように作成された学習済みＡＩモデルに、取得されたユーザの感情候補と関連情報を適用（入力）し、その推定結果を推定感情として決定する。

【0127】

また、本実施形態において、学習済み感情予測モデルの代わりに、関連情報から推定される出来事と感情との関係を示すデータテーブルが用いられてもよい。この場合、複数の出来事が起きたときに各出来事が感情に影響を与える度合いを示す重み付け係数が設定されるとよい。当該重み付け係数は、出来事の種別に応じた値であってもよく、複数の出来事が起こった順序あるいは複数の出来事がそれぞれ起こった時刻に応じた値であってもよい。

【0128】

＜３．第３実施形態＞
図８は、本発明の例示的な第３実施形態に係る推定システム１の構成例を示す図である。なお、本実施形態において第２実施形態と同様の部分については詳細な説明を省略する。

【0129】

図８に示すように、推定システム１は、サーバ１０と、生体センサ２１と、スマートフォン２４と、を備える。スマートフォン２４は車両２０の車室内に配置される（持ち込まれる）。スマートフォン２４は、車両２０に装備される通信機器とＷｉ－Ｆｉ（登録商標）等の通信方式により通信接続可能である。

【0130】

スマートフォン２４は、スケジュール管理アプリ、カレンダーアプリ、タスク管理アプリ等によってユーザＵ１のスケジュール情報を記憶する。スマートフォン２４は、ユーザＵ１の感情に関連する関連情報（ユーザＵ１のスケジュール情報）を出力する出力装置の一例である。なお、スマートフォン２４の他に、上記アプリが実行可能なタブレット端末や携帯電話機等の携帯端末機（スマートホンも含む）が適用可能である。

【0131】

本発明の例示的な第３実施形態に係る推定装置１０の構成例は、上述した第２実施形態と同様に、図３に示す構成である。

【0132】

また、本実施形態において推定装置１０によって実行される推定処理の一例は、上述し第２実施形態と同様に、図５に示すフローチャートである。ただし、本実施形態では、ステップＳ１３の具体的な処理内容が第１実施形態とは異なる。

【0133】

ステップＳ１３では、要求部１３３は、通信部１１を介して、設計開発者等により予め設定されたスケジュール対象期間内の関連情報（スマートフォン２４のスケジュール管理アプリ等のスケジュール情報）をスマートフォン２４に要求する。上述したスケジュール対象期間は、過去の期間及び未来の期間の両方（例えば現時点から前後３０分以内）を含んでもよく、過去の期間のみ（例えば現時点から１時間前以内）を含んでもよく、未来の期間のみ（例えば現時点から１時間後以内）を含んでもよい。つまり、現時点に比較的近い過去および未来のスケジュールは感情に影響があると考えられるので、スケジュールを関連情報として扱うものである。

【0134】

本実施形態では、決定部１３４は、第２実施形態と同様に、ステップＳ１４で取得部１３１によって取得された関連情報からスケジュール対象期間内にユーザＵ１に発生する出来事をステップＳ１５において推測する。ただし、本実施形態では関連情報がユーザＵ１のスケジュール対象期間と言った所定期間内のスケジュール情報であるため、出来事の趣が上述した第２実施形態とは異なる。本実施形態において推測される出来事としては、主として、例えば、友人とランチに行く、取引先を訪問する等のユーザＵ１自身の行動に関する出来事で、所謂テキスト情報で取得されることになる。

【0135】

本実施形態では、上述した第２実施形態と同様に、ユーザＵ１の様子（例えばユーザＵ１の表情、対話内容、音声など）からユーザＵ１の感情を予測することが難しい場合でも、ユーザＵ１に発生する出来事がユーザＵ１の感情に影響を与えることを利用してユーザＵ１の感情を予測することができ、推定感情の絞り込みが可能になる。

【0136】

また、本実施形態では、上述した第２実施形態と同様に、学習済み感情予測モデルが用いられているため、出来事と感情との関係を精査してデータテーブル化する等の作業を行う必要がなくなる。

【0137】

また、本実施形態では、上述した第２実施形態とは異なり、ユーザＵ１に未来に発生する出来事がユーザＵ１の感情に影響を与えることを利用してユーザＵ１の感情を予測することもできる。これにより、ユーザＵ１の感情予測に利用できる出来事の数を増やすことができ、感情予測の精度向上が期待できる。

【0138】

＜４．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

【0139】

例えば、車両２０が推定装置１０の推定結果を利用した制御を開始するときに、推定装置１０の推定処理が開始されるようにしてもよい。このようにすると、推定装置１０での処理負荷を軽減することができる。

【符号の説明】

【0140】

１・・・推定システム
１０・・・推定装置
１３・・・コントローラ
２１・・・生体センサ
２２・・・カメラ
２３・・・マイクロフォン
２４・・・スマートフォン

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】