特開 2024-127319 推定装置、推定システム、及び推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127319

(43)【公開日】2024-09-20

(54)【発明の名称】推定装置、推定システム、及び推定方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240912BHJP

【ＦＩ】

A61B5/16 120

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023036403

(22)【出願日】2023-03-09

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】坂口 友理

(72)【発明者】

【氏名】村下 君孝

(72)【発明者】

【氏名】加藤 徹洋

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP03

4C038PQ03

4C038PS05

(57)【要約】

【課題】生体センサによって計測された生体信号に基づいて推定される感情をさらに適切に絞り込むことができる技術を提供する。
【解決手段】例示的な推定装置は、感情を推定する推定装置であって、感情推定対象者の発声する音に応じた音声情報を取得し、感情推定結果の候補となる感情候補を複数種の生体信号に基づき推定し、前記感情候補と前記音声情報とに基づき前記感情推定結果を決定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

感情を推定する推定装置であって、
感情推定対象者の発声する音に応じた音声情報を取得し、
感情推定結果の候補となる感情候補を複数種の生体信号に基づき推定し、
前記感情候補と前記音声情報とに基づき前記感情推定結果を決定する、推定装置。

【請求項2】

前記音声情報取得のための呼びかけの開始を対話システムに指示する、請求項１に記載の推定装置。

【請求項3】

前記感情候補に応じて前記呼びかけの内容を変更する、請求項２に記載の推定装置。

【請求項4】

前記呼びかけの開始を前記対話システムに指示するタイミングは、前記複数種の生体信号の少なくとも一種が変化したとき、車両の周辺環境が変化したとき、車両の挙動が変化したとき、車両が前記感情推定結果を利用した制御を開始するとき、の少なくとも一つである、請求項２に記載の推定装置。

【請求項5】

前記感情候補と前記音声情報から分析された音の要素とに基づき前記感情推定結果を決定する、請求項１に記載の推定装置。

【請求項6】

前記感情候補と前記音声情報から分析された前記対話システムに対する応答内容とに基づき前記推定結果を決定する、請求項２に記載の推定装置。

【請求項7】

取得した前記音声情報から前記感情推定対象者の音声を抽出して分析対象の音声情報とする、請求項２に記載の推定装置。

【請求項8】

前記複数種の生体信号は脳波と心拍であって
前記脳波のβ波／α波に基づき、覚醒状態を表す覚醒状態指標値を算出し、
前記心拍のＬＦ成分の標準偏差に基づき、感情の強度を表す感情強度指標値を算出し、
前記覚醒状態指標値の２値化値と前記感情強度指標値の２値化値との場合分けで感情推定値が決定される感情モデルに、前記覚醒状態指標値及び前記感情強度指標値を適用して推定結果の候補となる感情を推定する、請求項１に記載の推定装置。

【請求項9】

感情を推定する推定装置と、複数種の生体信号を計測する生体センサと、音声情報を出力するマイクロフォンと、を備える推定システムであって、
前記推定装置は、
感情推定結果の候補となる感情候補を複数種の生体信号に基づき推定し、
前記感情候補と音声情報とに基づき前記感情推定結果を決定する、推定システム。

【請求項10】

感情推定結果の候補となる感情候補を感情推定対象者の複数種の生体信号に基づき推定し、前記感情候補と感情推定対象者の発声する音に応じた音声情報とに基づき前記感情推定結果を決定する処理を装置が実行する、推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情の推定を行う技術に関する。

【背景技術】

【0002】

従来、生体センサによって計測された生体信号に基づいて人の感情を推定し、推定した感情を提示する装置が知られる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－６３３２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の装置で用いられる感情推定モデル次第で、感情の推定結果が例えば「楽しい、喜び、怒り、悲しみ」の心理状態になることがあり得る。

【0005】

「楽しい、喜び、怒り、悲しみ」の心理状態は、「楽しい」「喜び」といったポジティブな感情と、「怒り」「悲しみ」といったネガティブな感情との両方を含む。ポジティブな感情とネガティブな感情とは相反する感情であるにも関わらず、ポジティブな感情又はネガティブな感情のどちらであるかを判別できない場合、感情の推定結果を利用する態様によっては感情の推定結果を利用し難くなるおそれがある。

【0006】

本発明は、上記の点に鑑み、生体センサから出力される生体信号に基づいて推定される感情をさらに適切に絞り込むことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

例示的な本発明の推定装置は、感情を推定する推定装置であって、感情推定対象者の発声する音に応じた音声情報を取得し、感情推定結果の候補となる感情候補を複数種の生体信号に基づき推定し、前記感情候補と前記音声情報とに基づき前記感情推定結果を決定する。

【発明の効果】

【0008】

例示的な本発明によれば、生体センサによって計測された生体信号に基づいて推定される感情をさらに適切に絞り込むことができる。

【図面の簡単な説明】

【0009】

【図1】推定システムの構成例を示す図

【図2】感情推定モデル（心理平面）の一例を示す図

【図3】推定装置の構成例を示す図

【図4A】センサテーブルの一例を示す図

【図4B】心理平面テーブルの一例を示す図

【図5】推定装置によって実行される推定処理の一例を示すフローチャート

【図6】呼びかけテーブルの一例を示す図

【図7】評価テーブルの一例を示す図

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0011】

＜１．実施形態＞
［１－１．推定システム］
図１は、本発明の例示的な実施形態に係る推定システム１の構成例を示す図である。本実施形態において、ユーザＵ１は、車両２０の乗員である。推定システム１は、ユーザＵ１の感情を推定するシステムとして構成されている。

【0012】

なお、図１には、ユーザＵ１が一人のみ示されているが、ユーザＵ１は複数であってもよい。また、例えば、ユーザＵ１は、ｅスポーツのプレーヤ、医療機関における患者、教育機関における生徒、映像や音楽といったコンテンツの視聴者等であってもよい。これらのユーザの場合、推定システム１の一部構成（センサ、対話システム等）は、ユーザＵ１の存在場所、例えばｅスポーツ操作端末の設置場所、病院、学校、コンテンツ視聴質等に設置されることになる。

【0013】

図１に示すように、推定システム１は、サーバ１０と、生体センサ２１と、対話システム２２と、マイクロフォン２３と、を備える。本実施形態では、サーバ１０は車両２０の外部、例えば感情推定サービスセンター建屋等に配置され、生体センサ２１、対話システム２２、及びマイクロフォン２３は車両２０の車室内に配置される。

【0014】

サーバ１０は、物理サーバであっても、仮想サーバであってもよい。本実施形態では、サーバ１０は、感情を推定する推定装置を構成する。すなわち、推定システム１は、推定装置１０を備える。以下、サーバ１０のことを推定装置１０と表現する。推定装置１０の詳細については後述する。なお、推定装置１０は、１つのサーバによって構成されても、複数のサーバによって構成されてもよい。

【0015】

生体センサ２１は、ユーザＵ１の複数種の生体信号をセンサ信号として検出する。すなわち、推定システム１は、複数種の生体信号を計測する生体センサ２１を備える。

【0016】

本実施形態では、生体センサ２１は、第１センサと第２センサとを含む。第１センサは脳波センサである。第２センサは心拍（脈拍）センサである。ただし、第１センサ及び第２センサは、取得したい生体情報等に応じて他の生体センサに変更されてよい。他の生体センサは、例えば、血圧計、ＮＩＲＳ（Near Infrared Spectroscopy）装置等であってよい。

【0017】

生体センサ２１は、例えばユーザＵ１に装着されるセンサのみで構成されてよい。また、生体センサ２１は、例えばユーザＵ１に装着されるセンサと車両２０に装備されたセンサとで構成されてもよい。また、生体センサ２１は、例えば車両２０に装備されたセンサのみで構成されてもよい。ユーザＵ１に装着されるセンサは、例えばヘッドギア型の脳波センサ、リストバンド型の光学式心拍（脈拍）センサ等であってよい。車両２０に装備されたセンサは、例えばハンドルに設置された光学式心拍（脈拍）センサ等であってよい。

【0018】

生体センサ２１は、ユーザＵ１の複数種の生体信号を計測可能であれば、複数のセンサでなく、単一のセンサで構成されてもよい。

【0019】

対話システム２２は、ユーザＵ１との対話が可能である。すなわち、推定システム１は、ユーザＵ１との対話が可能な対話システム２２を備える。対話システム２２は、例えば、車両２０に装備されたスマートスピーカ、車両２０の車室内に持ち込まれたスマートフォンに搭載された対話システム、車両２０に装備されたカーナビゲーション装置に搭載された対話システム等であってよい。

【0020】

マイクロフォン２３は、ユーザＵ１から発せられる音声を含む車両２０の車室内で発生する音に応じた音声情報を生成して出力する。すなわち、推定システム１は、音声情報を出力するマイクロフォン２３を備える。マイクロフォン２３は、対話システム２２に含まれるマイクロフォンであってよい。

【0021】

ここで、図１を参照して、推定システム１の処理の流れを説明する。

【0022】

生体センサ２１は、感情推定対象者であるユーザＵ１の複数種の生体信号を計測する。生体センサ２１の計測結果であるセンサ信号は、ネットワークＮ１経由で推定装置（サーバ）１０に送信される（ステップＳ１）。例えば、車両２０に装備される通信機器が関与して、生体センサ２１から推定装置１０にセンサ信号が送信されてよい。推定装置１０は、推定結果の候補となるユーザＵ１の感情を複数種の生体信号に基づき推定する（ステップＳ２）。

【0023】

ここで、ステップＳ２の感情推定の概要について説明する。推定装置１０は、入力されたセンサ信号に基づき、心身状態を示す指標（生理反応）の値である指標値を生成する。本実施形態では、推定装置１０は、脳波及び心拍に関する２つの心身状態を示す指標の指標値を生成する。例えば、脳波に関する心身状態を示す指標は、中枢神経系覚醒度（以下、単に覚醒度と記載する）であり、その指標値は「脳波のβ波／α波」で与えることができる。また、例えば、心拍に関する心身状態を示す指標は、自律神経系の活性度であり、その指標値は「心拍ＬＦ（ローパスフィルタ（低周波数域））成分の標準偏差」で与えることができる。指標値は、予めメモリ等に記憶される算出用のモデル（算出式や変換データテーブル）を用いて算出される。

【0024】

なお、生体センサ２１が演算機能を有する構成（コンピュータ等が内蔵された構成）として、生体センサ２１が、指標値を算出する構成としてもよい。

【0025】

推定装置１０は、算出した指標値と、予めメモリ等に記憶される感情推定モデルとを用いて、推定結果の候補となるユーザＵ１の感情候補を推定する。なお、感情推定モデルは、医学的エビデンス（論文等）に基づいて作成される。

【0026】

図２は、感情推定モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標に基づき推定できるとされる。図２に示される２種類の心身状態の指標を軸とする心理平面は、当該技術思想に従った感情推定モデルの一例である。図２において、一例として、縦軸は「覚醒度（覚醒－不覚醒）」、横軸は「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）」である。

【0027】

図２に示す心理平面では、縦軸と横軸で分離される４つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。図２の例では、第一象限に「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限に「憂鬱」の心理状態が割り当てられている。また、第三象限に「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限に「不安、恐怖、不愉快」の心理状態が割り当てられている。

【0028】

生体信号の計測結果に基づいて得られる２種類の心身状態の指標値を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。

【0029】

本例のように、縦軸を「覚醒度（覚醒－不覚醒）：例えば、脳波のβ波／α波に基づき算出」、横軸を「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）：例えば、心拍ＬＦ成分の標準偏差に基づき算出」したモデルでは、被験者の状態がどの象限にあるかにより、被験者の感情が「楽しい、喜び、怒り、悲しみ」、「憂鬱」、「リラックス、落ち着き」あるいは「不安、恐怖、不愉快」であると推定する。なお、このモデルは本出願人による実験等により有意なものとして検証されている。

【0030】

図２に示す例では、感情推定モデルは２次元の平面であるが、３次元以上の空間であってもよい。

【0031】

また、感情推定は物理的測定等に比較して誤差は大きくなるため、感情推定結果および感情推定に関する各パラメータ・指標の誤差を考慮し、図２に示すようなニュートラル領域ＮＲを設定して、感情推定不可（感情無）と言った判定を行っても良い。

【0032】

図１に戻って、引き続き推定システム１の処理の流れを説明する。推定装置１０は、所定の条件が満たされている場合、ユーザＵ１に対する呼びかけの開始をネットワークＮ１経由で対話システム２２に指示する（ステップＳ３）。所定の条件については後述する。例えば、車両２０に装備される通信機器が関与して、対話システム２２が推定装置１０からの指示を受信する。そして、対話システム２２は、推定装置１０から受信したこの指示に従ってユーザＵ１に呼びかけを行う（ユーザＵ１との対話を行なう）。

【0033】

対話システム２２による呼びかけが行われた後に、感情推定対象者であるユーザＵ１の発生音声を収集するように設置されたマイクロフォン２３から出力される音声情報（マイクロフォン２３が取得したユーザＵ１の発話等）は、ネットワークＮ１経由で推定装置１０に送信される（ステップＳ４）。例えば、車両２０に装備される通信機器が関与して、マイクロフォン２３から推定装置１０に音声情報が送信されてよい。なお、ユーザＵ１の発生音声は、そのままの形式（音声波形）で、あるいは適当な音声処理（音声認識、周波数分析、音声強度分析等）がなされた形式で音声情報となる。

【0034】

推定装置１０は、ステップＳ２で得られた候補と、ステップＳ４で受信した音声情報とに基づき推定結果を決定する（ステップＳ５）。推定装置１０は、決定した推定結果を車両２０に提供（送信）する（ステップＳ６）。

【0035】

そして、車両２０に搭載された制御装置は、例えば推定装置１０から提供された推定結果を利用して車両２０を制御する。例えば、怒っているドライバのアクセル操作、ブレーキ操作、及び舵角操作等は荒くなる傾向にある。そこで、車両２０に搭載された制御装置は、ユーザＵ１がドライバであって推定結果が「怒り」であるときにはアクセル操作、ブレーキ操作、及び舵角操作に対する感度を鈍くする（穏やかに変化する操作信号に変換する）制御を行う。

【0036】

また、他の適用例では、ユーザＵ１がスポーツにおけるプレーヤである場合、推定結果は、ユーザＵ１のメンタルトレーニングに利用することができる。例えば、ビデオゲームのプレイ中に、ユーザＵ１が勝負において不利な感情（不安、怒り等）を覚えた場面については、当該感情状態に対応した集中的なトレーニングが必要と判断される。そこで、スポールの各場面で推定した感情の情報をプレーヤ等に提供したり、推定した感情に対する適切なアドバイス情報を提供したりするなどして、当該トレーニングにおいて、推定装置１０の推定結果が利用される。

【0037】

また、各種ｅスポーツには、複数のユーザＵ１が協力してプレイするタイプや、複数のユーザＵ１が対戦するタイプがある。このようなタイプのｅスポーツにおいて、各プレーヤの感情状態が表示される構成等とすると、感情状態に応じてゲーム戦術を変える等、高度なゲームプレイが行うことが可能になる。また、ｅスポーツの観戦者が各プレーヤの感情状態を把握してゲームを観戦するといった構成も可能であり、ゲーム観戦の楽しみの要素を増やすことができる。

【0038】

また、ユーザＵ１が医療機関における患者である場合、推定結果は、検査及び治療等に利用することができる。例えば、医療機関のスタッフは、推定された感情に基づき患者が不安に感じていることを把握して、カウンセリング等の対応策を施すことができる。

【0039】

また、ユーザＵ１が教育機関における生徒である場合、推定結果は、授業内容の改善に利用することができる。例えば、教師は、推定された感情に基づき生徒が授業を退屈に感じていることを把握して、授業の内容を生徒が興味を引く内容に改善することができる。

【0040】

また、ユーザＵ１が、映像や音楽といったコンテンツの視聴者である場合、推定結果は、さらなるコンテンツの作成に利用することができる。例えば、映像コンテンツの配信者は、推定された感情に基づき視聴者が楽しく感じたシーンを集めて、ハイライト映像を作成することができる。

【0041】

なお、以上においては、車両２０の外部に配置されるサーバ１０が推定装置である例を示したが、推定装置は車両２０に搭載されてもよい。また、例えば、推定装置は、複数の装置で構成されてよい。例えば、車両２０の外部に配置される装置及び車両２０に搭載される装置が、感情を推定するための処理を分散して行ってもよい。

【0042】

［１－２．推定装置］
図３は、本発明の例示的な実施形態に係る推定装置１０の構成例を示す図である。なお、図３においては、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素についての記載は省略されている。図３に示すように，推定装置１０は、通信部１１及び記憶部１２を備える。また、推定装置１０は、コントローラ１３を備える。推定装置１０は、いわゆるコンピュータ装置であってよい。なお、推定装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える構成であってもよい。

【0043】

通信部１１は、ネットワークＮ１を介して他の装置との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）である。

【0044】

記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、又は、ハードディスクドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラム及びデータが格納される。なお、不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置、又は、可搬型記録媒体から取得される構成としてもよい。

【0045】

図３に示すように、本実施形態では、記憶部１２には、テーブル（データテーブル）１２１が含まれる。詳細には、テーブル１２１には、各種処理用の複数のテーブルが含まれる。例えば、テーブル１２１には、センサテーブル１２１ａ及び心理平面テーブル１２１ｂが含まれる。図４Ａは、センサテーブル１２１ａの一例を示す図である。図４Ｂは、心理平面テーブル１２１ｂの一例を示す図である。

【0046】

図４Ａに示すように、センサテーブル１２１ａの項目には、「センサＩＤ」、「センサ種別」、「生体信号種別」、「対応指標ＩＤ」、「対応指標種別」、及び、「指標変換情報」が含まれる。なお、テーブルの項目は、データ記憶セル（記憶枠）に対応する。

【0047】

センサテーブル１２１ａの項目「センサＩＤ」は、センサテーブル１２１ａにおけるデータレコードを識別するための識別情報であるセンサＩＤデータを記憶する。センサＩＤデータは、センサテーブル１２１ａにおけるデータレコードの主キーでもある。つまりセンサテーブル１２１ａでは、センサＩＤデータごとにデータレコードが構成され、当該データレコードにセンサＩＤデータに紐づいた各項目のデータが記憶されることになる。

【0048】

センサテーブル１２１ａの項目「センサ種別」は、センサ種別を特定するための情報を記憶する。本例では、センサ名称（型番等のデータでも可）が記憶される。

【0049】

センサテーブル１２１ａの項目「生体信号種別」は、センサにより検出される生体信号に基づく計測値の種別を記憶する。この生体信号種別データは、対応指標種別データと相関のあるデータである。学術的に、対応指標種別データは、それと対応する生体信号種別データを取得することにより推定（算出）できると認識されている。

【0050】

センサテーブル１２１ａの項目「対応指標ＩＤ」は、生体信号を検出するセンサの信号に基づき生成（算出）される心身状態指標を識別するための識別情報を記憶する。そして、センサテーブル１２１ａの項目「対応指標種別」は、指標の種別（名称等）を記憶する。

【0051】

センサテーブル１２１ａの項目「指標変換情報」は、生体信号を検出するセンサから得られる信号に基づき指標値を算出するための変換情報（演算式や変換データテーブル等）を記憶する。つまり、センサＩＤデータに対応するセンサにより検出された生体信号を、指標変換情報に従って変換処理することにより、対応指標ＩＤで識別される心身状態指標の指標値が推定（算出）されることになる。

【0052】

例えば、図４Ａで示すセンサテーブル１２１ａにおけるセンサＩＤ「ＳＮ０１」のデータレコードは、次のような情報を有する。「脳波センサＢＡ」の出力信号により「脳波のβ波／α波」が計測される。そして、この「脳波のβ波／α波」を「ＦＸ０１」の指標変換情報を用いて変換することによって、「覚醒度」の指標値が得られる。

【0053】

図４Ｂに示すように、心理平面テーブル１２１ｂは、指標種別（具体的には指標ＩＤデータを使用）を縦軸及び横軸のパラメータとする２次元マトリックステーブルである。心理平面テーブル１２１ｂにおいては、２種類の指標種別で定まる記憶セル（記憶枠）に、当該２種類の指標種別データで使用できる心理平面種別のデータが記憶されている。例えば、指標として用いる指標種別が、指標種別ＶＳｍと指標種別ＶＳｎであれば、感情の推定に用いる心理平面は心理平面ｍｎとなる。心理平面ｍｎを用いた処理を行なうための情報が読み出され、感情の推定処理に使用されることになる。

【0054】

なお、センサテーブル１２１ａと心理平面テーブル１２１ｂとにおいては、共通の指標ＩＤが用いられる。すなわち、センサテーブル１２１ａと心理平面テーブル１２１ｂとに基づいて、ユーザＵ１に装着された２種類のセンサに対応する心理平面ｍｎを決定することができる。例えば、ユーザＵ１に装着されたセンサ種別が「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」と「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」であるとする。この場合、「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」及び「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」に対応する指標ＩＤデータがセンサテーブル１２１ａに基づき決定される。そして、心理平面テーブル１２１ｂに基づき、「覚醒度」（ＶＳ０１）と「自律神経系活性度」（ＶＳ０２）を指標とする心理平面０１－０２が、感情の推定に用いる心理平面として決定されることになる。

【0055】

図３に戻って、引き続き推定装置１０の構成例を説明する。コントローラ１３は、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成されてよい。コントローラ１３は、１つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。なお、推定装置１０がクラウドサーバで構成される場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであってよい。

【0056】

図３に示すように、コントローラ１３は、その機能として、取得部１３１と、感情推定部１３２と、指示部１３３と、決定部１３４と、提供部１３５と、を備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。

【0057】

なお、本実施形態の範囲には、推定装置１０の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体は、例えば、上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いは、ＳＤカード等であってよい。

【0058】

また、各機能部１３１～１３５は、１つのプログラムにより実現されてもよいが、例えば、機能部ごとに別々のプログラムにより実現される構成であってもよい。また、各機能部１３１～１３５が別々のサーバとして実現されてもよい。また、各機能部１３１～１３５は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。各機能部１３１～１３５の少なくとも一部は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、各機能部１３１～１３５は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、各機能部１３１～１３５は、ソフトウェア及びハードウェアを併用して実現されてもよい。また、各機能部１３１～１３５は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

【0059】

取得部１３１は、通信部１１を介して、生体センサ２１から出力されるセンサ信号及びマイクロフォン２３から出力される音声情報を取得する。取得部１３１は、受信したデータを、その後の処理のために必要に応じて記憶部１２に記憶する。

【0060】

感情推定部１３２は、取得部１３１により取得されたセンサ信号に基づき感情候補の推定に用いるモデルを選択する。具体的には、感情推定部１３２は、取得されたセンサ信号とセンサテーブル１２１ａとを照合して、取得されたセンサ信号に含まれるセンサ種別及び生体信号種別に対応する「対応指標種別」のデータ（指標種別データ）を抽出する。そして、感情推定部１３２は、抽出した指標種別データの「指標ＩＤ」と心理平面テーブル１２１ｂとを照合して、感情候補の推定に用いるモデル（心理平面）を選択する。例えば、センサＩＤが「ＳＮ０１」（センサ種別：脳波センサＢＡ）と「ＳＮ０２」（センサ種別：心拍センサＨＡ）の場合、対応する指標ＩＤは、「ＶＳ０１」（指標種別：覚醒度）と「ＶＳ０２」（指標種別：自律神経系活性度）となる（図４Ａ参照）。これらに基づき、感情推定部１３２は、使用する感情推定モデルとして心理平面０１－０２を選択する。

【0061】

なお、推定装置１０の使用するセンサ種別が予め決まっている場合（推定装置１０に固定接続（設置）されている場合等）は、使用する感情推定モデルも予め定められた感情推定モデルとなる（感情推定モデルの選択処理は不要となる）。

【0062】

感情推定部１３２は、選択した心理平面を用いて感情候補の推定処理を実行する。感情推定部１３２は、取得部１３１により取得された生体信号に基づく情報をセンサテーブル１２１ａにおける指標変換情報を用いて指標値に変換する。本実施形態では、第１センサ（センサ種別：脳波センサＢＡ）と第２センサ（センサ種別：心拍センサＨＡ）とから得られるデータを用いて、覚醒度の指標値と、自律神経系活性度の指標値とが求められる。

【0063】

そして、感情推定部１３２は、選択した心理平面上に、各指標値をプロットして得られる座標の位置に応じて感情候補の推定を行う。本実施形態では、覚醒度を縦軸、自律神経系活性度を横軸とした心理平面（図２参照）上に、覚醒度の指標値と自律神経系活性度の指標値とをそれぞれプロットして得られる座標の位置に応じて感情候補の推定が行われる。

【0064】

また、感情推定部１３２は、指標値を複数種求める。なお、本実施形態では、複数種は２種類である。ただし、３種類以上の指標値が求める構成であってよい。この場合、感情推定モデルは、２次元の平面ではなく、３次元以上の空間とされてよい。

【0065】

指示部１３３は、通信部１１を介して、呼びかけの開始を対話システム２２に指示する。また、指示部１３３は、通信部１１を介して、呼びかけの内容も対話システム２２に指示する。

【0066】

決定部１３４は、感情推定部１３２によって推定された感情候補すなわち推定結果の候補となる感情候補と、取得部１３１によって取得された音声情報とに基づき推定結果を決定する。

【0067】

提供部１３５は、決定部１３４によって決定された推定結果を、ネットワークＮ１を介して車両２０内の車載装置に提供する。

【0068】

［１－３．推定方法］
次に、推定装置１０によって実行される推定方法について説明する。

【0069】

なお、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。また、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、１つのプログラムのみで構成されてもよいが、複数のプログラムによって構成されてもよい。

【0070】

図５は、推定装置１０によって実行される推定処理の一例を示すフローチャートである。図５に示す推定処理は、感情推定を開始する時に、例えば、車両２０からのドアロック解除を通知する信号を推定装置１０の取得部１３１が取得することにより開始される。

【0071】

ステップＳ１１では、感情推定部１３２が、生体センサ２１から出力されるセンサ信号（生体信号）に基づいて感情を推定する。ステップＳ１１で推定された感情は、最終的な推定結果の候補となる。感情推定部１３２によって感情が推定されると、次のステップＳ１２に処理が進められる。

【0072】

ステップＳ１２では、指示部１３３が、音声情報取得のための呼びかけの要否を判定する。指示部１３３は、種々の観点から呼びかけの要否を判定することができる。なお、この各種判定条件は、予め（システム生産時等）記憶部１２に記憶され、判定時（ステップＳ１２）に記憶部１２から読み出されて判定に使用されることになる。

【0073】

例えば、指示部１３３は、感情推定部１３２によって心理平面にプロットされた座標（生体信号値）に基づき、呼びかけの要否を判定してよい。指示部１３３は、複数種の生体信号の少なくとも一種が変化したときに、呼びかけが必要であると判定してよい。ここで、変化とは、予め定めた所定条件を満たす変化であり、所定条件を満たさない変化（例えば微小な変化）を含まない。以下で説明する生体信号以外の変化についても同様である。

【0074】

具体的には例えば、指示部１３３は、図２に示す心理平面にプロットされた座標が第一象限以外の象限から第一象限に移動した場合に、指示部１３３は、呼びかけが必要であると判定してよい。図２に示す心理平面の第一象限は、「楽しい」「喜び」といったポジティブな感情と、「怒り」「悲しみ」といったネガティブな感情との両方を含んでおり、これらを判別できることが望ましいからである。

【0075】

また、具体的には例えば、指示部１３３は、図２に示す心理平面にプロットされた座標が第一象限内部で原点からの距離が一定値以下の領域から原点からの距離が上記一定値を超えた領域に移動した場合、指示部１３３は、呼びかけが必要であると判定してよい。上記座標が第一象限内部で原点からの距離が上記一定値を超えた領域に移動した場合、ユーザＵ１のある感情（第一象限に対応する感情の１つ）が強くなった可能性が高く、変化後の感情を推定装置１０が的確に推定することが望ましいからである。

【0076】

例えば、指示部１３３は、車両２０の周辺環境が変化したときに、呼びかけが必要であると判定してよい。車両２０の周辺環境が変化すると、ユーザＵ１の感情も変化する可能性が高く、変化後の感情を推定装置１０が的確に推定することが望ましいからである。

【0077】

具体的には例えば、取得部１３１が、通信部１１を介して、車両２０に搭載された車載カメラで撮影された車両２０の周辺映像を取得する。そして、指示部１３３は、当該周辺映像から周辺環境の変化、例えば天候、景色（街中走行、郊外走行、山道走行中等）等の変化を検知したときに、呼びかけが必要であると判定してよい。

【0078】

また、具体的には例えば、取得部１３１が、通信部１１を介して、車両２０に搭載されたカーナビゲーション装置から提供される交通情報を取得する。指示部１３３は、当該交通情報や車両速度情報等から渋滞等の特異な周囲交通状況や周囲交通状況の変化の発生を検知したときに、呼びかけが必要であると判定してよい。

【0079】

例えば、指示部１３３は、車両２０の挙動が変化（操舵角や車両速度、加速度の大きな変化）したときに、呼びかけが必要であると判定してよい。車両２０の挙動が変化すると、ユーザＵ１の感情が変化した可能性が高く、変化後の感情を推定装置１０が的確に推定することが望ましいからである。

【0080】

具体的には例えば、取得部１３１が、通信部１１を介して、車両２０に搭載されたカーナビゲーション装置、ＥＣＵ（Electronic Control Unit）等から車両２０の挙動に関する情報を取得する。そして、指示部１３３は、当該情報から急ブレーキの発生、速度超過の発生等を検知したときに、呼びかけが必要であると判定する。

【0081】

例えば、指示部１３３は、車両２０が推定装置１０の推定結果を利用した制御を開始するときに、呼びかけが必要であると判定してよい。

【0082】

具体的には例えば、車両２０が推定装置１０の推定結果を利用した制御を開始するときに推定結果を要求する要求信号を出力する。取得部１３１が、通信部１１を介して、当該要求信号を取得する。そして、指示部１３３は、当該要求信号に対応して、呼びかけが必要であると判定する。

【0083】

例えば、指示部１３３は、ユーザＵ１の表情が変化したときに、呼びかけが必要であると判定してよい。ユーザＵ１の表情が変化すると、ユーザＵ１の感情も変化した可能性が高く、変化後の感情を推定装置１０が的確に推定することが望ましいからである。

【0084】

具体的には例えば、取得部１３１が、通信部１１を介して、車両２０に搭載された車室内カメラで撮影されたユーザＵ１の映像を取得する。そして、指示部１３３は、当該映像からユーザＵ１の表情の変化を検知したときに、呼びかけが必要であると判定する。呼びかけが不要である場合（ステップＳ１２でＮｏ）、ステップＳ１１に処理が戻される。呼びかけが必要である場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に処理が進められる。

【0085】

ステップＳ１３では、指示部１３３は、通信部１１を介して、呼びかけの開始を対話システム２２に指示する。この指示によって、対話システム２２がユーザＵ１に対して呼びかけを行うことになるため、ユーザＵ１の自然な会話を引き出すことができる。たとえユーザＵ１が呼びかけに対して応答しない場合でも、呼びかけに対して無応答であるという情報を得ることができる。また、ステップＳ１３では、指示部１３３は、通信部１１を介して、呼びかけの内容も対話システム２２に指示する。指示部１３３によって指示が行われた後に、次のステップＳ１４に処理が進められる。

【0086】

呼びかけは、「気分はどうですか？」等の問いかけに限定されず、例えば「目的地の天候は快晴です。」等の事実を伝える会話であってもよい。例えば、ユーザ１がポジティブな感情であれば、「目的地の天候は快晴です。」という事実を伝える会話に対して、ユーザＵ１が「やった。最高！」等と応答することもありえるからである。

【0087】

指示部１３３は、呼びかけの内容を単一に設定してもよいが、ステップＳ１１で推定された感情に応じて呼びかけの内容を変更してもよい。ステップＳ１１で推定された感情に応じて呼びかけの内容が変更されることで、ステップＳ１１で推定された感情を呼びかけの応答を利用してさらに適切に絞り込むことが容易になる。

【0088】

ステップＳ１１で推定された感情に応じて呼びかけの内容が変更される場合、例えば、指示部１３３は、呼びかけテーブル１２１ｃを参照する。呼びかけテーブル１２１ｃは、テーブル１２１に含まれる。

【0089】

図６は、呼びかけテーブル１２１ｃの一例を示す図である。図６に示すように、呼びかけテーブル１２１ｃの項目には、「推定結果の候補」及び「呼びかけの内容」が含まれる。

【0090】

呼びかけテーブル１２１ｃの項目「推定結果の候補」は、各心理平面の各象限に割り当てられた心理状態を記憶する。例えば、図２に示す心理平面の第一象限に割り当てられた心理状態は、「楽しい、喜び、怒り、悲しみ」である。

【0091】

呼びかけテーブル１２１ｃの項目「呼びかけの内容」は、呼びかけの内容に関するデータを記憶する。図６では呼びかけの文章全部が記憶されているが、単語、フレーズ等の呼びかけの内容の一部が記憶されてもよい。呼びかけの内容の一部が記憶される場合、推定装置１０が呼びかけの内容の一部を対話システム２２に提供し、対話システム２２が呼びかけの文章を構築するようにしてよい。

【0092】

なお、「呼びかけの内容」は、「推定結果の候補」から感情を決定する（絞り込む）ための内容が好ましく、例えば「推定結果の候補」が「楽しい、喜び、怒り、悲しみ」の場合は、「楽しい、「喜び」、「怒り」、「悲しみ」から感情を決定できる内容、あるいはある内容で層別できる内容、例えば「ポジティブな感情」あるいは「ネガティブな感情」と決定できる内容が好ましい。

【0093】

ステップＳ１４では、取得部１３１が、通信部１１を介して、マイクロフォン２３から出力される音声情報を取得する。そして、決定部１３４は、取得部１３１によって取得された音声情報がユーザＵ１の会話（呼びかけへの応答）に関する情報であるかを解析する。

【0094】

具体的には、例えば、記憶部１２は、ユーザＵ１の過去の会話から抽出されたユーザＵ１の会話の特徴（例えば、声の高さ、話す速度、イントネーション等）を蓄積して音声情報データベースとして記憶している。決定部１３４は、この音声情報データベースを用いて、会話解析対象者であるユーザＵ１による会話（発話）かの判定を実行する。ユーザＵ１が複数である場合には、各ユーザＵ１にユーザＩＤを割り当てて音声情報データベースにおいて各ユーザＵ１の会話の特徴が区別されて管理されるようにすればよい。例えばユーザＩＤが「１」であるユーザＵ１の感情を推定装置１０が推定しているときには、決定部１３４は、取得部１３１によって取得された音声情報が、ユーザＩＤが「１」であるユーザＵ１の会話（呼びかけへの応答）に関する情報であるかを解析すればよい。

【0095】

そして、決定部１３４は、会話が会話解析対象者（ユーザＵ１）の発話である場合は、その会話内容の言語解析を行う。さらに決定部１３４は、この言語解析結果に基づき「推定結果の候補」から感情を決定する（絞り込む）。この決定は、例えば、言語解析により、会話中にポジティブ感情に繋がる言動があるかどうか（ポジティブな単語とそれに連なる肯定表現の存在等）、発音のイントネーションや速度等の状態により判断する。これらの判断処理に用いられる情報は、予め記憶部１２に記憶しておくことになる。

【0096】

決定部１３４によって音声情報が解析されると、次のステップＳ１５に処理が進められる。

【0097】

ステップＳ１５では、決定部１３４が、音声情報の解析結果に基づいて、再度の呼びかけの要否を判定する。

【0098】

取得部１３１によって取得された音声情報がユーザＵ１の会話（呼びかけへの応答）に関する情報でない場合（応答自体が無い場合も含む）、決定部１３４は、再度の呼びかけが必要であると判定する。また、実行した解析結果では「推定結果の候補」から感情を未だ決定できない場合、決定部１３４は、再度の呼びかけが必要であると判定する。再度の呼びかけが必要である場合（ステップＳ１５でＹｅｓ）、決定部１３４が指示部１３３に対して、呼びかけ対象者を明示するような呼びかけ内容の出力を指示した上（呼びかけへの応答がなかった場合）で、あるいは感情を決定するのに必要な情報を含むような回答を誘導するような呼びかけ内容の出力を指示した上（「推定結果の候補」から感情を未だ決定できない場合）で、ステップＳ１３に処理が戻される。したがって、再度の呼びかけに対する応答は、ユーザＵ１からの応答で、また「推定結果の候補」から感情を決定できる内容の応答である可能性が高くなる。呼びかけ対象者を明示する呼びかけは、例えば、ユーザＵ１の個人名、ユーザＵ１の続柄、ユーザＵ１の着座位置（例えば運転席、助手席など）等が含まれてよい。

【0099】

なお、ステップＳ１３での最初の呼びかけから、呼びかけ対象者を明示する呼びかけにしてもよい。この場合、再度の呼びかけが必要となる可能性を低くすることができる。

【0100】

また例えば、マイクロフォン２３を指向性マイクとすることで、取得部１３１によって取得された音声情報は、指向性を持って（ユーザＵ１の位置を狙って）収音された音声情報になる。例えばユーザＵ１が必ず車両２０の運転席に着座する場合、マイクロフォン２３の指向方向を運転席に向けておくことで、取得部１３１によって取得された音声情報がユーザＵ１（運転者）の会話（呼びかけへの応答）に関する情報である可能性を高めることができる。

【0101】

取得部１３１によって取得された音声情報がユーザＵ１の会話（呼びかけへの応答）に関する情報であり、かつ「推定結果の候補」から感情を決定できる内容の応答である場合、決定部１３４は、再度の呼びかけが不要であると判定する。再度の呼びかけが不要である場合（ステップＳ１５でＮｏ）、ステップＳ１６に処理が進む。

【0102】

なお、最初の呼びかけから予め定めた所定時間以内にユーザＵ１の会話に関する情報が得られなかった場合（呼びかけへの応答がない場合）、あるいは予め定めた所定回数目の再度の呼びかけに対してもユーザＵ１の会話に関する情報が得られなかった場合（呼びかけへの応答がない場合）、決定部１３４は、会話に関する情報を「回答無」として、再度の呼びかけが不要であると判定しても良い。この場合、決定部１３４は、後述の処理において、会話に関する情報である「回答無」に基づき、推定感情を決定することになる。

【0103】

ステップＳ１６では、決定部１３４が、ステップＳ１１で感情推定部１３２によって推定された感情候補と、ステップＳ１４で取得部１３１によって取得された音声情報と、に基づき、推定結果を決定する。つまり、推定装置１０は、ステップＳ１１で推定された感情を呼びかけの応答を利用してさらに適切に絞り込むことができる。具体的には、決定部１３４は、ステップＳ１１で感情推定部１３２によって推定された感情候補と、ステップＳ１４で取得部１３１によって取得された音声情報から分析された音の要素と、ステップＳ１４で取得部１３１によって取得された音声情報から分析された対話システム２２に対する応答内容と、に基づき、推定結果を決定する。

【0104】

例えば、決定部１３４は、評価テーブル１２１ｄを参照して推定結果を決定する。評価テーブル１２１ｄは、テーブル１２１に含まれる。

【0105】

図７は、評価テーブル１２１ｄの一例を示す図である。図７に示すように、評価テーブル１２１ｄの項目には、「感情」、「音の大きさ」、「音の高さ」、及び「応答の内容」が含まれる。

【0106】

評価テーブル１２１ｄの項目「感情」は、各心理平面の各象限に割り当てられた心理状態に含まれる感情を記憶する。

【0107】

評価テーブル１２１ｄの項目「音の大きさ」は、音の一要素である音の大きさの範囲を記憶する。

【0108】

評価テーブル１２１ｄの項目「音の高さ」は、音の一要素である音の高さの範囲を記憶する。

【0109】

なお、「音の大きさ」及び「音の高さ」以外の音の要素である「音の音色」、「音の抑揚（音量の変動状態）」等が評価テーブル１２１ｄの項目に追加されてもよい。

【0110】

評価テーブル１２１ｄの項目「応答内容」は、呼びかけに対する応答の文章に関する内容（例えば文章に含まれる単語の内容）、応答速度（呼びかけがあってから応答するまでの速度）の範囲を記憶する。

【0111】

音の要素と応答内容とのいずれか一方を評価項目から外すこともできる。ただし、音の要素と応答内容との両方を評価項目に含めることで、ステップＳ１１で推定された感情を呼びかけの応答を利用してさらに適切に絞り込むことが容易になる。

【0112】

例えば、「推定結果の候補」が「楽しい、喜び、怒り、悲しみ」である場合、決定部１３４は、「楽しい」、「喜び」、「怒り」、「悲しみ」それぞれで、項目「音の大きさ」、項目「音の高さ」、項目「応答内容」の記憶内容に対する合致するか否か（あるいは類似度）で点数化し、その点数に基づいて「楽しい」、「喜び」、「怒り」、「悲しみ」のうちの一つを推定結果として決定する。

【0113】

また、決定部１３４は、テーブルを用いて推定結果を決定するのではなく、例えばステップＳ１１で感情推定部１３２によって推定された感情候補と、ステップＳ１４で取得部１３１によって取得された音声情報との関係と、実験（被験者による音声状態とその状態における感情との関係のアンケート調査等）等により収集された正解データ（音声情報と感情の関係）を機械学習し、機械学習の結果を利用して推定結果を決定してもよい。

【0114】

決定部１３４によって推定結果が決定されると、次のステップＳ１７に処理が進められる。

【0115】

ステップＳ１７では、提供部１３５が、決定部１３４によって決定された推定結果を、ネットワークＮ１を介して車両２０内の車載装置に提供する。

【0116】

提供部１３５によって推定結果が車両２０内の車載装置に提供されると、ステップＳ１１に処理が戻される。

【0117】

例えば、車両２０からのドアロックを通知する信号を推定装置１０の取得部１３１が取得すると、図５に示す推定処理を終了させるための割り込み処理が開始され、図５に示す推定処理が終了する。

【0118】

以上のような処理により、ユーザＵ１（感情推定対象者）の生体信号に基づき推定感情候補が選定され、そして呼びかけに対するユーザＵ１の回答内容に応じて当該推定感情候補から推定感情が絞り込まれて決定されることになる。

【0119】

また、呼びかけ内容は、選定された推定感情候補に応じて、推定感情候補内から推定感情を絞り込むの適した呼びかけ内容にできるので（絞り込み処理の対象案件が少なくなるので、その中から絞り込むための条件に設定できる）、結果、推定感情の精度が向上する。

【0120】

＜２．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

【0121】

例えば、車両２０が推定装置１０の推定結果を利用した制御を開始するときに、推定装置１０の推定処理が開始されるようにしてもよい。このようにすると、推定装置１０での処理負荷を軽減することができる。

【符号の説明】

【0122】

１・・・推定システム
１０・・・推定装置
１３・・・コントローラ
２１・・・生体センサ
２２・・・対話システム
２３・・・マイクロフォン

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】