ホーム > 特許ランキング > 国立大学法人横浜国立大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人横浜国立大学の特許一覧 ▶ ヤマハ発動機株式会社の特許一覧 ▶ 株式会社ミルウスの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024116021
(43)【公開日】2024-08-27
(54)【発明の名称】感情推定装置及び感情情報取得装置
(51)【国際特許分類】
A61B 5/16 20060101AFI20240820BHJP
G06N 20/00 20190101ALI20240820BHJP
【ＦＩ】
A61B5/16 120
G06N20/00
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023021999
(22)【出願日】2023-02-15
(71)【出願人】
【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
(71)【出願人】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(71)【出願人】
【識別番号】516370442
【氏名又は名称】株式会社ミルウス
(74)【代理人】
【識別番号】100142022
【弁理士】
【氏名又は名称】鈴木 一晃
(74)【代理人】
【識別番号】100085213
【弁理士】
【氏名又は名称】鳥居 洋
(74)【代理人】
【識別番号】100196623
【弁理士】
【氏名又は名称】松下 計介
(72)【発明者】
【氏名】島 圭介
(72)【発明者】
【氏名】西原 翼
(72)【発明者】
【氏名】富濱 啓伍
(72)【発明者】
【氏名】井上 真一
(72)【発明者】
【氏名】平野 明典
(72)【発明者】
【氏名】小池 美和
(72)【発明者】
【氏名】神谷 昭勝
(72)【発明者】
【氏名】南 重信
【テーマコード（参考）】
4C038
【Ｆターム（参考）】
4C038PP03
4C038PQ06
4C038PS00
4C038PS01
4C038PS03
4C038PS05
4C038PS07
(57)【要約】 （修正有）
【課題】ハードウェアリソースの設計自由度の低下を抑制しながら、前記対象者の納得感をより高めて感情推定の精度をより向上する。
【解決手段】生体情報Ｂｉに基づいた感情の推定に利用される感情推定モデル１１を利用して記憶部２０に記憶された対象者Ｕの生体情報Ｂｉに基づいて推定した対象者Ｕの感情を出力する制御部２０を有する感情推定装置１である。制御部２０から出力される推定感情情報Ｅｉは、感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準と、対象者Ｕの生体情報Ｂｉに基づいて推定された推定感情データｄｂとを関連付けることにより取得され、前記色基準に含まれる色データｄａを含む。
【選択図】図１０
【解決手段】生体情報Ｂｉに基づいた感情の推定に利用される感情推定モデル１１を利用して記憶部２０に記憶された対象者Ｕの生体情報Ｂｉに基づいて推定した対象者Ｕの感情を出力する制御部２０を有する感情推定装置１である。制御部２０から出力される推定感情情報Ｅｉは、感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準と、対象者Ｕの生体情報Ｂｉに基づいて推定された推定感情データｄｂとを関連付けることにより取得され、前記色基準に含まれる色データｄａを含む。
【選択図】図１０
【特許請求の範囲】
【請求項1】
生体情報を記憶する記憶部と、
前記生体情報に基づいた感情の推定に利用される感情推定モデルを有し、対象者の生体情報を取得して前記記憶部に記憶し、前記感情推定モデルを利用して前記記憶部に記憶された前記対象者の生体情報に基づいて前記対象者の感情を推定し、前記推定した感情に関する情報を推定感情情報として出力する制御部と、
を有する、感情推定装置であって、
前記制御部から出力される前記推定感情情報は、
感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準と、前記対象者の生体情報に基づいて推定された推定感情データとを関連付けることにより取得され、前記色基準に含まれる色データを含む、
感情推定装置。
前記生体情報に基づいた感情の推定に利用される感情推定モデルを有し、対象者の生体情報を取得して前記記憶部に記憶し、前記感情推定モデルを利用して前記記憶部に記憶された前記対象者の生体情報に基づいて前記対象者の感情を推定し、前記推定した感情に関する情報を推定感情情報として出力する制御部と、
を有する、感情推定装置であって、
前記制御部から出力される前記推定感情情報は、
感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準と、前記対象者の生体情報に基づいて推定された推定感情データとを関連付けることにより取得され、前記色基準に含まれる色データを含む、
感情推定装置。
【請求項2】
請求項１に記載の感情推定装置において、
前記制御部から出力される前記推定感情情報は、
時系列の前記推定感情データと前記色基準とを関連付けることにより取得され、前記色基準に含まれる色データを含み、
前記色データは、
前記推定感情情報に含まれ且つ前記色基準に含まれる色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションによって表現されるようなデータである、
感情推定装置。
前記制御部から出力される前記推定感情情報は、
時系列の前記推定感情データと前記色基準とを関連付けることにより取得され、前記色基準に含まれる色データを含み、
前記色データは、
前記推定感情情報に含まれ且つ前記色基準に含まれる色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションによって表現されるようなデータである、
感情推定装置。
【請求項3】
請求項２に記載の感情推定装置において、
前記制御部は、
前記推定感情情報に含まれ且つ前記色基準に含まれる前記色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションによって表現されるように前記推定感情データを時系列に並べた後に、前記推定感情データを前記色基準と関連付けて前記色基準に含まれる色データを時系列で取得する、
または、
前記推定感情情報に含まれ且つ前記色基準に含まれる前記色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションによって表現されるように前記推定感情データの時系列変化に応じて前記色基準の中から色データを選択することにより、前記色基準に含まれる前記色データを時系列で取得する、
感情推定装置。
前記制御部は、
前記推定感情情報に含まれ且つ前記色基準に含まれる前記色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションによって表現されるように前記推定感情データを時系列に並べた後に、前記推定感情データを前記色基準と関連付けて前記色基準に含まれる色データを時系列で取得する、
または、
前記推定感情情報に含まれ且つ前記色基準に含まれる前記色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションによって表現されるように前記推定感情データの時系列変化に応じて前記色基準の中から色データを選択することにより、前記色基準に含まれる前記色データを時系列で取得する、
感情推定装置。
【請求項4】
感情を示す感情基準を記憶する記憶部と、
前記感情基準を表示する表示部と、
生体情報に基づいた感情の推定に利用される感情推定モデルの学習に用いられ、前記表示部に表示された前記感情基準に対する入力によって前記生体情報と関連する自己の感情を評価した自己感情評価情報を取得する評価情報取得部と、
前記評価情報取得部によって取得された前記自己感情評価情報を出力する制御部と、
を有する感情情報取得装置であって、
前記制御部が取得する前記自己感情評価情報は、
感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される、前記感情基準としての色基準に対して入力された位置に関する位置情報を含む、
感情情報取得装置。
前記感情基準を表示する表示部と、
生体情報に基づいた感情の推定に利用される感情推定モデルの学習に用いられ、前記表示部に表示された前記感情基準に対する入力によって前記生体情報と関連する自己の感情を評価した自己感情評価情報を取得する評価情報取得部と、
前記評価情報取得部によって取得された前記自己感情評価情報を出力する制御部と、
を有する感情情報取得装置であって、
前記制御部が取得する前記自己感情評価情報は、
感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される、前記感情基準としての色基準に対して入力された位置に関する位置情報を含む、
感情情報取得装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、感情推定モデルを利用して、対象者の生体情報に基づいて前記対象者の感情を推定する感情推定装置、及び、前記感情推定モデルの学習に用いられ、前記生体情報と関連する自己感情評価情報を取得する感情情報取得装置に関する。
【背景技術】
【0002】
感情推定モデルを利用して、対象者の生体情報に基づいて前記対象者の感情を推定する感情推定装置が知られている。例えば、非特許文献１には、生体情報と教師モデルの知識情報とに基づいて学習（知識の蒸留）した感情推定モデルを利用して、対象者の生体情報に基づいて前記対象者の感情を推定する方法が開示されている。
【0003】
前記感情推定装置が有する感情推定モデルは、複数の生体情報に基づいて感情を推定する教師モデルの出力を利用した知識の蒸留により作成される。前記教師モデルの出力は、前記教師モデルが複数種類の生体情報に基づく学習によって得た、前記対象者の生体情報に基づいて感情を推定するための情報を継承している。つまり、前記感情推定モデルは、前記教師モデルの出力を利用することにより、学習に使用する生体情報には含まれない情報を継承している。よって、前記感情推定装置は、前記感情推定モデルを利用することにより、前記教師モデルでの前記対象者の感情の推定に必要な生体情報の種類数よりも少ない種類数の生体情報に基づいて、前記教師モデルの感情の推定精度と同等の推定精度を得られる場合がある。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】西原 翼，外７名，“マルチモーダルな生体信号に基づくドライバの感情推定システム”，２０２１年６月，ロボティクス・メカトロニクス講演会２０２１講演論文集，２Ｐ３－Ｊ１７
【発明の概要】
【発明が解決しようとする課題】
【0005】
前記非特許文献１のように、前記対象者の感情の推定に、前記対象者の生体情報に基づいて知識の蒸留により生成された感情推定モデルを用いることにより、前記対象者から簡便に取得可能な生体情報を感情の推定に使用することができる。よって、前記対象者の感情を推定する際の生体情報の取得における利便性を向上しつつ、知識の蒸留により生成されていない感情推定モデルを用いる場合に比べて感情推定の精度の向上を図れる。
【0006】
また、前記感情推定装置において、上述の前記非特許文献１の感情推定モデルを利用して、前記生体情報に基づいて前記対象者の感情推定を行うことにより、知識の蒸留により生成されていない感情推定モデルを用いる場合に比べて感情推定に用いる生体情報のデータ量を少なくすることができる。そのため、前記感情推定装置の演算負荷を軽減することができ、前記感情推定装置におけるハードウェアリソースの設計自由度を向上することができる。
【0007】
したがって、前記感情推定装置において、上述の前記非特許文献１の感情推定モデルを利用して、前記生体情報に基づいて前記対象者の感情推定を行うことにより、知識の蒸留により生成されていない感情推定モデルを用いる場合に比べて、感情推定の精度の向上及びハードウェアリソースの設計自由度向上の両方を実現できる。
【0008】
しかしながら、本発明者らは、前記感情推定装置の開発を進める中で、ある場面またはある対象者において、前記対象者の感情推定に対する納得感を高められる余地があるため、感情推定のさらなる精度向上が可能であることがわかった。
【0009】
そのため、前記感情推定装置において、ハードウェアリソースの設計自由度の低下を抑制しながら、前記対象者の納得感をより高めて感情推定の精度をより向上した構成が求められている。
【0010】
本発明は、前記感情推定モデルを用いて前記対象者の感情推定を行う感情推定装置において、ハードウェアリソースの設計自由度の低下を抑制しながら、前記対象者の納得感をより高めて感情推定の精度をより向上した構成を実現することを目的とする。
【課題を解決するための手段】
【0011】
本発明者らは、ハードウェアリソースの設計自由度の低下を抑制しながら、対象者の納得感をより高めて感情推定の精度をより向上した感情推定装置について鋭意検討した。
【0012】
感情推定の精度をより向上するには、利用する生体情報のデータの種類及びデータの量を増加させることが考えられる。しかしながら、単純に生体情報のデータの種類やデータ量を増加させると、ハードウェアリソースの設計自由度が低下する傾向が強い。
【0013】
そこで、本発明者らは、感情推定の精度について、考察を試みた。考察の結果、本発明者らは、感情推定の精度が、測定した対象者の生体信号を用いて推定した前記対象者の推定感情と前記対象者の前記生体信号を測定した際に前記対象者自身の脳で認知した認知感情との一致度によって決まることを見出した。
【0014】
そして、本発明者らは、前記推定感情と前記認知感情との乖離の抑制について検討する中で、生体情報のデータの種類またはデータ量を増加させるのではなく、前記対象者が視覚情報によって感情を認知することを利用して前記対象者による前記認知感情の判定に用いるデータに工夫を加えることにより、前記対象者の納得感（腹落ち感）を高められることを見出した。その結果、本発明者らは、前記認知感情の精度を高めることができるため、感情の推定精度を高められることを見出した。
【0015】
しかも、上述のような前記認知感情の判定に対する工夫は、前記対象者の生体情報のデータの種類またはデータ量を増加させるのではなく、前記感情推定装置の制御部が実行する処理に対する工夫によって達成しているため、前記感情推定装置におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0016】
本発明の一実施形態に係る感情推定装置は、生体情報を記憶する記憶部と、前記生体情報に基づいた感情の推定に利用される感情推定モデルを有し、対象者の生体情報を取得して前記記憶部に記憶し、前記感情推定モデルを利用して前記記憶部に記憶された前記対象者の生体情報に基づいて前記対象者の感情を推定し、前記推定した感情に関する情報を推定感情情報として出力する制御部と、を有する。前記制御部から出力される前記感情情報は、感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準と、前記対象者の生体情報に基づいて推定された推定感情データとを関連付けることにより取得され、前記色基準に含まれる色データを含む。
【0017】
上述のように、感情の強度の差が仮想円の半径方向に変化する色の濃淡のグラデーションによって表現され且つ感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準を利用して、制御部から出力される感情情報に、前記色基準に含まれる色データを含めることにより、感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現される。これにより、推定感情情報が、数値によって表現される場合よりも曖昧に表現される。その結果、生体情報に基づいて推定される推定感情と脳で認知する認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0018】
しかも、上述のように、制御部から出力される推定感情情報に、前記色基準に含まれる色データを含めることにより、感情を推定するために用いられる生体情報のデータの種類またはデータ量を増加させるのではなく、前記推定感情情報の表示に工夫を加えて対象者の納得感を高めて、前記推定感情と前記認知感情との乖離を抑制できる。このように、感情の推定精度の向上において生体情報のデータの種類またはデータ量を増加させる必要がないため、感情推定装置におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0019】
したがって、感情推定モデルを利用して対象者の感情推定を行う感情推定装置において、ハードウェアリソースの設計自由度の低下を抑制しながら、前記対象者の納得感を高めて感情推定の精度をより向上可能な構成を実現できる。
【0020】
他の観点によれば、本発明の感情推定装置は、以下の構成を含むことが好ましい。前記制御部から出力される前記推定感情情報は、時系列の前記推定感情情報と前記色基準とを関連付けることにより取得され、前記色基準に含まれる色データを含む。前記色データは、前記感情情報に含まれ且つ前記色基準に含まれる色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションになるようなデータである。
【0021】
上述のように、制御部から出力される推定感情情報に、時系列の推定感情データと色基準とを関連付けることにより取得され且つ前記色基準に含まれる色データを含めることにより、感情の強度の差及び感情の種類の違いが異なる種類のグラデーションによって表現される。これにより、推定感情データの時系列の変化が、数値によって表現する場合よりも曖昧に表現される。その結果、推定感情と認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0022】
しかも、上述のように、制御部から出力される推定感情情報に、時系列の推定感情データと色基準とを関連付けることにより取得され且つ前記色基準に含まれる色データを含めることにより、前記推定感情を推定するために用いられる生体情報のデータの種類またはデータ量を増加させるのではなく、前記推定感情データの表示に工夫を加えて対象者の納得感を高めて、前記推定感情と前記認知感情との乖離を抑制できる。このように、感情の推定精度の向上において生体情報のデータの種類またはデータ量を増加させる必要がないため、感情推定装置におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0023】
したがって、感情推定モデルを利用して対象者の感情推定を行う感情推定装置において、ハードウェアリソースの設計自由度の低下を抑制しながら、前記対象者の納得感を高めて感情推定の精度をより向上可能な構成を実現できる。
【0024】
他の観点によれば、本発明の感情推定装置は、以下の構成を含むことが好ましい。前記制御部は、前記感情情報に含まれ且つ前記色基準に含まれる前記色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションになるように前記推定感情データを時系列に並べた後に、前記推定感情データを前記色基準と関連付けて前記色基準に含まれる色データを時系列で取得する、または、前記感情情報に含まれ且つ前記色基準に含まれる前記色データを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションになるように前記推定感情データの時系列変化に応じて前記色基準の中から色データを選択することにより、前記色基準に含まれる前記色データを時系列で取得する。
【0025】
上述のように、感情の強度の差および感情の種類の違いが異なる種類のグラデーションに表現されるように推定感情データを時系列に並べた後に、前記推定感情データを前記色基準と関連付けて前記色基準に含まれる色データを時系列で取得することにより、前記推定感情データが、時系列に数値によって表現される場合よりも曖昧に表現される。その結果、推定感情と認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0026】
同様に、感情の強度の差および感情の種類の違いが異なる種類のグラデーションに表現されるように前記推定感情データの時系列変化に応じて前記色基準の中から色データを選択することにより、前記色基準に含まれる前記色データを時系列で取得することにより、前記推定感情データが、時系列に数値によって表現される場合よりも曖昧に表現される。その結果、推定感情と認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0027】
しかも、上述のように、前記制御部が取得する色データは、色の濃淡及び色調の変化が両方ともグラデーションによって表現される前記色基準に含まれるため、前記推定感情を推定するために用いられる生体情報のデータの種類またはデータ量を増加させるのではなく、前記推定感情データの表示に工夫を加えて対象者の納得感を高めて、前記推定感情と前記認知感情との乖離を抑制できる。このように、感情の推定精度の向上において生体情報のデータの種類またはデータ量を増加させる必要がないため、感情推定装置におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0028】
したがって、感情推定モデルを利用して対象者の感情推定を行う感情推定装置において、ハードウェアリソースの設計自由度の低下を抑制しながら、前記対象者の納得感を高めて感情推定の精度をより向上可能な構成を実現できる。
【0029】
本発明の一実施形態に係る感情情報取得装置は、感情を示す感情基準を記憶する記憶部と、前記感情基準を表示する表示部と、生体情報に基づいた感情の推定に利用される感情推定モデルの学習に用いられ、前記表示部に表示された前記感情基準に対する入力によって前記生体情報と関連する自己の感情を評価した自己感情評価情報を取得する評価情報取得部と、前記評価情報取得部によって取得された前記自己感情評価情報を出力する制御部と、を有する感情情報取得装置である。前記制御部が取得する前記自己感情評価情報は、感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現されるように、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され、且つ、感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される、前記感情基準としての色基準に対して入力された位置に関する位置情報を含む。
【0030】
上述の構成では、感情の強度の差が仮想円の半径方向に変化する色の濃淡のグラデーションによって表現され且つ感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される、感情基準としての色基準を利用して、表示部に表示される前記感情基準に対する入力によって生体情報と関連する自己の感情を評価した自己感情評価情報を取得する。これにより、前記感情基準に対する入力を、数値による入力よりも曖昧に行うことができ、前記自己感情評価情報を数値によって表現した場合よりも曖昧に取得することができる。その結果、生体情報及び感情情報取得装置が取得した自己感情評価情報に基づいて感情推定モデルの学習を行う感情推定装置において、生体情報に基づいて推定される推定感情と脳で認知する認知感情を含む前記自己感情評価情報との乖離を抑制でき、感情の推定精度をより向上できる。
【0031】
しかも、上述のように、制御部から出力される前記自己感情評価情報に、前記色基準に含まれる色データを含めることにより、感情を推定するために用いられる生体情報のデータの種類またはデータ量を増加させるのではなく、自己の感情評価に用いる感情基準の表示に工夫を加えて対象者の納得感を高めて、脳で認知する認知感情と被験者が色基準に対して入力した位置情報から算出される自己感情評価情報との乖離を抑制できる。この結果、生体情報に対する入力した自己感情評価情報の精度をより向上できる。このように、感情の推定精度の向上において、生体情報に対する自己感情評価情報の精度を向上することにより、生体情報のデータの種類またはデータ量を増加させる必要がないため、感情推定モデルの学習が必要な感情推定装置において、ハードウェアリソースの設計自由度の低下を抑制できる。
【0032】
したがって、感情推定モデルを利用して対象者の感情推定を行う感情推定装置に対して、ハードウェアリソースの設計自由度の低下を抑制しながら、前記対象者の納得感を高めて感情推定の精度をより向上可能な構成を実現する前記自己感情評価情報を出力することができる。
【0033】
本明細書で使用される専門用語は、特定の実施例のみを定義する目的で利用されるのであって、前記専門用語によって発明を制限する意図はない。
【0034】
本明細書で使用される「及び／または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。
【0035】
本明細書において、「含む、備える（including）」「含む、備える（comprising）」または「有する（having）」及びそれらの変形の使用は、記載された特徴、工程、要素、操作、成分、及び/または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び/または、それらのグループのうちの一つまたは複数を含むことができる。
【0036】
本明細書において、「取り付けられた」、「接続された」、「結合された」、及び/または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な接続または結合または電気的な接続を含むことができる。
【0037】
他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。
【0038】
一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
【0039】
本発明の説明においては、いくつもの技術及び工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の一つ以上、または、場合によっては全てと共に使用することもできる。
【0040】
したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。
【0041】
本明細書では、本発明に係る感情推定装置及び感情情報取得装置の実施形態について説明する。
【0042】
以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。
【0043】
よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
【0044】
［対象者］
本明細書において、対象者とは、感情推定装置によって感情を推定される者である。前記対象者は、感情推定装置によって生体情報を取得される。また、前記対象者は、取得された生体情報に基づいて、感情推定装置によって感情を推定される。
本明細書において、対象者とは、感情推定装置によって感情を推定される者である。前記対象者は、感情推定装置によって生体情報を取得される。また、前記対象者は、取得された生体情報に基づいて、感情推定装置によって感情を推定される。
【0045】
［被験者］
本明細書において、被験者とは、感情の推定に利用される感情推定モデルの学習に使用する教師データ用の生体情報を測定される者である。前記被験者は、対象者に情報及び刺激等を与える特定の事象に対する生体情報を測定されるとともに、自己申告によって、感情に関する情報である感情情報を提供する。前記被験者は、外部事象に対する生体情報毎に、自己申告によって、感情情報を提供する。
本明細書において、被験者とは、感情の推定に利用される感情推定モデルの学習に使用する教師データ用の生体情報を測定される者である。前記被験者は、対象者に情報及び刺激等を与える特定の事象に対する生体情報を測定されるとともに、自己申告によって、感情に関する情報である感情情報を提供する。前記被験者は、外部事象に対する生体情報毎に、自己申告によって、感情情報を提供する。
【0046】
［学習］
本明細書において、学習または機械学習とは、機械（プロセッサ）において、入力に対する出力が正解であるように、モデル（プログラム）のパラメータを調整する作業を意味する。本実施形態において、学習対象である１次モデル、２次生体情報蒸留モデル及び３次生体情報蒸留モデルに対して、入力データと前記入力データに対する正解とが組み合わされた教師データに基づいて学習する教師あり学習、または入力データのみを利用して正解か否かを判断する教師なし学習のうち、少なくとも教師あり学習が行われる。
本明細書において、学習または機械学習とは、機械（プロセッサ）において、入力に対する出力が正解であるように、モデル（プログラム）のパラメータを調整する作業を意味する。本実施形態において、学習対象である１次モデル、２次生体情報蒸留モデル及び３次生体情報蒸留モデルに対して、入力データと前記入力データに対する正解とが組み合わされた教師データに基づいて学習する教師あり学習、または入力データのみを利用して正解か否かを判断する教師なし学習のうち、少なくとも教師あり学習が行われる。
【0047】
［生体情報］
本明細書において、生体情報とは、対象者または被験者が発する種々の生理学的・解剖学的情報である。生体情報は、前記対象者または前記被験者の生体において生じる生命活動全般を意味する。生体情報は、例えば対象者の心拍数、心音、心拍波形、心拍周期、心拍数の変化、血圧、脈波、３軸加速度、体表面温度、皮膚電気抵抗、顔の表情、声の韻律、瞬目、眼球運動、瞳孔径の大きさ、または、凝視時間、脳波、呼吸数、瞳孔の状態、筋電、血液成分、呼気、呼気量、呼気成分等に関連するなどの少なくとも１つの情報、あるいは、これらの組み合わせから得られる情報を含む。生体情報は、対象者が装着するウェアラブルセンサである心拍センサ、加速度センサ、温度センサ等によって計測される。
本明細書において、生体情報とは、対象者または被験者が発する種々の生理学的・解剖学的情報である。生体情報は、前記対象者または前記被験者の生体において生じる生命活動全般を意味する。生体情報は、例えば対象者の心拍数、心音、心拍波形、心拍周期、心拍数の変化、血圧、脈波、３軸加速度、体表面温度、皮膚電気抵抗、顔の表情、声の韻律、瞬目、眼球運動、瞳孔径の大きさ、または、凝視時間、脳波、呼吸数、瞳孔の状態、筋電、血液成分、呼気、呼気量、呼気成分等に関連するなどの少なくとも１つの情報、あるいは、これらの組み合わせから得られる情報を含む。生体情報は、対象者が装着するウェアラブルセンサである心拍センサ、加速度センサ、温度センサ等によって計測される。
【0048】
［学習用生体情報］
本明細書において、学習用生体情報とは、１次モデル、２次生体情報蒸留モデル及び３次生体情報蒸留モデルのようにｎ－１次生体情報蒸留モデルの学習に利用される被験者の生体情報を意味する。１次モデルの学習に利用される学習用生体情報を１次生体情報、２次生体情報蒸留モデルの学習に利用される学習用生体情報を２次生体情報、のように、ｎ－１次生体情報蒸留モデルの学習に利用される学習用生体情報をｎ－１次生体情報とする。学習用生体情報は、例えば前記被験者の心拍数、心音、心拍波形、心拍周期、心拍数の変化、血圧、脈波、３軸加速度、体表面温度、脳波、呼吸数、瞳孔の状態、筋電、血液成分、呼気、呼気量、呼気成分等に関する情報を含む。学習用生体情報は、前記被験者が装着するウェアラブルセンサである心拍センサ、加速度センサ、温度センサ等によって計測される。
本明細書において、学習用生体情報とは、１次モデル、２次生体情報蒸留モデル及び３次生体情報蒸留モデルのようにｎ－１次生体情報蒸留モデルの学習に利用される被験者の生体情報を意味する。１次モデルの学習に利用される学習用生体情報を１次生体情報、２次生体情報蒸留モデルの学習に利用される学習用生体情報を２次生体情報、のように、ｎ－１次生体情報蒸留モデルの学習に利用される学習用生体情報をｎ－１次生体情報とする。学習用生体情報は、例えば前記被験者の心拍数、心音、心拍波形、心拍周期、心拍数の変化、血圧、脈波、３軸加速度、体表面温度、脳波、呼吸数、瞳孔の状態、筋電、血液成分、呼気、呼気量、呼気成分等に関する情報を含む。学習用生体情報は、前記被験者が装着するウェアラブルセンサである心拍センサ、加速度センサ、温度センサ等によって計測される。
【0049】
［感情情報］
本明細書において、感情情報とは、喜怒哀楽などを感じている状態を示す情報を意味する。前記感情情報は、対象者が幸福を感じている状態、対象者がリラックスを感じている状態、対象者が怒りを感じている状態及び対象者が悲しみを感じている状態を示す情報を含む。前記感情情報は、取得した生体情報に基づいて推定される対象者の感情の該当確率に関する情報を含む。前記感情情報は、対象者が感じている感情の度合いに関する情報を含んでもよい。１つの前記感情情報には、複数の感情に関する情報が含まれていてもよい。前記感情情報は、例えば、対象者が保持している携帯端末、または生体情報を取得したサーバ等に設けられている制御部によって作成される。
本明細書において、感情情報とは、喜怒哀楽などを感じている状態を示す情報を意味する。前記感情情報は、対象者が幸福を感じている状態、対象者がリラックスを感じている状態、対象者が怒りを感じている状態及び対象者が悲しみを感じている状態を示す情報を含む。前記感情情報は、取得した生体情報に基づいて推定される対象者の感情の該当確率に関する情報を含む。前記感情情報は、対象者が感じている感情の度合いに関する情報を含んでもよい。１つの前記感情情報には、複数の感情に関する情報が含まれていてもよい。前記感情情報は、例えば、対象者が保持している携帯端末、または生体情報を取得したサーバ等に設けられている制御部によって作成される。
【0050】
［自己感情評価情報］
本明細書において、自己感情評価情報とは、生体情報を測定された被験者が前記生体情報を測定された際の外部事象に対して被験者自身が認知している感情に関連する情報を意味する。自己感情評価情報は、例えば、外部事象である風景等の視覚情報に対して被験者自身が認知した喜怒哀楽等の感情情報である。モデルの学習に利用される自己感情評価情報を学習用自己感情評価情報とする。
本明細書において、自己感情評価情報とは、生体情報を測定された被験者が前記生体情報を測定された際の外部事象に対して被験者自身が認知している感情に関連する情報を意味する。自己感情評価情報は、例えば、外部事象である風景等の視覚情報に対して被験者自身が認知した喜怒哀楽等の感情情報である。モデルの学習に利用される自己感情評価情報を学習用自己感情評価情報とする。
【0051】
［モデル］
本明細書において、モデルとは、機械学習が行われた具体的な計算式、関数、計算方法を意味する。モデルは、入力に対する出力の関係性を表現している数式である。前記モデルは、入力されたデータを数式に従って変換する。前記モデルの作成とは、学習によってモデル内の各ノードのパラメータを更新することを意味する。前記モデルは、値を予測する回帰モデル、データを分類する分類モデル等が存在する。
本明細書において、モデルとは、機械学習が行われた具体的な計算式、関数、計算方法を意味する。モデルは、入力に対する出力の関係性を表現している数式である。前記モデルは、入力されたデータを数式に従って変換する。前記モデルの作成とは、学習によってモデル内の各ノードのパラメータを更新することを意味する。前記モデルは、値を予測する回帰モデル、データを分類する分類モデル等が存在する。
【0052】
［ニューラルネットワークモデル］
本明細書において、ニューラルネットワークモデルとは、入力を線形変換する複数の処理単位が互いに結合した数理モデルを意味する。前記ニューラルネットワークモデルは、入力層、少なくとも１つの中間層、出力層、前記入力層と前記中間層とを連結する関数、及び前記中間層と前記出力層とを連結する関数を有する。前記入力層、前記中間層及び前記出力層は、データが入力される複数の変数である。前記ニューラルネットワークモデルは、前記入力層に入力されたデータを前記関数によって順に変換して出力する。データと前記データに対する正解との組み合わせから構成される教師データを前記入力層に入力した際に出力されるデータが教師データの正解に近づくように、前記ニューラルネットワークモデルにおける前記関数のパラメータが調整（学習）される。ニューラルネットワークモデルの学習が繰り返されることにより、入力されるデータに基づいて出力するデータと正解との誤差を減少させることができる。
本明細書において、ニューラルネットワークモデルとは、入力を線形変換する複数の処理単位が互いに結合した数理モデルを意味する。前記ニューラルネットワークモデルは、入力層、少なくとも１つの中間層、出力層、前記入力層と前記中間層とを連結する関数、及び前記中間層と前記出力層とを連結する関数を有する。前記入力層、前記中間層及び前記出力層は、データが入力される複数の変数である。前記ニューラルネットワークモデルは、前記入力層に入力されたデータを前記関数によって順に変換して出力する。データと前記データに対する正解との組み合わせから構成される教師データを前記入力層に入力した際に出力されるデータが教師データの正解に近づくように、前記ニューラルネットワークモデルにおける前記関数のパラメータが調整（学習）される。ニューラルネットワークモデルの学習が繰り返されることにより、入力されるデータに基づいて出力するデータと正解との誤差を減少させることができる。
【0053】
［知識情報］
本明細書において、知識情報とは、モデルの中間層の出力、出力層の出力、中間層の情報、または出力層の情報である知識の少なくとも一部を含む情報である。
本明細書において、知識情報とは、モデルの中間層の出力、出力層の出力、中間層の情報、または出力層の情報である知識の少なくとも一部を含む情報である。
【0054】
［記憶部］
本明細書において、記憶部とは、データを記憶可能な記憶装置または記憶媒体を意味する。前記記憶部は、一時的に記憶可能な記憶装置または記憶媒体だけでなく、データの上書きが不可能な記録媒体なども含む。前記記憶部は、例えば、レジスタまたはキャッシュメモリなどのようにプロセッサ内部のメモリ、揮発性メモリ、ハードディスク、ソリッドステートドライブなどの記憶装置、ＵＳＢなどの記録媒体等を含む。
本明細書において、記憶部とは、データを記憶可能な記憶装置または記憶媒体を意味する。前記記憶部は、一時的に記憶可能な記憶装置または記憶媒体だけでなく、データの上書きが不可能な記録媒体なども含む。前記記憶部は、例えば、レジスタまたはキャッシュメモリなどのようにプロセッサ内部のメモリ、揮発性メモリ、ハードディスク、ソリッドステートドライブなどの記憶装置、ＵＳＢなどの記録媒体等を含む。
【0055】
［感情の強度］
本明細書において、感情の強度とは、感情の強さを段階的に示した表現である。前記感情の強度は、数値によって表現されていてもよいし、文字、単語または文節によって表現されていてもよい。前記感情の強度とは、例えば、感情の覚醒及び感情価の２つの評価指標を用いて表示される二次元平面上において、前記感情の覚醒及び前記感情価のそれぞれの大きさを意味する。
本明細書において、感情の強度とは、感情の強さを段階的に示した表現である。前記感情の強度は、数値によって表現されていてもよいし、文字、単語または文節によって表現されていてもよい。前記感情の強度とは、例えば、感情の覚醒及び感情価の２つの評価指標を用いて表示される二次元平面上において、前記感情の覚醒及び前記感情価のそれぞれの大きさを意味する。
【0056】
［感情の種類］
本明細書において、感情の種類は、例えば、喜、怒、哀、楽、感動、安心、退屈、緊張などを含む。前記感情の種類は、例えば、感情の覚醒及び感情価の２つの評価指標を用いて二次元平面上に表されるラッセルの感情円環モデルにおいて示されている感情の種類であってもよいし、他の感情モデルによって表現される感情の種類であってもよい。
本明細書において、感情の種類は、例えば、喜、怒、哀、楽、感動、安心、退屈、緊張などを含む。前記感情の種類は、例えば、感情の覚醒及び感情価の２つの評価指標を用いて二次元平面上に表されるラッセルの感情円環モデルにおいて示されている感情の種類であってもよいし、他の感情モデルによって表現される感情の種類であってもよい。
【0057】
［出力］
本明細書において、出力とは、データを出力するだけでなく、データを表示する場合も含む。
本明細書において、出力とは、データを出力するだけでなく、データを表示する場合も含む。
【0058】
［仮想円の径方向］
本明細書において、仮想円の接線方向とは、例えばラッセルの感情円環モデルにおいて感情の覚醒及び感情価の２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円の径方向を意味する。前記仮想円の径方向とは、感情に関する２つの評価指標を用いて表される二次元平面上に、前記２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円の径方向を意味していてもよい。
本明細書において、仮想円の接線方向とは、例えばラッセルの感情円環モデルにおいて感情の覚醒及び感情価の２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円の径方向を意味する。前記仮想円の径方向とは、感情に関する２つの評価指標を用いて表される二次元平面上に、前記２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円の径方向を意味していてもよい。
【0059】
［仮想円の周方向］
本明細書において、仮想円の接線方向とは、例えばラッセルの感情円環モデルにおいて感情の覚醒及び感情価の２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円に対する接線方向を意味する。前記仮想円の周方向とは、感情に関する２つの評価指標を用いて表される二次元平面上に、前記２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円の周方向を意味していてもよい。
本明細書において、仮想円の接線方向とは、例えばラッセルの感情円環モデルにおいて感情の覚醒及び感情価の２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円に対する接線方向を意味する。前記仮想円の周方向とは、感情に関する２つの評価指標を用いて表される二次元平面上に、前記２つの評価指標の交点を中心とする仮想円を考えた場合に、その仮想円の周方向を意味していてもよい。
【0060】
［色の濃淡のグラデーション］
本明細書において、色の濃淡のグラデーションとは、色の濃淡が連続的に徐々に変化することであり、色の濃淡が急激に変化することなく滑らかに変化している状態を意味する。例えば、視覚によって色の濃淡の境界が判別できる場合には、本発明における色の濃淡のグラデーションには該当しない。
本明細書において、色の濃淡のグラデーションとは、色の濃淡が連続的に徐々に変化することであり、色の濃淡が急激に変化することなく滑らかに変化している状態を意味する。例えば、視覚によって色の濃淡の境界が判別できる場合には、本発明における色の濃淡のグラデーションには該当しない。
【0061】
［色調のグラデーション］
本明細書において、色調のグラデーションとは、色調が連続的に徐々に変化することであり、色調が急激に変化することなく滑らかに変化している状態を意味する。例えば、視覚によって色調の境界が判別できる場合には、本発明における色調のグラデーションには該当しない。
本明細書において、色調のグラデーションとは、色調が連続的に徐々に変化することであり、色調が急激に変化することなく滑らかに変化している状態を意味する。例えば、視覚によって色調の境界が判別できる場合には、本発明における色調のグラデーションには該当しない。
【0062】
［色データ］
本明細書において、色データとは、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され且つ感情の種類の差が前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準の一部の色であり、且つ、推定感情を、感情の強度の差及び感情の種類の違いが異なる種類のグラデーションによって表現した場合の色に関する情報である。
本明細書において、色データとは、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され且つ感情の種類の差が前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準の一部の色であり、且つ、推定感情を、感情の強度の差及び感情の種類の違いが異なる種類のグラデーションによって表現した場合の色に関する情報である。
【0063】
［座標データ］
本明細書において、座標データとは、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され且つ感情の種類の差が前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準における一部の色が位置する位置情報であり、且つ、推定感情を、感情の強度の差及び感情の種類の違いが異なる種類のグラデーションによって表現した場合の色が位置する位置情報である。
本明細書において、座標データとは、感情の強度の差が仮想円の半径方向に変化する濃淡のグラデーションによって表現され且つ感情の種類の差が前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準における一部の色が位置する位置情報であり、且つ、推定感情を、感情の強度の差及び感情の種類の違いが異なる種類のグラデーションによって表現した場合の色が位置する位置情報である。
【発明の効果】
【0064】
本発明の一実施形態によれば、ハードウェアリソースの設計自由度の低下を抑制しながら、対象者の納得感を高めて感情推定の精度をより向上した感情推定装置、及び、感情情報取得装置を提供することができる。
【図面の簡単な説明】
【0065】
【発明を実施するための形態】
【0066】
以下で、各実施形態について、図面を参照しながら説明する。各図において、同一部分には同一の符号を付して、その同一部分の説明は繰り返さない。なお、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。
【0067】
【0068】
図１に示すように、本発明の実施形態１に係る感情推定装置１は、対象者Ｕの生体情報Ｂｉ（以下、単に「生体情報Ｂｉ」と記す）に基づいて対象者Ｕの感情を推定する。本実施形態において、感情推定装置１は、対象者Ｕの少なくとも１種類の生体情報Ｂｉから、対象者Ｕの感情に関する感情情報である推定感情情報Ｅｉを作成する。
【0069】
感情推定装置１は、制御部１０と、記憶部２０とを有する。
【0070】
制御部１０は、外部または記憶部２０から入力された生体情報Ｂｉに基づいて推定感情情報Ｅｉを作成する。制御部１０は、生体情報Ｂｉに基づいて対象者Ｕの感情の推定に用いられる感情推定モデル１１を有する。また、制御部１０は、外部及び記憶部２０から生体情報Ｂｉが入力可能に構成されている。
【0071】
制御部１０には、感情推定モデル１１、記憶部２０を含む感情推定装置１を制御するために、種々のプログラム及びデータが格納されている。制御部１０は、外部から入力された生体情報Ｂｉを記憶部２０に送信可能に構成されている。また、制御部１０は、記憶部２０に記憶された生体情報Ｂｉ及び感情に関する情報を含む各種情報を取得可能に構成されている。
【0072】
感情推定モデル１１は、対象者Ｕの生体情報Ｂｉに基づいた対象者Ｕの感情の推定に用いられる。感情推定モデル１１は、被験者Ｔの学習用生体情報ＢｉＬ（以下、単に「学習用生体情報ＢｉＬ」と記す）と学習用生体情報ＢｉＬを測定された際における本人の自己申告による感情である学習用自己感情評価情報ＥｉＬとがそれぞれ組み合わされた複数の教師データに基づいて学習された機械学習用のニューラルネットワークモデルである。感情推定モデル１１は、対象者Ｕの生体情報Ｂｉに基づいて対象者Ｕの感情を示す情報である推定感情情報Ｅｉに含まれる推定感情データｄｂの作成に用いられる。
【0073】
すなわち、制御部１０は、感情推定モデル１１を利用して対象者Ｕの生体情報Ｂｉに基づいて推定された感情（以下、推定感情という）に関する情報を推定感情データｄｂとして作成する。前記推定感情は、対象者Ｕの推定された感情の種類（喜怒哀楽など）、及び、感情の強度（度合い）を意味する。前記推定感情は、生体情報Ｂｉ以外の情報に基づいて推定された感情であってもよい。推定感情データｄｂには、感情の覚醒度及び感情価の２つの評価指標による評価値が含まれる。推定感情データｄｂは、感情の覚醒度及び感情価の２つの評価指標に基づいて対象者Ｕの感情を推定している。
【0074】
制御部１０は、後述する感情の強度の差を濃淡のグラデーションで表し、感情の種類を色調のグラデーションで表した色基準を有している。制御部１０は、感情推定モデル１１を利用して作成した推定感情データｄｂに基づいて前記推定感情を表した色データｄａを作成する。制御部１０は、推定感情データｄｂに含まれる感情の覚醒度及び感情価の２つの評価指標と色基準とを関連付けることで前記推定感情を表した色データｄａを作成する。
【0075】
制御部１０は、色データｄａ及び推定感情データｄｂのうち少なくとも色データｄａを含む推定感情情報Ｅｉを作成し、記憶部２０及び外部に対して出力可能に構成されている。
【0076】
記憶部２０は、外部から入力された生体情報Ｂｉ及び制御部１０が作成した推定感情情報Ｅｉを含む各種情報、感情推定装置１を制御するために、種々のプログラム、データを記憶している。記憶部２０は、生体情報Ｂｉ及び推定感情情報Ｅｉ等を記憶するＲＡＭ、プロセッサ内部のメモリ、ハードディスク等を有している。記憶部２０は、外部から生体情報Ｂｉが入力可能に構成されている。記憶部２０は、制御部１０から推定感情情報Ｅｉが入力可能に構成されている。
【0077】
【0078】
図１に示すように、感情推定装置１の制御部１０は、上述のようにして作成した推定感情情報Ｅｉを出力する。推定感情情報Ｅiは、感情推定モデル１１を利用して対象者Ｕの生体情報Ｂｉに基づいて推定された推定感情データｄｂを含み、且つ、例えば、後述する色基準において前記推定感情を表す色データｄａを含む情報である。
【0079】
図２及び図１０に示すように、色データｄａは、感情の強度の差及び感情の種類の違いが、異なる種類のグラデーションによって表現されるように、前記感情の強度の差が後述の仮想円Ｐの半径方向に変化する濃淡のグラデーションによって表現され且つ前記感情の種類の違いが仮想円Ｐの周方向に変化する色調のグラデーションによって表現される色基準において、前記推定感情を表すデータである。色データｄａは、前記色基準において色の位置を表示するデータを含む。
【0080】
前記色基準は、例えばラッセルの円環感情モデルにおいて、感情の強度を色の濃淡のグラデーションによって表現するとともに、感情の種類を色調のグラデーションによって表現している。前記色基準は、他の感情モデルにおいて感情の強度を色の濃淡のグラデーションによって表現するとともに、感情の種類を色調のグラデーションによって表現してもよい。
【0081】
具体的には、前記色基準では、感情の覚醒及び感情価の２つの評価指標の交点から仮想円Ｐの径方向外方に向かうにつれて、感動の強度が大きくなるため、色が濃くなる。また、前記色基準では、仮想円Ｐの周方向に、感動の種類が変わるため、色調が変化する。例えば、図２に示す前記色基準では、感動が青色であり、安心が緑色であり、退屈が黄色であり、緊張が赤色である。前記色基準では、それぞれの感動の種類が仮想円Ｐに沿って変化すると、色調のグラデーションによって色が連続的に滑らかに変化する。
【0082】
以上より、前記色基準では、感情の覚醒及び感情価の２つの評価指標の交点では、白色であり、前記交点から仮想円Ｐの径方向外方に向かうにつれて、青色、緑色、黄色または赤色のいずれかの色が濃くなり、仮想円Ｐの周方向に色調のグラデーションによって色が連続的に滑らかに変化している。そのため、前記色基準では、感情の強度及び感情の種類が異なっていても、視覚によって判別できる境界が明確ではなく曖昧である。
【0083】
図２に示す前記色基準において前記推定感情に対応する色データｄａは、前記推定感情を表す色データである。図２において、前記色基準における色データｄａの位置の一例を符号Ｘで示す。推定感情情報Ｅiは、図２に示す前記色基準において前記推定感情を表す色データｄａの位置に関する情報を有していてもよいし、前記推定感情を表す色データｄａにおける色の濃淡及び色調に関する情報を有していてもよい。
【0084】
上述のように、感情の強度の差が仮想円の半径方向に変化する色の濃淡のグラデーションによって表現され且つ感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される色基準を利用して、制御部１０から出力される感情情報に、前記色基準に含まれる色データｄａを含めることにより、感情の強度の差および感情の種類の違いが異なる種類のグラデーションによって表現される。これにより、推定感情情報Ｅiが、数値によって表現される場合よりも曖昧に表現される。その結果、生体情報Ｂｉに基づいて推定される推定感情と脳で認知する認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0085】
しかも、上述のように、制御部１０から出力される感情情報に、前記色基準に含まれる色データｄａを含めることにより、感情を推定するために用いられる生体情報Ｂｉのデータの種類またはデータ量を増加させるのではなく、推定感情情報Ｅiの表示に工夫を加えて対象者Ｕの納得感を高めて、前記推定感情と前記認知感情との乖離を抑制できる。このように、感情の推定精度の向上において生体情報Ｂｉのデータの種類またはデータ量を増加させる必要がないため、感情推定装置１におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0086】
したがって、感情推定モデル１１を利用して対象者Ｕの感情推定を行う感情推定装置１において、ハードウェアリソースの設計自由度の低下を抑制しながら、対象者Ｕの納得感を高めて感情推定の精度をより向上可能な構成を実現できる。
【0087】
［実施形態２］
図３及び図４を用いて、本発明の感情推定装置の実施形態２に係る感情推定装置１００について説明する。図３は、感情推定装置１００の全体構成図である。図４は、色データｄａを時系列に並べて表示した一例を示す図である。実施形態２に係る感情推定装置１００の構成は、推定感情情報が時系列に並んで表示されるように、前記推定感情情報を作成する点で、実施形態１における感情推定装置１の構成とは異なる。したがって、以下では、実施形態１と同様の構成には同一の符号を付して説明を省略し、実施形態１と異なる部分についてのみ説明する。
図３及び図４を用いて、本発明の感情推定装置の実施形態２に係る感情推定装置１００について説明する。図３は、感情推定装置１００の全体構成図である。図４は、色データｄａを時系列に並べて表示した一例を示す図である。実施形態２に係る感情推定装置１００の構成は、推定感情情報が時系列に並んで表示されるように、前記推定感情情報を作成する点で、実施形態１における感情推定装置１の構成とは異なる。したがって、以下では、実施形態１と同様の構成には同一の符号を付して説明を省略し、実施形態１と異なる部分についてのみ説明する。
【0088】
図３に示すように、感情推定装置１００は、制御部１１０と、記憶部２０とを有する。制御部１１０は、感情推定モデル１１１を有する。
【0089】
制御部１１０は、感情推定モデル１１１を利用して対象者Ｕの生体情報Ｂｉに基づいて作成された推定感情データｄｂと色基準とを関連付けることにより取得される色データｄａが、時系列に並んで表示されるように、推定感情情報Ｅｉを作成して出力する。具体的には、制御部１１０は、推定感情データ作成部１１２と、時系列色データ作成部１１３とを有する。
【0090】
推定感情データ作成部１１２は、感情推定モデル１１１を利用して対象者Ｕの生体情報Ｂｉに基づいて対象者Ｕの感情を推定し、推定感情データｄｂを作成する。感情推定モデル１１１を利用して対象者Ｕの生体情報Ｂｉに基づいて推定感情データｄｂを作成する方法は、実施形態１と同様であるため、詳しい説明を省略する。推定感情データ作成部１１２は、推定感情データｄｂを時系列で作成する。
【0091】
時系列色データ作成部１１３は、推定感情データ作成部１１２によって作成された時系列の推定感情データｄｂと、前記色基準とを関連付けることにより、前記色基準に含まれる色データｄａを作成する。時系列色データ作成部１１３は、時系列で作成された推定感情データｄｂ毎に前記色基準と関連付けることにより、色データｄａを作成する。よって、時系列色データ作成部１１３は、時系列で作成された推定感情データｄｂに基づいて時系列で色データｄａを作成する。
【0092】
時系列色データ作成部１１３によって作成された時系列の色データｄａは、推定感情情報Ｅｉに含まれ且つ前記色基準に含まれる色データｄａを時系列に並べて表示する際に、色の濃淡及び色調の変化が両方ともグラデーションによって表現されるようなデータである。
【0093】
図４は、時系列に並んだ色データｄａの表示の一例を示す図である。図４では、推定感情データｄｂ毎に作成された色データｄａが推定感情データｄｂを作成する際に使用した生体情報Ｂｉが測定された位置の位置データに基づいてマップ上に表示されている。図４に示すように、色データｄａは、色の濃淡及び色調の変化が両方ともグラデーションによって表現されている。色データｄａは、時系列に並べて表示することで、感情の時系列による変化を色の濃淡及び色調の連続的な変化として表示することができる。
【0094】
上述のように、制御部１１０から出力される推定感情情報Ｅｉに、時系列の推定感情データｄｂと色基準とを関連付けることにより取得され且つ前記色基準に含まれる色データｄａを含めることにより、感情の強度の差及び感情の種類の違いが異なる種類のグラデーションによって表現される。これにより、推定感情データｄｂの時系列の変化が、数値によって表現する場合よりも曖昧に表現される。その結果、前記推定感情と前記認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0095】
しかも、上述のように、制御部１１０から出力される推定感情情報に、時系列の推定感情データと色基準とを関連付けることにより取得され且つ前記色基準に含まれる色データを含めることにより、前記推定感情を推定するために用いられる生体情報Ｂｉのデータの種類またはデータ量を増加させるのではなく、前記推定感情データの表示に工夫を加えて対象者の納得感を高めて、前記推定感情と前記認知感情との乖離を抑制できる。このように、感情の推定精度の向上において生体情報のデータの種類またはデータ量を増加させる必要がないため、感情推定装置１００におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0096】
［実施形態２の変形例１]
図５、図７及び図８を用いて、本発明の感情推定装置の実施形態２に係る感情推定装置１００の変形例１である感情推定装置２００について説明する。図５は、実施形態２の変形例１に係る感情推定装置２００の全体構成図である。図７は、実施形態２の変形例１、２に係る感情推定装置２００、３００においてフィルタ処理前の推定感情を時系列で表示したグラフとフィルタ処理後の推定感情を時系列で表示したグラフである。図８は、実施形態２の変形例１、２に係る感情推定装置２００、３００においてフィルタ処理前の色データを時系列に並べて表示した一例を示す図とフィルタ処理後の色データを時系列に並べて表示した一例を示す図である。
図５、図７及び図８を用いて、本発明の感情推定装置の実施形態２に係る感情推定装置１００の変形例１である感情推定装置２００について説明する。図５は、実施形態２の変形例１に係る感情推定装置２００の全体構成図である。図７は、実施形態２の変形例１、２に係る感情推定装置２００、３００においてフィルタ処理前の推定感情を時系列で表示したグラフとフィルタ処理後の推定感情を時系列で表示したグラフである。図８は、実施形態２の変形例１、２に係る感情推定装置２００、３００においてフィルタ処理前の色データを時系列に並べて表示した一例を示す図とフィルタ処理後の色データを時系列に並べて表示した一例を示す図である。
【0097】
図５に示すように、感情推定装置２００は、制御部２１０と、記憶部２０とを有する。制御部２１０は、感情推定モデル２１１と、推定感情データ作成部２１２と、時系列色データ作成部２１３とを有する。時系列色データ作成部２１３は、時系列推定感情データ作成部２１３ａと、色データ作成部２１３ｂとを有する。
【0098】
時系列推定感情データ作成部２１３ａは、推定感情情報Ｅｉに含まれ且つ前記色基準に含まれる色データｄａを時系列に並べて表示する際に、時系列における色の濃淡及び色調の変化が両方ともグラデーションによって表現されるように時系列に並べた推定感情データｄｂに基づいて、時系列推定感情データｄｃを作成する。
【0099】
図７及び図８に示すように、時系列に並べた推定感情データｄｂに対応して時系列に並べた色データｄａは、推定感情データｄｂの感情の覚醒及び感情価のうち少なくとも1つの時系列の変化率が閾値以上の場合（図７のＧ１参照）、色の濃淡のグラデーションまたは色調のグラデーションによって表現されない（図８のＦ１参照）。よって、図５に示すように、時系列推定感情データ作成部２１３ａは、時系列に並べた推定感情データｄｂに感情の覚醒及び感情価のうち少なくとも1つの時系列の変化率が閾値以上の部分が含まれる場合、例えばフィルタ処理によって推定感情データｄｂを補正した時系列推定感情データｄｃを作成する。時系列推定感情データ作成部２１３ａは、時系列に並べた推定感情データｄｂにおいて感情の覚醒及び感情価のうち時系列における変化率が閾値以上の部分が含まれる場合、例えば、時系列における単位時間当たりの感情の覚醒及び感情価の変化率を鈍らせる（図７のＧ２参照）。
【0100】
時系列推定感情データｄｃ（図５参照）は、時系列推定感情データｄｃ（図５参照）と前記色基準とを関連付けることにより作成された色データｄａが時系列において色の濃淡のグラデーションまたは色調のグラデーションによって表現されるように補正された推定感情データｄｂを、時系列に並べることによって得られたデータである（図８のＦ２参照）。
【0101】
図５に示すように、色データ作成部２１３ｂは、時系列推定感情データｄｃを前記色基準と関連付けて前記色基準に含まれる色データｄａを時系列で取得する。
【0102】
上述のように、感情の強度の差および感情の種類の違いが異なる種類のグラデーションに表現されるように推定感情データｄｂを補正した時系列推定感情データｄｃを時系列に並べた後に、時系列推定感情データｄｃを前記色基準と関連付けて前記色基準に含まれる色データｄａを時系列で取得することにより、時系列推定感情データｄｃが、時系列に数値によって表現される場合よりも曖昧に表現される。その結果、推定感情と認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0103】
また、色データｄａは、推定感情データｄｂの補正によって、色の濃淡及び色調の変化が両方ともグラデーションによって連続的に表現されるので、環境が大きく変化しない限り連続的に変化する人間の感情と色データｄａによって表現された推定感情との乖離を抑制することができる。
【0104】
しかも、上述のように、制御部２１０が取得する色データｄａは、色の濃淡及び色調の変化が両方ともグラデーションによって表現される前記色基準に含まれる。そのため、対象者Ｕの感情を推定するために用いられる対象者Ｕの生体情報Ｂｉのデータの種類またはデータ量を増加させるのではなく、推定感情データｄｂを補正した時系列推定感情データｄｃを作成することにより、色データｄａの表示に工夫を加えて対象者の納得感を高めて、推定感情と前記認知感情との乖離を抑制できる。このように、感情の推定精度の向上において生体情報Ｂｉのデータの種類またはデータ量を増加させる必要がないため、感情推定装置２００におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0105】
[実施形態２の変形例２]
図６から図８を用いて、本発明の感情推定装置の実施形態２に係る感情推定装置１００の変形例２である感情推定装置３００について説明する。図６は、実施形態２の変形例２に係る感情推定装置３００の全体構成図である。
図６から図８を用いて、本発明の感情推定装置の実施形態２に係る感情推定装置１００の変形例２である感情推定装置３００について説明する。図６は、実施形態２の変形例２に係る感情推定装置３００の全体構成図である。
【0106】
図６に示すように、感情推定装置３００は、制御部３１０と、記憶部２０とを有する。制御部３１０は、感情推定モデル３１１と、推定感情データ作成部３１２と、時系列色データ作成部３１３とを有する。
【0107】
時系列色データ作成部３１３は、推定感情情報Ｅｉに含まれ且つ前記色基準に含まれる色データｄａを時系列に並べて表示する際に、時系列における色の濃淡及び色調の変化が両方ともグラデーションによって表現されるように、推定感情データｄｂの時系列変化に応じて前記色基準の中から色データｄａを選択する。
【0108】
図７及び図８に示すように、時系列に並べた推定感情データｄｂに対応して時系列に並べた色データｄａは、推定感情データｄｂの感情の覚醒及び感情価のうち少なくとも1つの時系列における変化率が閾値以上の場合（図７のＧ１参照）、色の濃淡のグラデーションまたは色調のグラデーションによって表現されない（図８のＦ１参照）。よって、図６に示すように、時系列色データ作成部３１３は、時系列に並べた推定感情データｄｂに感情の覚醒及び感情価のうち少なくとも1つの時系列における変化率が閾値以上の部分が含まれる場合、前記色基準において、例えば、フィルタ処理等によって前記色基準から選択する色データｄａを変更する。
【0109】
時系列色データ作成部３１３は、時系列に並べた推定感情データｄｂにおいて感情の覚醒及び感情価のうち時系列における変化率が閾値以上の部分が含まれる場合、例えば、閾値以上の変化前の少なくとも１つ以上の推定感情データｄｂに対応する色データｄａと閾値以上の変化後の少なくとも１つ以上の推定感情データｄｂに対応する色データｄａとの間の色の濃淡及び色調の変化をグラデーションとして認識できるように、前記色基準からそれぞれの色データｄａを選択する（図８のＦ２参照）。
【0110】
上述のように、感情の強度の差および感情の種類の違いが異なる種類のグラデーションに表現されるように推定感情データｄｂの時系列変化に応じて前記色基準の中から色データｄａを選択し、前記色基準に含まれる色データｄａを時系列で取得することにより、推定感情データｄｂが、時系列に数値によって表現される場合よりも曖昧に表現される。その結果、推定感情と認知感情との乖離を抑制でき、感情の推定精度をより向上できる。
【0111】
また、色データｄａは、前記色基準から選択する色を変更することによって、色の濃淡及び色調の変化が両方ともグラデーションによって連続的に表現されている。これにより、環境が大きく変化しない限り連続的に変化する人間の感情と色データｄａによって表現された推定感情との乖離を抑制することができる。
【0112】
しかも、上述のように、制御部３１０が取得する色データｄａは、色の濃淡及び色調の変化が両方ともグラデーションによって表現される前記色基準に含まれる。そのため、推定感情を推定するために用いられる生体情報Ｂｉのデータの種類またはデータ量を増加させるのではなく、推定感情データｄｂの表示に工夫を加えて対象者Ｕの納得感を高めて、推定感情と前記認知感情との乖離を抑制できる。このように、感情の推定精度の向上において生体情報Ｂｉのデータの種類またはデータ量を増加させる必要がないため、感情推定装置３００におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0113】
［実施形態３]
＜感情情報取得装置の構成＞
図９を用いて、本発明の感情推定装置の実施形態３に係る感情情報取得装置４００について説明する。図９は、実施形態４に係る感情情報取得装置４００の概略構成を示す図である。
＜感情情報取得装置の構成＞
図９を用いて、本発明の感情推定装置の実施形態３に係る感情情報取得装置４００について説明する。図９は、実施形態４に係る感情情報取得装置４００の概略構成を示す図である。
【0114】
感情情報取得装置４００は、感情に関連する情報である生体情報及び前記生体情報と関連する自己の感情を評価した自己感情評価情報を取得する装置である。感情情報取得装置４００は、記憶部４１０と、表示部４２０と、評価情報取得部４３０と、制御部４４０と、を有する。
【0115】
記憶部４１０は、学習用生体情報ＢｉＬ、学習用自己感情評価情報ＥｉＬ、被験者Ｔが学習用生体情報ＢｉＬを測定された際の画像及び映像及び色基準等を記憶する。記憶部４１０は、学習用生体情報ＢｉＬ、学習用自己感情評価情報ＥｉＬ、被験者Ｔが学習用生体情報ＢｉＬを測定された際の画像及び映像及び色基準等を記憶するＲＡＭ、プロセッサ内部のメモリ、ハードディスク等を有している。記憶部４１０は、記憶した学習用生体情報ＢｉＬ、学習用自己感情評価情報ＥｉＬ、被験者Ｔが学習用生体情報ＢｉＬを測定された際の画像及び映像及び色基準等を、制御部４４０及び表示部４２０に対して出力可能に構成されている。
【0116】
表示部４２０は、学習用生体情報ＢｉＬ、学習用自己感情評価情報ＥｉＬ、被験者Ｔが学習用生体情報ＢｉＬを測定された際の画像及び映像及び色基準等を表示する。表示部４２０は、画像及び映像等を表示可能なモニタによって構成されている。表示部４２０は、記憶部４１０から入力された学習用生体情報ＢｉＬ、学習用自己感情評価情報ＥｉＬ、被験者Ｔが学習用生体情報ＢｉＬを測定された際の画像及び映像及び色基準等の情報を表示する。
【0117】
評価情報取得部４３０は、学習用生体情報ＢｉＬを測定された被験者Ｔが学習用生体情報ＢｉＬを測定された際に自己の感情を評価した学習用自己感情評価情報ＥｉＬを取得する。評価情報取得部４３０は、表示部４２０に表示される感情基準の１つである前記色基準に基づいて被験者Ｔが学習用生体情報ＢｉＬを測定された際に自己の感情を示す学習用自己感情評価情報ＥｉＬを入力可能に構成されている。
【0118】
評価情報取得部４３０は、例えば、画面と身体等の一部との接触による入力によって前記画面の接触位置に関する位置情報である座標データｄｄまたは前記画面の接触位置に表示されている色のＲＧＢ等の色データｄａを取得可能なタッチパネルによって構成される表示部４２０でもよい。評価情報取得部４３０は、表示部４２０の画面に表示された前記色基準に対する入力によって、被験者Ｔが学習用生体情報ＢｉＬを測定された際の自己の感情を評価した色が表示されている画面の座標データｄｄまたは色データｄａを、被験者Ｔの学習用自己感情評価情報ＥｉＬとして取得する。つまり、学習用自己感情評価情報ＥｉＬは、前記感情基準として前記色基準に対して入力された座標データｄｄまたは色データｄａを含む。
【0119】
また、評価情報取得部４３０は、表示部４２０とジョイスティック等の入力装置とによって構成されていてもよい。評価情報取得部４３０は、表示部４２０の画面に表示された前記色基準に対して、被験者Ｔが入力装置によって入力した自己の感情を評価した色が表示されている画面の座標データｄｄまたは色データｄａを、被験者Ｔの学習用自己感情評価情報ＥｉＬとして取得する。評価情報取得部４３０は、取得した画面の座標データｄｄまたは色データｄａを制御部４４０に対して送信可能に構成されている。
【0120】
制御部４４０は、評価情報取得部４３０によって取得された学習用自己感情評価情報ＥｉＬを取得する。また、制御部４４０は、取得した学習用自己感情評価情報ＥｉＬを外部に出力する。制御部４４０には、記憶部４１０、表示部４２０、評価情報取得部４３０を含む感情情報取得装置４００を制御するために、種々のプログラム及びデータが格納されている。
【0121】
制御部４４０は、外部から入力された学習用生体情報ＢｉＬ、学習用自己感情評価情報ＥｉＬ、被験者Ｔが学習用生体情報ＢｉＬを測定された際の画像及び映像及び色基準を、記憶部４１０に対して送信可能に構成されている。また、制御部４４０は、評価情報取得部４３０によって取得された画面の座標データｄｄまたは色データｄａを、記憶部４１０に対して送信可能に構成されている。制御部４４０は、記憶部４１０に記憶された学習用生体情報ＢｉＬ、学習用自己感情評価情報ＥｉＬ、被験者Ｔが学習用生体情報ＢｉＬを測定された際の画像及び映像、座標データｄｄまたは色データｄａ及び色基準等を取得可能に構成されている。
【0122】
制御部４４０は、評価情報取得部４３０から画面の座標データｄｄを含む学習用自己感情評価情報ＥｉＬを取得する。制御部４４０は、画面の座標データｄｄを取得した場合、画面に表示された前記色基準における座標データｄｄの位置に表示されている色に関する色データｄａを算出する。制御部４４０は、算出または取得した色データｄａが示す色の濃淡に基づいて算出された感情の強度と色データｄａが示す色の色調に基づいて算出された感情の種類とから、被験者Ｔが前記色基準に基づいて評価した自己の感情を算出する。制御部４４０は、座標データｄｄ、色データｄａ及び学習用自己感情評価情報ＥｉＬを算出する。
【0123】
制御部４４０は、評価情報取得部４３０から取得した座標データｄｄまたは色データｄａ、及び、算出した被験者Ｔが前記色基準に基づいて評価した自己の感情に対応する座標データｄｄを、学習用自己感情評価情報ＥｉＬとして外部に出力する。
【0124】
上述のように、感情の強度の差が仮想円の半径方向に変化する色の濃淡のグラデーションによって表現され且つ感情の種類の違いが前記仮想円の周方向に変化する色調のグラデーションによって表現される、感情基準としての前記色基準を利用して、表示部４２０に表示される前記色基準に対する入力によって、被験者Ｔの学習用生体情報ＢｉＬと被験者Ｔが学習用生体情報ＢｉＬを測定された際の自己の感情を評価した学習用自己感情評価情報ＥｉＬとを取得する。これにより、前記色基準に対する入力を、数値による入力よりも曖昧に行うことができ、学習用自己感情評価情報ＥｉＬを数値によって表現した場合よりも曖昧に取得することができる。その結果、学習用生体情報ＢｉＬと感情情報取得装置が取得した学習用自己感情評価情報ＥｉＬとに基づいて感情推定モデル１１の学習を行う感情推定装置１、１００、２００、３００において、学習用生体情報ＢｉＬに基づいて推定される推定感情と被験者Ｔの脳で認知する認知感情を含む学習用自己感情評価情報ＥｉＬとの乖離を抑制でき、感情の推定精度をより向上できる。
【0125】
しかも、制御部４４０から出力される学習用自己感情評価情報ＥｉＬに、前記色基準に含まれる色データｄａを含めることにより、感情を推定するために用いられる学習用生体情報ＢｉＬのデータの種類またはデータ量を増加させるのではなく、自己の感情評価に用いる感情基準の表示に工夫を加えて被験者Ｔの納得感を高めて、脳で認知する認知感情と被験者が色基準に対して入力した座標データｄｄから算出される学習用自己感情評価情報ＥｉＬとの乖離を抑制できる。この結果、学習用生体情報ＢｉＬに対する入力した学習用自己感情評価情報ＥｉＬの精度をより向上できる。このように、感情の推定精度の向上において学習用生体情報ＢｉＬに対する学習用自己感情評価情報ＥｉＬの精度を向上することにより、学習用生体情報ＢｉＬのデータの種類またはデータ量を増加させる必要がない。そのため、学習用生体情報ＢｉＬ及び学習用自己感情評価情報ＥｉＬによって感情推定モデル１１、１１１、２１１、３１１の学習を行う感情推定装置１、１００、２００、３００におけるハードウェアリソースの設計自由度の低下を抑制できる。
【0126】
したがって、感情推定モデル１１、１１１、２１１、３１１を利用して対象者Ｕの感情推定を行う感情推定装置１、１００、２００、３００に対して、ハードウェアリソースの設計自由度の低下を抑制しながら、対象者Ｕの納得感を高めて感情推定の精度をより向上可能な感情推定モデル１１を作成する学習用自己感情評価情報ＥｉＬを出力することができる。
【0127】
［その他の実施形態］
上述の各実施形態において、感情推定装置１、１００、２００、３００は、対象者Ｕまたは被験者Ｔの感情に関する情報である推定感情情報Ｅｉとして感情の覚醒値及び感情価の値との組み合わせによって、対象者Ｕまたは被験者Ｔの感情を示してもよい。また、感情推定装置１は、各感情の比率によって、対象者Ｕまたは被験者Ｔの感情を示してもよい。例えば、前記感情推定モデルは、対象者Ｕまたは被験者Ｔの感情を、喜び０．８５、楽しみ０．１２、悲しみ０．０２、怒り０．０１等のように示してもよい。
上述の各実施形態において、感情推定装置１、１００、２００、３００は、対象者Ｕまたは被験者Ｔの感情に関する情報である推定感情情報Ｅｉとして感情の覚醒値及び感情価の値との組み合わせによって、対象者Ｕまたは被験者Ｔの感情を示してもよい。また、感情推定装置１は、各感情の比率によって、対象者Ｕまたは被験者Ｔの感情を示してもよい。例えば、前記感情推定モデルは、対象者Ｕまたは被験者Ｔの感情を、喜び０．８５、楽しみ０．１２、悲しみ０．０２、怒り０．０１等のように示してもよい。
【0128】
また、上述の各実施形態において、感情推定装置１、１００、２００、３００は、対象者Ｕまたは被験者Ｔの感情価の値をポジティブな感情とネガティブな感情との割合で示し、覚醒値を感情が活性化している状態と感情が非活性化している状態との割合で示してもよい。また、感情推定装置１は、対象者Ｕまたは被験者Ｔの感情価の値と覚醒値を高レベルと低レベルとに２分類化して示してもよい。
【0129】
また、上述の各実施形態において、感情推定モデル１１は、ニューラルネットワークモデルによって構成されている。しかしながら、感情推定モデルは、サポートベクターマシン（ＳＶＭ）、決定木、ｋ最近傍法、単純ベイズ、ロジステック回帰、線形回帰、非線形回帰、ステップワイズ回帰等、機械学習モデルによって構成されていてもよい。
【0130】
なお、上述の各実施形態において、感情推定装置及び感情情報取得装置は、対象者が所持するスマートフォン等の携帯端末とウェアラブルセンサ等とによって構成されていてもよい。また、感情推定装置は、サーバ内に位置していてもよい。感情推定装置は、サーバに接続されたスマートフォン等の携帯端末から送信された生体情報に基づいて感情を推定する。感情推定装置は、推定した感情情報を前記携帯端末に対して送信する。また、感情推定装置は、複数の感情推定装置がインターネット等を介してサーバに接続された感情推定システムの一部として構成されていてもよい。前記感情推定システムは、インターネット等を介して複数の感情推定装置が接続されている。また、前記感情推定システムは、複数の感情推定装置から各対象者Ｕの推定感情情報を収集可能に構成されていてもよい。
【0131】
なお、上述の各実施形態において、感情推定モデル１１は、学習済のｎ‐１次モデルを利用して作成されたｎ‐１次知識情報、ｎ次学習用生体情報及びｎ次学習用自己評価感情情報に基づいて学習したｎ次生体情報蒸留モデルでもよい。また、前記感情推定モデルは、感情を推定するモデル以外のモデル、プログラム等を含んでいてもよい。
【0132】
感情情報取得装置４００は、感情に関連する情報である生体情報及び前記生体情報と関連する自己の感情を評価した自己感情評価情報を取得する。よって、感情情報取得装置４００の制御部４４０は、感情推定モデルを有していない。しかしながら、感情情報取得装置の制御装置は、感情推定モデルを有していてもよい。つまり、感情情報取得装置は、感情推定装置の機能を有していてもよい。
【0133】
なお、上述の実施形態２において、感情推定装置２００は、時系列推定感情データ作成部２１３ａのフィルタ処理によって推定感情データｄｂを補正した時系列推定感情データｄｃを作成する。しかしながら、感情推定装置は、フィルタ処理以外の処理によって推定感情データを補正した時系列推定感情データを作成してもよい。感情推定装置は、例えば、統計学的手法による処理によって推定感情データを作成してもよい。
【0134】
なお、上述の実施形態２において、感情推定装置３００は、時系列色データ作成部３１３のフィルタ処理によって色データｄａを作成する。しかしながら、感情推定装置は、フィルタ処理以外の処理によって色データを作成してもよい。感情推定装置は、例えば、統計学的手法による処理によって色データを作成してもよい。
【0135】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【符号の説明】
【0136】
１、１００、２００、３００ 感情推定装置
１０、１１０、１１０、２１０、３１０、４４０ 制御部
１１、１１１、２１１、３１１ 感情推定モデル
２０、４１０ 記憶部
１１２、２１２、３１２ 推定感情データ作成部
１１３、２１３、３１３ 時系列色データ作成部
２１３ａ 時系列推定感情データ作成部
２１３ｂ 色データ作成部
４００ 感情情報取得装置
４２０ 表示部
４３０ 評価情報取得部
Ｂｉ 生体情報
ＢｉＬ 学習用生体情報
ＥｉＬ 学習用自己感情評価情報
ｄａ 色データ
ｄｂ 推定感情データ
ｄｃ 時系列推定感情データ
ｄｄ 座標データ
Ｐ 仮想円
Ｘ 色データの位置の一例
Ｅｉ 推定感情情報
Ｔ 被験者
Ｕ 対象者
１０、１１０、１１０、２１０、３１０、４４０ 制御部
１１、１１１、２１１、３１１ 感情推定モデル
２０、４１０ 記憶部
１１２、２１２、３１２ 推定感情データ作成部
１１３、２１３、３１３ 時系列色データ作成部
２１３ａ 時系列推定感情データ作成部
２１３ｂ 色データ作成部
４００ 感情情報取得装置
４２０ 表示部
４３０ 評価情報取得部
Ｂｉ 生体情報
ＢｉＬ 学習用生体情報
ＥｉＬ 学習用自己感情評価情報
ｄａ 色データ
ｄｂ 推定感情データ
ｄｃ 時系列推定感情データ
ｄｄ 座標データ
Ｐ 仮想円
Ｘ 色データの位置の一例
Ｅｉ 推定感情情報
Ｔ 被験者
Ｕ 対象者
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
