(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-17
(45)【発行日】2022-05-25
(54)【発明の名称】推定システム、及び推定方法
(51)【国際特許分類】
A61B 5/16 20060101AFI20220518BHJP
【FI】
A61B5/16 120
(21)【出願番号】P 2018069989
(22)【出願日】2018-03-30
【審査請求日】2021-02-12
(73)【特許権者】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(73)【特許権者】
【識別番号】000005267
【氏名又は名称】ブラザー工業株式会社
(74)【代理人】
【識別番号】100106909
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100189348
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100206391
【氏名又は名称】柏野 由布子
(72)【発明者】
【氏名】西本 伸志
(72)【発明者】
【氏名】間島 真子
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開2014-222397(JP,A)
【文献】特開2005-348872(JP,A)
【文献】特開2016-195716(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/16 - 5/18
G06Q 10/00 - 99/00
(57)【特許請求の範囲】
【請求項1】
推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、
前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報に基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第1脳情報に変換する第1変換部と、
前記第1脳情報と、推定基準者の内的な状態に対応する少なくとも1つの第2脳情報との対応関係を示す第2の対応情報に基づいて、前記第1変換部によって変換された前記複数の第1脳情報を、前記第2脳情報に変換する第2変換部と、
前記第2変換部によって変換された前記第2脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部と
を備える推定システム。
【請求項2】
前記第1脳情報は、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、
前記第2脳情報は、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、
前記第2変換部は、前記第2の対応情報に基づいて、前記複数の第1脳情報が示す距離空間における位置を、前記第2脳情報が示す距離空間における位置に変換し、
前記推定部は、前記第2脳情報が示す距離空間における位置情報を利用して、前記内的な状態を推定する
ことを特徴とする請求項1に記載の推定システム。
【請求項3】
学習用の刺激情報から抽出された前記複数の感覚に関する複数の特徴量と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚のそれぞれに対応する前記第1の対応情報を生成する第1生成部と、
前記学習用の刺激情報に対応する前記内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と前記第2脳情報との対応関係を示す第3の対応情報を生成する第2生成部と、
前記学習用の刺激情報に対応する前記複数の第1脳情報が示す距離空間における位置と、前記第3の対応情報に基づいて前記内的な状態を示す情報から生成された前記第2脳情報が示す距離空間における位置とに基づいて、前記第2の対応情報を生成する第3生成部と
を備える請求項2に記載の推定システム。
【請求項4】
前記特徴量抽出部は、所定の単位時間ごとに、前記特徴量を抽出し、
前記推定部は、前記所定の単位時間ごとの前記第2脳情報が示す距離空間における位置に基づいて、前記推定対象の刺激情報に対応する前記所定の単位時間ごとの前記内的な状態を推定する
請求項2又は請求項3に記載の推定システム。
【請求項5】
前記複数の感覚は、視覚と聴覚とであり、
前記特徴量抽出部は、前記視覚に関する視覚特徴量と、前記聴覚に関する聴覚特徴量とを抽出し、
前記第1変換部は、前記視覚に対応する前記第1の対応情報に基づいて、前記視覚特徴量を前記視覚に対応する前記第1脳情報が示す視覚空間における位置に変換し、前記聴覚に対応する前記第1の対応情報に基づいて、前記聴覚特徴量を前記聴覚に対応する前記第1脳情報が示す聴覚空間における位置に変換し、
前記第2変換部は、前記第2の対応情報に基づいて、前記第1変換部によって変換された前記視覚空間における位置及び前記聴覚空間における位置を、前記第2脳情報が示す距離空間における位置に変換する
請求項2から請求項3のいずれか一項に記載の推定システム。
【請求項6】
前記推定基準者の内的な状態には、前記推定基準者の感情が含まれ、
前記第2変換部は、前記複数の第1脳情報が示す距離空間における位置と、前記感情に対応する前記第2脳情報が示す感情空間における位置との対応関係を示す前記第2の対応情報に基づいて、前記複数の第1脳情報が示す距離空間における位置を、前記感情空間における位置に変換し、
前記推定部は、複数の前記距離空間における位置から変換された前記感情空間における位置情報に基づいて、前記推定対象の刺激情報に対応する前記感情を推定する
請求項2から請求項4のいずれか一項に記載の推定システム。
【請求項7】
前記複数の感覚に関する特徴量、及び前記内的な状態を示す情報は、多次元の情報であり、
前記内的な状態を示す情報は、前記複数の感覚に関する特徴量の次元数より少ない次元数の情報である
請求項1から請求項6のいずれか一項に記載の推定システム。
【請求項8】
学習用の刺激情報から抽出された複数の感覚に関する複数の特徴量と、推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚に関するそれぞれの特徴量と、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第1脳情報であって、前記複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報を生成する第1生成部と、
前記学習用の刺激情報に対応する前記推定基準者の内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第2脳情報であって、前記内的な状態に対応する第2脳情報との対応関係を示す第2の対応情報を生成する第2生成部と、
前記第1の対応情報に基づいて前記複数の特徴量から生成された、前記学習用の刺激情報に対応する前記複数の第1脳情報と、前記第2の対応情報に基づいて前記内的な状態を示す情報から生成された第2脳情報との対応関係を示す第3の対応情報であり、当該第2脳情報に含まれる各要素を説明する際の前記複数の第1脳情報に含まれる各要素の貢献度を生成する第3生成部と、
前記複数の特徴量と、前記内的な状態を示す情報と、前記各要素の貢献度とに基づいて、前記複数の特徴量から前記内的な状態を示す情報を推定する数理モデルを構築するモデル構築部と、
推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、
前記モデル構築部によって構築された前記数理モデルに基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量から前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部と
を備える推定システム。
【請求項9】
特徴量抽出部が、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出ステップと、
第1変換部が、前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報に基づいて、前記特徴量抽出ステップによって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第1脳情報に変換する第1変換ステップと、
第2変換部が、前記第1脳情報と、推定基準者の内的な状態に対応する少なくとも1つの第2脳情報との対応関係を示す第2の対応情報に基づいて、前記第1変換ステップによって変換された前記複数の第1脳情報を、前記第2脳情報に変換する第2変換ステップと、
推定部が、前記第2変換ステップによって変換された前記第2脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定ステップと
を含む推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推定システム、及び推定方法に関する。
【背景技術】
【0002】
近年、被験者の脳活動を計測して、感情などの被験者の内的な状態を推定する技術が知られている(例えば、特許文献1)。例えば、特許文献1に記載の従来技術では、動画等の訓練用刺激が誘発した脳活動を計測し、当該訓練用刺激と脳活動との組データに基づいて、脳活動と知覚意味内容を表す知覚意味空間(脳情報表現空間)との対応関係を学習させる。そして、従来技術では、学習させた対応関係を用いて、新規刺激が被験者に与えた際に計測される脳活動から知覚意味内容(被験者の内的な状態)を推定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術では、新規刺激である刺激情報に対して被験者(推定基準者)の内的な状態を推定する度に、新規の感覚情報に対する脳活動の計測を行う必要があり、迅速、且つ簡便に、脳情報を利用した被験者(推定基準者)の内的な状態の推定を行うことが困難であった。また、上述した従来技術では、内的な状態の意味内容を表現するために、大容量コーパス等の事前知識が必要になっていた。
【0005】
本発明は、上記問題を解決すべくなされたもので、その目的は、脳情報を利用した刺激情報に対する推定基準者の内的な状態の推定を、迅速、且つ簡便に行うことができる推定システム、及び推定方法を提供することにある。また、内的状態に対して大規模コーパス等の事前知識を利用せずに、脳内情報表現と直接的に紐付けられた内的状態の推定を達成する。
【課題を解決するための手段】
【0006】
上記問題を解決するために、本発明の一態様は、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報に基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第1脳情報に変換する第1変換部と、前記第1脳情報と、推定基準者の内的な状態に対応する少なくとも1つの第2脳情報との対応関係を示す第2の対応情報に基づいて、前記第1変換部によって変換された前記複数の第1脳情報を、前記第2脳情報に変換する第2変換部と、前記第2変換部によって変換された前記第2脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部とを備える推定システムである。
【0007】
また、本発明の一態様は、上記の推定システムにおいて、前記第1脳情報は、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、前記第2脳情報は、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報であり、前記第2変換部は、前記第2の対応情報に基づいて、前記複数の第1脳情報が示す距離空間における位置を、前記第2脳情報が示す距離空間における位置に変換し、前記推定部は、前記第2脳情報が示す距離空間における位置情報を利用して、前記内的な状態を推定するようにしてもよい。
【0008】
また、本発明の一態様は、上記の推定システムにおいて、学習用の刺激情報から抽出された前記複数の感覚に関する複数の特徴量と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚のそれぞれに対応する前記第1の対応情報を生成する第1生成部と、前記学習用の刺激情報に対応する前記内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と前記第2脳情報との対応関係を示す第3の対応情報を生成する第2生成部と、前記学習用の刺激情報に対応する前記複数の第1脳情報が示す距離空間における位置と、前記第3の対応情報に基づいて前記内的な状態を示す情報から生成された前記第2脳情報が示す距離空間における位置とに基づいて、前記第2の対応情報を生成する第3生成部とを備えるようにしてもよい。
【0009】
また、本発明の一態様は、上記の推定システムにおいて、前記特徴量抽出部は、所定の単位時間ごとに、前記特徴量を抽出し、前記推定部は、前記所定の単位時間ごとの前記第2脳情報が示す距離空間における位置に基づいて、前記推定対象の刺激情報に対応する前記所定の単位時間ごとの前記内的な状態を推定するようにしてもよい。
【0010】
また、本発明の一態様は、上記の推定システムにおいて、前記複数の感覚は、視覚と聴覚とであり、前記特徴量抽出部は、前記視覚に関する視覚特徴量と、前記聴覚に関する聴覚特徴量とを抽出し、前記第1変換部は、前記視覚に対応する前記第1の対応情報に基づいて、前記視覚特徴量を前記視覚に対応する前記第1脳情報が示す視覚空間における位置に変換し、前記聴覚に対応する前記第1の対応情報に基づいて、前記聴覚特徴量を前記聴覚に対応する前記第1脳情報が示す聴覚空間における位置に変換し、前記第2変換部は、前記第2の対応情報に基づいて、前記第1変換部によって変換された前記視覚空間における位置及び前記聴覚空間における位置を、前記第2脳情報が示す距離空間における位置に変換するようにしてもよい。
【0011】
また、本発明の一態様は、上記の推定システムにおいて、前記推定基準者の内的な状態には、前記推定基準者の感情が含まれ、前記第2変換部は、前記複数の第1脳情報が示す距離空間における位置と、前記感情に対応する前記第2脳情報が示す感情空間における位置との対応関係を示す前記第2の対応情報に基づいて、前記複数の第1脳情報が示す距離空間における位置を、前記感情空間における位置に変換し、前記推定部は、複数の前記距離空間における位置から変換された前記感情空間における位置情報に基づいて、前記推定対象の刺激情報に対応する前記感情を推定するようにしてもよい。
【0012】
また、本発明の一態様は、上記の推定システムにおいて、前記複数の感覚に関する特徴量、及び前記内的な状態を示す情報は、多次元の情報であり、前記内的な状態を示す情報は、前記複数の感覚に関する特徴量の次元数より少ない次元数の情報であってもよい。
【0013】
また、本発明の一態様は、学習用の刺激情報から抽出された複数の感覚に関する複数の特徴量と、推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記複数の感覚に関するそれぞれの特徴量と、前記感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第1脳情報であって、前記複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報を生成する第1生成部と、前記学習用の刺激情報に対応する前記推定基準者の内的な状態を示す情報と、前記推定基準者に前記学習用の刺激情報による刺激を与えた際の脳活動の計測結果とに基づいて、前記内的な状態を示す情報と、前記内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である第2脳情報であって、前記内的な状態に対応する第2脳情報との対応関係を示す第2の対応情報を生成する第2生成部と、前記第1の対応情報に基づいて前記複数の特徴量から生成された、前記学習用の刺激情報に対応する前記複数の第1脳情報と、前記第2の対応情報に基づいて前記内的な状態を示す情報から生成された第2脳情報との対応関係を示す第3の対応情報であり、当該第2脳情報に含まれる各要素を説明する際の前記複数の第1脳情報に含まれる各要素の貢献度を生成する第3生成部と、前記複数の特徴量と、前記内的な状態を示す情報と、前記各要素の貢献度とに基づいて、前記複数の特徴量から前記内的な状態を示す情報を推定する数理モデルを構築するモデル構築部と、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出部と、前記モデル構築部によって構築された前記数理モデルに基づいて、前記特徴量抽出部によって前記推定対象の刺激情報から抽出された前記複数の特徴量から前記推定対象の刺激情報に対応する前記内的な状態を推定する推定部とを備える推定システムである。
【0014】
また、本発明の一態様は、特徴量抽出部が、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する特徴量抽出ステップと、第1変換部が、前記複数の感覚に関するそれぞれの特徴量と、前記複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報に基づいて、前記特徴量抽出ステップによって前記推定対象の刺激情報から抽出された前記複数の特徴量を、それぞれに対応する複数の前記第1脳情報に変換する第1変換ステップと、第2変換部が、前記第1脳情報と、推定基準者の内的な状態に対応する少なくとも1つの第2脳情報との対応関係を示す第2の対応情報に基づいて、前記第1変換ステップによって変換された前記複数の第1脳情報を、前記第2脳情報に変換する第2変換ステップと、推定部が、前記第2変換ステップによって変換された前記第2脳情報を利用して、前記推定対象の刺激情報に対応する前記内的な状態を推定する推定ステップとを含む推定方法である。
【発明の効果】
【0015】
本発明によれば、刺激情報に対する被験者の内的な状態を、迅速、且つ簡便に推定することができる。
【図面の簡単な説明】
【0016】
【
図1】第1の実施形態による推定システムの一例を示す機能ブロック図である。
【
図2】第1の実施形態による推定システムの学習処理の一例を示すフローチャートである。
【
図3】第1の実施形態における距離空間の構築処理の一例を説明する図である。
【
図4】第1の実施形態における空間対応関係の構築処理の一例を説明する図である。
【
図5】第1の実施形態による推定システムの推定処理の一例を示すフローチャートである。
【
図6】第1の実施形態による推定システムの推定処理の一例を説明する図である。
【
図7】第1の実施形態による推定システムの効果を説明する図である。
【
図8】第2の実施形態による推定システムの一例を示す機能ブロック図である。
【
図9】第2の実施形態による推定システムの学習処理の一例を示すフローチャートである。
【
図10】第2の実施形態における感情評定を推定する回帰モデルの構築処理の一例を説明する図である。
【
図11】第2の実施形態による推定システムの推定処理の一例を示すフローチャートである。
【
図12】第2の実施形態による推定システムの推定処理の一例を説明する図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態による推定システムについて、図面を参照して説明する。
【0018】
[第1の実施形態]
図1は、第1の実施形態による推定システム1の一例を示す機能ブロック図である。
図1に示すように、推定システム1は、解析装置10と、表示装置21と、スピーカ22と、fMRI(functional Magnetic Resonance Imaging)30と、推定装置40とを備える。
【0019】
表示装置21は、例えば、液晶ディスプレイなどであり、学習用の動画データ(学習用の刺激情報の一例、以下、学習用動画データという)に基づく学習用の画像を表示する。動画データには、画像データと音データとが含まれるものとする。
スピーカ22(放音装置の一例)は、学習用の動画データに基づく学習用の音を出力する。
【0020】
表示装置21及びスピーカ22は、学習用動画データに基づく画像及び音を出力し、推定基準者S1に視聴させる。推定基準者S1は、例えば、感情評定の推定において基準となる被験者である。
【0021】
fMRI30(脳活動計測部の一例)は、推定基準者S1に刺激を与えた際の推定基準者S1の脳活動を計測する。刺激は、例えば、表示装置21及びスピーカ22が出力する学習用動画データに基づく画像及び音である。fMRI30は、推定基準者S1の脳活動に関連した血流動態反応を視覚化するfMRI信号(脳活動信号)を出力する。fMRI30は、所定の単位時間ごと(例えば、2秒間隔など)で、推定基準者S1の脳活動を計測し、計測した計測結果をfMRI信号として解析装置10に出力する。
【0022】
解析装置10は、記憶部11と、制御部12とを備える。記憶部11は、解析装置10の制御部12が利用する各種情報を記憶する。記憶部11が、fMRI30が計測した計測結果と、学習用動画データの特徴量と、学習用動画データの感情評定の各情報を記憶する。制御部12が、記憶部11が記憶した各情報に基づいて、例えば、機械学習による学習処理を実行し、学習用動画データの特徴量から感情評定を推定するために利用する各種情報を生成する。感情評定とは、推定基準者S1の内的な状態を表す一例であり、推定基準者S1の感情を示す情報である。
【0023】
記憶部11は、例えば、動画記憶部111と、感情評定記憶部112と、特徴量記憶部113と、計測結果記憶部114と、構築結果記憶部115とを備える。
動画記憶部111は、学習用動画データを記憶する。
【0024】
感情評定記憶部112は、学習用動画データに対応する感情評定を記憶する。感情評定は、例えば、推定基準者S1が学習用動画データに基づく動画を視聴した際の内的な状態を所定の時間間隔ごと(所定の単位時間ごと)に付与し、記憶する。感情評定とは、例えば、感情を数値により表すラベルである。感情評定記憶部112は、所定の時間間隔ごと(所定の単位時間ごと)の学習用動画データに対応する感情評定を、所定の時間間隔ごとに時系列に記憶する。
【0025】
特徴量記憶部113は、学習用動画データから抽出された感覚に関する特徴量を記憶する。特徴量は、制御部12により、所定の時間間隔ごと(所定の単位時間ごと)に学習用動画データから抽出される。感覚には、例えば、視覚と聴覚とが含まれる。学習用動画データのうち、画像データから視覚に関する特徴量である視覚特徴量が抽出され、音データから聴覚関する特徴量である聴覚特徴量が抽出される。例えば、特徴量記憶部113は、所定の時間間隔ごとに、視覚特徴量と聴覚特徴量とを対応付けて時系列に記憶する。
【0026】
計測結果記憶部114は、fMRI30が計測した計測結果を記憶する。計測結果記憶部114は、学習用動画データに基づく動画を推定基準者S1に視聴させた際に、fMRI30によって計測された推定基準者S1の脳活動の計測結果を、所定の時間間隔ごとに時系列に記憶する。
【0027】
構築結果記憶部115は、解析装置10の制御部12により学習処理がされた結果を記憶する。制御部12による学習処理では、複数の感覚について、感覚に関する特徴量と、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、感覚に応じた脳情報表現を距離空間に表した特徴空間を構築する。または、感情について、感情評定と、推定基準者S1に学習用動画データを視聴させた際の脳活動の計測結果とに基づいて、感情に応じた脳情報表現を距離空間に表した感情空間を構築する。特徴空間または感情空間の構築は、例えば、ある感覚またはある感情に応じた脳情報表現を、空間における位置により表すものであってもよい。
【0028】
構築結果記憶部115は、学習処理によって構築された各種構築結果と、構築した特徴空間と感情空間との対応情報とを記憶する。具体的には、構築結果記憶部115は、例えば、視覚特徴空間(視覚空間の一例)の構築結果(重み付け情報Wv)、聴覚特徴空間(聴覚空間の一例)の構築結果(重み付け情報Ws)、感情空間の構築結果(重み付け情報We)、及び、視覚特徴空間及び聴覚特徴空間(以下、視覚・聴覚空間という)と感情空間との対応情報(重み付け情報A)を記憶する。
【0029】
視覚特徴空間の構築結果は、視覚特徴量と、視覚に応じた脳活動を表す視覚特徴空間(又は視覚特徴空間における位置)との対応関係を示す対応情報であり、聴覚特徴空間の構築結果は、聴覚特徴量と、聴覚に応じた脳活動を表す聴覚特徴空間(又は聴覚特徴空間における位置)との対応関係を示す対応情報である。感情空間の構築結果は、感情評定と、感情空間(又は感情空間における位置)との対応関係を示す対応情報である。
本実施形態において、視覚特徴空間の構築結果、及び聴覚特徴空間の構築結果は、第1の対応情報の一例であり、視覚・聴覚空間と感情空間との対応情報は、第2の対応情報の一例である。また、感情空間の構築結果は、第3の対応情報の一例である。
【0030】
制御部12は、例えば、CPU(Central Processing Unit)などを含むプロセッサであり、解析装置10を統括的に制御する。制御部12は、計測制御部121と、特徴量抽出部122と、特徴空間構築部123と、感情空間構築部124と、空間対応構築部125とを備える。
【0031】
計測制御部121は、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測を制御する。計測制御部121は、動画記憶部111が記憶する学習用動画データを表示装置21及びスピーカ22に出力させ、学習用動画データによる画像及び音を推定基準者S1に与えた際の脳活動を、fMRI30に計測させる。計測制御部121は、fMRI30から脳活動のfMRI信号を所定の時間間隔で取得し、計測結果として計測結果記憶部114に時系列に記憶させる。視覚特徴量の抽出には、種々の手法が提案されているが、例えば、AlexNet、VGG 19layerなどを用いることができる。抽出される特徴量は、例えばn次元(nは自然数)のベクトルで表され、n=4096やn=1000などが、想定されるがこれらの数字には限られない。また、聴覚特徴量の抽出についても、種々の手法が提案されているが、例えば、soundNetなどを用いることができる。抽出される特徴量は、例えば、m次元(mは自然数)のベクトルで表され、m=362、m=3133などが想定されるがこれらの数字に限定されない。
計測制御部121は、例えば、画像及び音を同時に推定基準者S1に与えた場合と、画像のみを推定基準者S1に与えた場合と、音のみを推定基準者S1に与えた場合とのそれぞれについて脳活動の計測結果を取得するようにしてもよい。
【0032】
特徴量抽出部122は、学習用動画データから感覚に関する特徴量を抽出する。特徴量抽出部122は、学習用動画データに含まれる画像データから視覚特徴量を、学習用動画データに含まれる音データから聴覚特徴量を、それぞれ所定の時間間隔ごとに抽出する。特徴量抽出部122は、抽出した所定の時間間隔ごとの視覚特徴量及び聴覚特徴量を時系列に特徴量記憶部113に記憶させる。
【0033】
特徴空間構築部123(第1の生成部の一例)は、複数の感覚に関する複数の特徴量と、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、複数の感覚のそれぞれに対応する第1の対応情報を生成する。例えば、特徴空間構築部123は、特徴量記憶部113が時系列に記憶する視覚特徴量と、計測結果記憶部114が時系列に記憶する計測結果との複数の組データに基づいて、視覚特徴に関する脳情報表現の距離空間(意味空間)である視覚特徴空間を構築する。特徴空間構築部123は、例えば、線形回帰モデルによる下記の式(1)を用いて、視覚特徴空間のモデルを構築する。
【0034】
Rv=Sv×Wv ・・・ (1)
【0035】
Svは、視覚特徴量を示し、Rvは、Svを入力としたときの脳活動情報の推定値である。この脳活動情報の推定値は、視覚特徴空間における位置情報(第1脳情報)に対応する。Wvは、脳活動情報のパターンと視覚特徴量との関連付けを行うときの係数情報(重み付け情報)であり、学習の結果として獲得されるものである。このWvの推定には、例えば、L2ノルムを考慮したリッジ回帰を用いてもよい。また、視覚特徴空間における位置情報Rv、視覚特徴量Sv、及び係数情報Wvは、多次元の情報であり、例えば、ベクトルや行列、配列データなどである。一つの例として、視覚特徴量Svがn次元のベクトル、脳活動情報の推定値Rvがn次元のベクトルとしたとき、n次元の視覚特徴量によって定まるn次元空間上の位置ベクトルとしてとらえることができる。この例では、視覚特徴量Svの次元数と脳活動情報の推定値Rvの次元数は同じであるが、同じである必要はなく、全く異なる次元数であることもできる。
【0036】
特徴空間構築部123は、視覚特徴量と脳活動の計測結果との複数の組データと、式(1)とに基づいて学習処理を実行し、係数情報Wvを構築結果(第1の対応情報)として生成する。視覚特徴空間を構築する際に用いる計測結果は、画像及び音を同時に推定基準者S1に与えた場合の計測結果、又は、画像のみを推定基準者S1に与えた場合の計測結果である。また、特徴空間構築部123は、生成した係数情報Wvを構築結果記憶部115に記憶させる。
【0037】
また、例えば、特徴空間構築部123は、特徴量記憶部113が時系列に記憶する聴覚特徴量と、計測結果記憶部114が時系列に記憶する計測結果との複数の組データに基づいて、聴覚特徴に関する脳情報表現の距離空間(意味空間)である聴覚特徴空間を構築する。特徴空間構築部123は、例えば、線形回帰モデルによる下記の式(2)を用いて、聴覚特徴空間のモデルを構築する。
【0038】
Rs=Ss×Ws ・・・ (2)
【0039】
Ssは、視覚特徴量を示し、Rsは、Ssを入力としたときの脳活動情報の推定値である。この脳活動情報の推定値は、聴覚特徴空間における位置情報(第1脳情報)に対応する。Wsは、脳活動情報のパターンと聴覚特徴量との関連付けを行うときの係数情報(重み付け情報)であり、学習の結果として獲得されるものである。このWsの推定には、例えば、L2ノルムを考慮したリッジ回帰を用いてもよい。また、聴覚特徴空間における位置情報Rs、聴覚特徴量Ss、及び係数情報Wsは、多次元の情報であり、例えば、ベクトルや行列、配列データなどである。一つの例として、聴覚特徴量Ssがm次元のベクトル、脳活動情報の推定値Rsがm次元のベクトルとしたとき、m次元の聴覚特徴量によって定まるm次元空間上の位置ベクトルとしてとらえることができる。この例では、聴覚特徴量Ssの次元数と脳活動情報の推定値Rsの次元数は同じであるが、同じである必要はなく、全く異なる次元数であることもできる。
【0040】
特徴空間構築部123は、聴覚特徴量と脳活動の計測結果との複数の組データと、式(2)とに基づいて学習処理を実行し、係数情報Wsを構築結果(第1の対応情報)として生成する。聴覚特徴空間を構築する際に用いる計測結果は、画像及び音を同時に推定基準者S1に与えた場合の計測結果、又は、音のみを推定基準者S1に与えた場合の計測結果である。また、特徴空間構築部123は、生成した係数情報Wsを構築結果記憶部115に記憶させる。
【0041】
感情空間構築部124(第2生成部の一例)は、学習用動画データに対応する感情評定と、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、感情評定と感情空間における位置情報(第2脳情報)との対応関係を示す第3の対応情報を生成する。感情評定としては、「快」「不快」「楽しい」「恐怖」というような感情や情動を表す複数、例えば、i個(iは自然数であり、例えば、数十から100程度が想定できるが、この数に限るものではない)の単語と、それぞれの単語についての程度を表す数字(例えば1から5)の組み合わせ(例:(恐怖、3)、(楽しい、5)等)を用いることができる。そして、この感情評定は、学習用動画データをあらかじめ視聴した被験者によって、取得されたものを利用することができるが、推定基準者S1自身で、取得することも可能である。感情評定について、この例を利用する場合、i次元のベクトルと考えることができる。
例えば、感情空間構築部124は、感情評定記憶部112が時系列に予め記憶されている感情評定と、計測結果記憶部114が時系列に記憶する計測結果との複数の組データに基づいて、感情に関する脳情報表現の距離空間(意味空間)である感情空間を構築する。感情空間構築部124は、例えば、線形回帰モデルによる下記の式(3)を用いて、感情空間のモデルを構築する。
【0042】
Re=Se×We ・・・ (3)
【0043】
Seは、感情評定を示し、Reは、Seを入力としたときの脳活動情報の推定値である。この脳活動情報の推定値は、推定される感情空間における位置情報(第2脳情報)に対応する。Weは、脳活動情報のパターンと感情評定との関連付けを行うときの係数情報(重み付け情報)であり、学習の結果として獲得されるものである。このWeの推定には、例えば、L2ノルムを考慮したリッジ回帰を用いてもよい。また、感情空間における位置情報Re、感情評定Se、及び係数情報Weは、多次元の情報であり、例えば、ベクトルや行列、配列データなどである。感情評定をi次元のベクトル、第2脳情報Reをi次元のベクトルとした時、i次元の感情評定により定まるi次元空間の位置ベクトルとしてとらえることができる。この例では、感情評定の次元数と第2脳情報の次元数は同じであるが、同じである必要はなく、全く異なる次元数であってもよい。感情評定は、一例としては、複数の感覚に関する特徴量(例えば、視覚特徴量Svと聴覚特徴量Ssとの合算特徴量)の次元数より少ない次元数の情報である。
【0044】
感情空間構築部124は、感情評定と脳活動の計測結果との複数の組データと、式(3)とに基づいて学習処理を実行し、係数情報Weを構築結果(第3の対応情報)として生成する。感情空間を構築する際に用いる計測結果は、例えば、画像及び音を同時に推定基準者S1に与えた場合の計測結果、又は、画像のみを推定基準者S1に与えた場合の計測結果、又は、音のみを推定基準者S1に与えた場合の計測結果である。また、感情空間構築部124は、生成した係数情報Weを構築結果記憶部115に記憶させる。
【0045】
空間対応構築部125(第3生成部の一例)は、学習用動画データに対応する複数の第1脳情報(視覚・聴覚空間における位置情報)が示す距離空間における位置と、第2脳情報(感情空間における位置情報)が示す距離空間における位置とに基づいて、視覚・聴覚空間と感情空間との対応情報である第2の対応情報を生成する。複数の第1脳情報は、例えば、上述した係数情報Wv及び係数情報Wsに基づいて、学習用動画データに対応する視覚特徴量及び聴覚特徴量から生成された視覚・聴覚空間における位置情報である。また、第2脳情報は、上述した係数情報Weに基づいて、学習用動画データに対応する感情評定から生成された感情空間における位置情報である。
【0046】
空間対応構築部125は、視覚・聴覚空間における位置情報と、感情空間における位置情報との組データから、例えば、線形回帰モデルによる下記の式(4)を用いて、視覚・聴覚空間と感情空間との対応関係を学習する。
【0047】
Re=[Rv,Rs]×A・・・ (4)
【0048】
Reは、推定される感情空間における位置情報(第2脳情報)を示し、[Rv,Rs]は、視覚及び聴覚空間における位置情報を結合した結果を意味する。また、Aは、係数情報(重み付け情報)であり、視覚・聴覚空間と感情空間との対応関係を示す第2の対応情報(学習結果)に対応する。そして、Reは、例えば、i次元空間における位置ベクトルで表すことができ、また、[Rv、Rs]は、視覚と聴覚を組み合わせた、例えば、(n+m)次元空間における位置ベクトルで表すことができる。これにより、この二つの位置ベクトルの関係を、脳活動の計測結果を介して、関連付けることができ、この関連付けが、第2の対応情報となる。また、Aを推定する際には、L2ノルムを考慮したリッジ回帰を用いてもよい。
このように、空間対応構築部125は、視覚・聴覚空間における位置情報と感情空間における位置情報とを対応付け、第2の対応情報を生成する。空間対応構築部125は、生成した第2の対応情報を、構築結果記憶部115に記憶させる。
【0049】
推定装置40は、解析装置10が学習処理により構築した各種構築結果と、それらの対応情報と用いて、推定対象の動画データから感情評定を推定する推定処理を実行する。推定装置40は、記憶部41と、制御部42とを備える。
【0050】
記憶部41は、例えば、特徴量記憶部411と、投射結果記憶部412と、感情情報記憶部413と、推定結果記憶部414とを備える。
特徴量記憶部411は、推定対象の動画データから抽出された視覚特徴量と、聴覚特徴量とを記憶する。具体的には、特徴量記憶部411は、特徴量抽出部421により所定の時間間隔ごと(所定の単位時間ごと)に推定対象の動画データから抽出された視覚特徴量及び聴覚特徴量を、時系列に記憶する。
【0051】
投射結果記憶部412は、感情評定の推定処理における中間情報である各種投射結果を記憶する。投射結果記憶部412は、例えば、視覚特徴量から視覚特徴空間に投射した投射結果、聴覚特徴量から聴覚特徴空間に投射した投射結果、及び視覚・聴覚空間から感情空間に投射した投射結果を記憶する。また、投射結果記憶部412は、例えば、所定の時間間隔ごとに各種投射結果を時系列に記憶する。
【0052】
感情情報記憶部413は、動画・画像または音などの刺激に対して所定の時間間隔ごとに紐づけられた感情評定と、例えば、“悲しい”、“恐怖”などの複数種別のうちいずれかの感情の名称(ラベル情報)とを対応付けて記憶する。
推定結果記憶部414は、推定装置40により推定された、推定対象の動画データに対応する感情評定の推定結果を記憶する。推定結果記憶部414は、例えば、所定の時間間隔ごとに、感情評定の推定結果を時系列に記憶する。
【0053】
制御部42は、例えば、CPUなどを含むプロセッサであり、推定装置40を統括的に制御する。制御部42は、特徴量抽出部421と、特徴空間投射部422と、感情空間投射部423と、推定処理部424とを備える。
【0054】
特徴量抽出部421は、推定対象の動画データを取得して、当該推定対象の動画データから複数の感覚に関する複数の特徴量を抽出する。推定対象の動画データには、画像データと音データとが含まれる。特徴量抽出部421は、例えば、推定対象の動画データの画像データから所定の時間間隔ごとの視覚特徴量を抽出し、音データから所定の時間間隔ごとの聴覚特徴量を抽出する。特徴量抽出部421は、推定対象の動画データから抽出した所定の時間間隔ごとの視覚特徴量及び聴覚特徴量を時系列に特徴量記憶部411に記憶させる。
【0055】
特徴空間投射部422(第1変換部の一例)は、上述した第1の対応情報に基づいて、特徴量抽出部421によって推定対象の動画データから抽出された複数の特徴量を、それぞれに対応する複数の第1脳情報に変換する。特徴空間投射部422は、まず、解析装置10の構築結果記憶部115が記憶する構築結果(係数情報Wv及び係数情報Ws)を取得する。特徴空間投射部422は、特徴量記憶部411が記憶する視覚特徴量Svを、取得した係数情報Wvを用いて、視覚特徴空間に投射し、視覚特徴空間における位置情報Rvに変換する。特徴空間投射部422は、特徴量記憶部411が記憶する聴覚特徴量Ssを、取得した係数情報Wsを用いて、聴覚特徴空間に投射し、視覚特徴空間における位置情報Rsに変換する。特徴空間投射部422は、これらの投射処理を、所定の時間間隔ごとの特徴量(Sv、Ss)に対して実行し、投射結果(Rv、Rs)を投射結果記憶部412に時系列に記憶させる。
【0056】
感情空間投射部423(第2変換部の一例)は、上述した第2の対応情報に基づいて、特徴空間投射部422によって変換された複数の第1脳情報を、第2脳情報に変換する。具体的には、感情空間投射部423は、まず、解析装置10の構築結果記憶部115が記憶する構築結果(係数情報A)を取得する。感情空間投射部423は、投射結果記憶部412が記憶する投射結果(Rv、Rs)を取得し、例えば、視覚特徴空間における位置情報Rvと聴覚特徴空間における位置情報Rsとを結合して、視覚・聴覚空間における位置情報Rv及びRsを生成する。感情空間投射部423は、取得した係数情報Aを用いて、視覚・聴覚空間における位置情報Rv及びRsを感情空間に投射し、感情空間における位置情報Reに変換する。感情空間投射部423は、これらの投射し、変換する処理を、所定の時間間隔ごとの視覚・聴覚空間における位置情報Rv及びRsに対して実行し、変換した結果(Re)を投射結果記憶部412に時系列に記憶させる。
【0057】
推定処理部424(推定部の一例)は、感情空間投射部423によって変換された第2脳情報(感情空間における位置情報Re)に基づいて、推定対象の動画データに対応する感情評定を推定する。推定処理部424は、例えば、解析装置10の構築結果記憶部115が記憶する係数情報We(第3の対応情報)など利用して、感情空間における位置情報Reを逆変換して、感情評定を推定してもよいし、予め判明している感情評定に対応する感情空間における位置との距離に基づいて、感情評定を推定してもよい。推定処理部424は、感情評定の推定結果を推定結果記憶部414に記憶させる。
【0058】
推定処理部424は、感情評定の推定結果を推定装置40に外部に出力する。推定処理部424は、例えば、感情評定の推定結果を外部に出力する際に、感情情報記憶部413が記憶する情報を用いて、感情の名称に変換して出力してもよい。
【0059】
次に、図面を参照して、本実施形態による推定システム1の動作についての一例を説明する。
図2は、本実施形態による推定システム1の学習処理の一例を示すフローチャートである。また、
図3は、本実施形態における距離空間の構築処理の一例を説明する図である。また、
図4は、本実施形態における空間対応関係の構築処理の一例を説明する図である。
【0060】
図2に示すように、推定システム1の解析装置10は、学習用の動画による視覚刺激及び聴覚刺激に対する脳活動を計測する(ステップS101)。解析装置10の計測制御部121は、動画記憶部111が記憶する動画データを表示装置21及びスピーカ22に出力させ、当該動画データによる画像及び音を刺激として推定基準者S1に与えた際の脳活動を、fMRI30に計測させる。計測制御部121は、fMRI30が計測した脳活動の計測結果(fMRI信号)を所定の時間間隔で取得し、当該計測結果を計測結果記憶部114に時系列に記憶させる。
【0061】
次に、解析装置10の特徴量抽出部122は、学習用動画データから視覚特徴量及び聴覚特徴量を抽出する(ステップS102、
図3参照)。特徴量抽出部122は、所定の時間間隔ごとの視覚特徴量及び聴覚特徴量を抽出し、時系列に特徴量記憶部113に記憶させる。
【0062】
次に、解析装置10の特徴空間構築部123は、視覚特徴量と脳活動の計測結果とから視覚特徴空間を構築する(ステップS103、
図3参照)。特徴空間構築部123は、特徴量記憶部113が時系列に記憶する視覚特徴量と、計測結果記憶部114が時系列に記憶する計測結果との複数の組データを、上述した式(1)を用いて学習処理して、視覚特徴空間のモデルを構築する。特徴空間構築部123は、学習結果として、係数情報Wvを生成し、生成した係数情報Wvを構築結果記憶部115に記憶させる。
【0063】
次に、特徴空間構築部123は、聴覚特徴量と脳活動の計測結果とから聴覚特徴空間を構築する(ステップS104、
図3参照)。特徴空間構築部123は、特徴量記憶部113が時系列に記憶する聴覚特徴量と、計測結果記憶部114が時系列に記憶する計測結果との複数の組データを、上述した式(2)を用いて学習処理して、聴覚特徴空間のモデルを構築する。特徴空間構築部123は、学習結果として、係数情報Wsを生成し、生成した係数情報Wsを構築結果記憶部115に記憶させる。
【0064】
次に、解析装置10の感情空間構築部124は、感情評定と脳活動の計測結果とから感情空間を構築する(ステップS105、
図3参照)。感情空間構築部124は、感情評定記憶部112が時系列に予め記憶されている感情評定と、計測結果記憶部114が時系列に記憶する計測結果との複数の組データを、上述した式(3)を用いて学習処理して、感情空間のモデルを構築する。感情空間構築部124は、学習結果として、係数情報Weを生成し、生成した係数情報Weを構築結果記憶部115に記憶させる。
【0065】
次に、解析装置10の空間対応構築部125は、視覚特徴空間及び聴覚特徴空間と、感情空間との対応関係を学習する(ステップS106、
図4参照)。空間対応構築部125は、視覚・聴覚空間における位置情報と、感情空間における位置情報との組データから、上述した式(4)を用いて、視覚・聴覚空間と感情空間との対応関係を学習する。空間対応構築部125は、学習結果として、係数情報Aを生成し、生成した係数情報Aを構築結果記憶部115に記憶させる。ステップS106の処理後に、空間対応構築部125は、学習処理を終了する。
【0066】
上述したステップS102からステップS105までの処理は、
図3に示す距離空間の構築処理に対応する。
図3に示すように、解析装置10は、学習用動画データから視覚特徴量及び聴覚特徴量を抽出するとともに、学習用動画データに対応する感情評定を取得する。そして、解析装置10は、脳活動の計測結果に基づいて、視覚特徴量から視覚特徴空間を構築して係数情報Wv(第1の対応情報)を生成し、聴覚特徴量から聴覚特徴空間を構築して係数情報Ws(第1の対応情報)を生成する。また、解析装置10は、脳活動の計測結果に基づいて、感情評定から感情空間を構築して係数情報Weを生成する。
【0067】
また、上述したステップS106の処理は、
図4に示す空間対応関係の構築処理に対応する。
図4に示すように、解析装置10は、上述した距離空間の構築処理にて構築した視覚特徴空間及び聴覚特徴空間(視覚・聴覚空間)と、感情空間との対応関係を、例えば、線形回帰モデルを用いて、学習する。
【0068】
次に、図面を参照して、本実施形態による推定システム1の推定処理について説明する。
図5は、本実施形態による推定システム1の推定処理の一例を示すフローチャートである。また、
図6は、本実施形態による推定システム1の推定処理の一例の概要を説明する図である。
【0069】
図5に示すように、推定装置40の特徴量抽出部421は、まず、推定対象の動画データを取得する(ステップS201)。
次に、特徴量抽出部421は、推定対象の動画データから視覚特徴量及び聴覚特徴量を抽出する(ステップS202、
図6参照)。特徴量抽出部421は、例えば、推定対象の動画データに含まれる画像データから視覚特徴量Svを抽出する。また、特徴量抽出部421は、例えば、推定対象の動画データに含まれる音データから聴覚特徴量Ssを抽出する。特徴量抽出部421は、抽出した視覚特徴量Sv及び聴覚特徴量Ssを特徴量記憶部411に記憶させる。
【0070】
次に、推定装置40の特徴空間投射部422は、視覚特徴量を視覚特徴空間に投射する(ステップS203、
図6参照)。特徴空間投射部422は、特徴量記憶部411が記憶する視覚特徴量Svを、解析装置10が生成した係数情報Wvを用いて、視覚特徴空間に投射し、視覚特徴空間における位置情報Rvに変換する。特徴空間投射部422は、視覚特徴空間における位置情報Rvを投射結果記憶部412に記憶させる。
【0071】
次に、特徴空間投射部422は、聴覚特徴量を聴覚特徴空間に投射する(ステップS204、
図6参照)。特徴空間投射部422は、特徴量記憶部411が記憶する聴覚特徴量Ssを、解析装置10が生成した係数情報Wsを用いて、聴覚特徴空間に投射し、聴覚特徴空間における位置情報Rsに変換する。特徴空間投射部422は、聴覚特徴空間における位置情報Rsを投射結果記憶部412に記憶させる。
【0072】
次に、推定装置40の感情空間投射部423は、視覚特徴空間及び聴覚特徴空間の位置から感情空間の位置を推定する(ステップS205、
図6参照)。感情空間投射部423は、視覚特徴空間における位置情報Rvと聴覚特徴空間における位置情報Rsとを結合して、視覚・聴覚空間における位置情報Rv及びRsを生成する。感情空間投射部423は、解析装置10が生成した係数情報Aを用いて、視覚・聴覚空間における位置情報Rv及びRsを感情空間に投射し、感情空間における位置情報Reに変換する。
【0073】
次に、推定装置40の推定処理部424は、感情空間の位置から感情評定を逆投射する(ステップS206、
図6参照)。推定処理部424は、感情空間における位置情報Reを、解析装置10が生成した係数情報Weを利用して、感情評定に逆投射し、感情評定を推定する。
次に、推定処理部424は、推定した感情評定を出力する(ステップS207)。
推定装置40は、推定対象の動画データに対して、上述したステップS201からS207の処理を、所定の時間間隔ごとに繰り返し実行する。
【0074】
以上説明したように、本実施形態による推定システム1は、特徴量抽出部421と、特徴空間投射部422(第1変換部)と、感情空間投射部423(第2変換部)と、推定処理部424(推定部)とを備える。特徴量抽出部421は、推定対象の刺激情報(例えば、動画データ)から複数の感覚に関する複数の特徴量(例えば、視覚特徴量及び聴覚特徴量)を抽出する。特徴空間投射部422は、第1の対応情報に基づいて、特徴量抽出部421によって推定対象の刺激情報から抽出された感覚に関する複数の特徴量を、それぞれに対応する複数の第1脳情報(例えば、視覚特徴空間における位置情報及び聴覚特徴空間における位置情報)に変換する。第1の対応情報は、複数の感覚に関するそれぞれの特徴量と、複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す情報である。感情空間投射部423は、第2の対応情報に基づいて、特徴空間投射部422によって変換された複数の第1脳情報を、第2脳情報(例えば、感情空間における位置情報)に変換する。第2の対応情報は、第1脳情報と、推定基準者S1の内的な状態(例えば、感情)に対応する少なくとも1つの第2脳情報との対応関係を示す情報である。推定処理部424は、感情空間投射部423によって変換された第2脳情報に基づいて、推定対象の刺激情報に対応する内的な状態を推定する。ここで、第1脳情報と第2脳情報は、独立して取り扱われており、仮に、脳内においてこれらが独立に表現されていたとしても、感覚特徴量から感情空間への推定を有効に行うことができる。
【0075】
これにより、本実施形態による推定システム1は、第1の対応情報と、第2の対応情報とを使用して、感情などの推定基準者S1の内的な状態を推定するため、内的な状態を推定する度に、fMRI30による脳活動の計測を行う必要がない。そのため、本実施形態による推定システム1は、刺激情報に対する推定基準者S1の内的な状態を、迅速、且つ簡便に推定することができる。例えば、本実施形態による推定システム1は、映画やドラマ、ホームビデオなどの映像・音声コンテンツが視聴者(例えば、推定基準者S1)に与える感情の効果を、実際に視聴させずに画像や音声から評価することができる。
【0076】
また、
図7は、本実施形態による推定システム1の効果の一例を説明する図である。
この図において、グラフの横軸は、本実施形態の推定システム1における推定された感情評定(推定値)と実際の感情評定(真の値)との相関係数の一例を示している。ここでの本実施形態における相関係数は、脳情報に関する知見を利用して感情評定を推定した場合を示している。また、グラフの縦軸は、脳情報を介さずに、単純に視覚特徴量及び聴覚特徴量から感情評定を推定した場合の推定された感情評定と実際の感情評定との相関係数を示している。
【0077】
脳(脳情報)を介さずとは、
図4に示すような視覚・聴覚特徴量から視覚・聴覚空間及び感情空間を介して感情評定を推定する本実施形態の方法に対し、視覚・聴覚特徴量から直接的に感情評定を推定する方法である。より具体的には、脳情報を介さずとは、視覚・聴覚特徴量から感情評定を説明するような線形回帰モデルを示す。また、各丸印は、感情評定の項目(名称、又はラベル情報)に対応している。また、この結果は、ある条件の学習用動画データを用いて学習処理を行い(一例として、「ワクワクする」に関連する時間帯から取得した視覚・聴覚特徴量及び感情評定を学習処理した例)、構築した従来の推定システムを用いて示されたものである。
【0078】
図7において、黒丸印は、fMRI30により脳活動を計測せず、脳情報を介さずに推定した場合に比べて、本実施形態における相関係数が高く、推定精度の良い感情評定の項目を示している。縦縞の丸印は、本実施形態における相関係数が0.2以上であるが、脳情報を介さずに推定した場合に比べて、推定精度の悪い感情評定の項目を示している。白丸印は、脳情報を介する、及び脳情報を介さない場合のいずれにおいても相関係数が0.2以下であり、推定精度が低い感情評定の項目を示している。
【0079】
図7に示すように、黒丸印の数が、縦縞の丸印の数よりも多く、本実施形態による推定システム1は、脳活動を介さずに推定した場合に比べて、推定精度が高い傾向にあることを示している。このように、この条件において、本実施形態による推定システム1が、単純に感覚に関する特徴量から推定基準者S1の内的な状態を推定する場合に比べて、高い推定精度を持つことが示されている。サインランク検定(p<0.01)により、脳情報を介さずに推定した場合に比べて、本実施形態による推定システム1の方が、有意に相関係数が高い結果となった。
【0080】
また、本実施形態では、第1脳情報は、感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報(例えば、感覚に対応する距離空間における位置情報)である。第2脳情報は、内的な状態を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報(例えば、内的な状態に対応する距離空間における位置情報)である。感情空間投射部423は、第2の対応情報に基づいて、複数の第1脳情報が示す距離空間における位置を、第2脳情報が示す距離空間における位置に変換する。推定処理部424は、第2脳情報が示す距離空間における位置に基づいて、内的な状態を推定する。
この脳活動の情報パターンの距離に関する情報は、本実施形態による推定システム1により推定値として得られるものである。このため、本実施形態による推定システム1は、推定対象の動画データについて、その動画データを推定基準者S1が視聴した際の脳活動をfMRI30により新しく計測しない場合でも、推定した距離空間を利用して、刺激情報に対する推定基準者S1の内的な状態を、迅速、且つ簡便に推定することができる。
【0081】
また、本実施形態による推定システム1は、特徴空間構築部123(第1生成部)と、感情空間構築部124(第2生成部)と、空間対応構築部125(第3生成部)とを備える。特徴空間構築部123は、学習用動画データから抽出された視覚特徴量及び聴覚特徴量と、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、視覚及び聴覚のそれぞれに対応する第1の対応情報を生成する。感情空間構築部124は、学習用動画データに対応する感情を示す情報(感情評定)と、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、第3の対応情報を生成する。第3の対応情報は、感情評定と第2脳情報との対応関係を示す。空間対応構築部125は、学習用動画データに対応する複数の感覚についての第1脳情報が示す距離空間(視覚・聴覚空間)における位置と、第3の対応情報に基づいて感情評定から生成された第2脳情報が示す距離空間(感情空間)における位置とに基づいて、第2の対応情報を生成する。
これにより、本実施形態による推定システム1は、感情(内的な状態)を推定するための第1の対応情報及び第2の対応情報を生成することができ、推定対象の動画データに対応する推定基準者S1の感情(内的な状態)を、迅速、且つ簡便に推定することができる。
【0082】
本実施形態では、特徴量抽出部421は、所定の単位時間ごとに、特徴量を抽出する。推定処理部424は、所定の単位時間ごとの第2脳情報が示す距離空間における位置(感情空間における位置)に基づいて、推定対象の動画データに対応する所定の単位時間ごとの感情を推定する。
これにより、本実施形態による推定システム1は、例えば、感情(内的な状態)の時間変化を推定することができる。
【0083】
本実施形態では、複数の感覚は、視覚と聴覚とである。特徴量抽出部421は、視覚に関する視覚特徴量と、聴覚に関する聴覚特徴量とを抽出する。特徴空間投射部422は、視覚に対応する第1の対応情報に基づいて、視覚特徴量を視覚に対応する第1脳情報が示す視覚特徴空間における位置に変換し、聴覚に対応する第1の対応情報に基づいて、聴覚特徴量を聴覚に対応する第1脳情報が示す聴覚特徴空間における位置に変換する。感情空間投射部423は、第2の対応情報に基づいて、特徴空間投射部422によって変換された視覚特徴空間における位置及び聴覚特徴空間における位置を、第2脳情報が示す距離空間(感情空間)における位置に変換する。
これにより、本実施形態による推定システム1は、視覚と聴覚とによる推定対象の動画データから推定基準者S1の内的な状態を、適切に推定することができる。
【0084】
本実施形態では、推定基準者S1の内的な状態には、推定基準者S1の感情が含まれる。感情空間投射部423は、複数の第1脳情報が示す距離空間における位置と、感情に対応する第2脳情報が示す感情空間における位置との対応関係を示す第2の対応情報に基づいて、複数の第1脳情報が示す距離空間における位置を、感情空間における位置に変換する。推定処理部424は、感情空間における位置に基づいて、推定対象の動画データに対応する感情を推定する。
これにより、本実施形態による推定システム1は、例えば、推定対象の動画データから適切に感情を推定することができる。
【0085】
また、本実施形態では、複数の感覚に関する特徴量(例えば、視覚特徴量及び聴覚特徴量)、及び内的な状態を示す情報(例えば、感情評定)は、多次元の情報であり、内的な状態を示す情報は、複数の感覚に関する特徴量の次元数より少ない次元数の情報である、
これにより、本実施形態による推定システム1は、多次元の特徴量(例えば、視覚特徴量及び聴覚特徴量)より次元数の少ない状態を示す情報(例えば、感情評定)を推定するため、多次元の特徴と同等かそれ以上の次元数の情報を推定する場合と比べて、より精度よく推定基準者S1の内的な状態を推定することが期待できる。
【0086】
また、本実施形態では、推定処理部424は、感情空間における位置から第3の対応情報に基づいて、推定対象の動画データに対応する感情を推定する。すなわち、推定処理部424は、第3の対応情報を利用した逆投射(逆変換)により感情空間における位置から感情を推定する。
これにより、本実施形態による推定システム1は、逆投射(逆変換)という簡易な手法により、感情空間における位置から感情を適切に推定することができる。
【0087】
また、本実施形態による推定方法は、特徴量抽出ステップと、第1変換ステップと、第2変換ステップと、推定ステップとを含む。特徴量抽出ステップにおいて、特徴量抽出部421が、推定対象の刺激情報から複数の感覚に関する複数の特徴量を抽出する。第1変換ステップにおいて、特徴空間投射部422が、複数の感覚に関するそれぞれの特徴量と、複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報に基づいて、特徴量抽出ステップによって推定対象の刺激情報から抽出された複数の特徴量を、それぞれに対応する複数の第1脳情報に変換する。第2変換ステップにおいて、感情空間投射部423が、第1脳情報と、推定基準者S1の内的な状態に対応する少なくとも1つの第2脳情報との対応関係を示す第2の対応情報に基づいて、第1変換ステップによって変換された複数の第1脳情報を、第2脳情報に変換する。推定ステップにおいて、推定処理部424が、第2変換ステップによって変換された第2脳情報に基づいて、推定対象の刺激情報に対応する内的な状態を推定する。
これにより、本実施形態による推定方法は、上述した推定システム1と同様の効果を奏し、刺激情報に対する推定基準者S1の内的な状態を、迅速、且つ簡便に推定することができる。
【0088】
[第2の実施形態]
次に、図面を参照して、第2の実施形態による推定システム1aについて説明する。
上述した第1の実施形態では、動画データから抽出した視覚特徴量及び聴覚特徴量から、第1変換ステップと第2変換ステップとの2段階の変換により、感情を推定する例を説明したが、本実施形態では、数理モデルを利用して、1段の変換により、視覚特徴量及び聴覚特徴量から感情を推定する一例について説明する。
【0089】
図8は、第2の実施形態による推定システム1aの一例を示す機能ブロック図である。
図8に示すように、推定システム1aは、解析装置10aと、表示装置21と、スピーカ22と、fMRI30と、推定装置40aとを備える。
この図において、上述した
図1と同一の構成には同一の符号を付与してその説明を省略する。
【0090】
解析装置10aは、記憶部11aと、制御部12aとを備える。また、記憶部11aは、解析装置10aが利用する各種情報を記憶する。記憶部11aは、例えば、動画記憶部111と、感情評定記憶部112と、特徴量記憶部113と、計測結果記憶部114と、構築結果記憶部115aとを備える。
【0091】
構築結果記憶部115aは、解析装置10aの学習処理によって構築された各種構築結果を記憶する。構築結果記憶部115aは、例えば、視覚特徴空間(視覚空間の一例)の構築結果(重み付け情報Wv)、聴覚特徴空間(聴覚空間の一例)の構築結果(重み付け情報Ws)、感情空間の構築結果(重み付け情報We)、及び、視覚特徴量及び聴覚特徴量から感情評定を推定する回帰モデルのモデルパラメータ(重み付け情報A)を記憶する。モデルパラメータ(重み付け情報A)の詳細については、後述する。
【0092】
制御部12aは、例えば、CPUなどを含むプロセッサであり、解析装置10aを統括的に制御する。制御部12aは、計測制御部121と、特徴量抽出部122と、特徴空間構築部123と、感情空間構築部124と、空間対応構築部125aと、モデル構築部126とを備える。
【0093】
空間対応構築部125a(第3生成部の一例)は、第1の実施形態と同様に、第3の対応情報(第1の実施形態の第2の対応情報)を生成する。なお、本実施形態において、説明の都合上、第1の実施形態の第2の対応情報を第3の対応情報とし、第1の実施形態の第3の対応情報を第2の対応情報として説明する。
また、空間対応構築部125aは、第3の対応情報を生成する際の視覚・聴覚空間の座標次元ごとの、感情空間の座標位置を説明する際の貢献度を算出する。すなわち、空間対応構築部125aは、第3の対応情報を生成する際の複数の第1脳情報(視覚・聴覚空間における位置情報)に含まれる要素(各次元)ごとの、第2脳情報における各感情の位置情報を説明する際の貢献度を生成する。
【0094】
この処理が必要なのは、視覚特徴空間及び聴覚特徴空間と感情空間の上では、視聴覚特徴量と感情評定の各要素間(各次元間)の相関が、視覚特徴空間及び聴覚特徴空間と感情空間に位置付ける前の視覚特徴量・聴覚特徴量と感情評定の各要素間(各次元間)の相関と比べて、異なっている可能性があるためである。言い換えれば、視覚特徴空間及び聴覚特徴空間と感情空間の上における、感情評定のある要素(次元)と強い相関のある視聴覚特徴量のある要素(次元)、または、相関のない他の要素(次元)を定量化するということである。この各要素間の相関、すなわち貢献度を考慮する例として、相関の強い視聴覚特徴量を優先的に利用することが挙げられるが、これにより正確な推定を行うことが期待できる。
【0095】
モデル構築部126は、複数の特徴量と、内的な状態を示す情報と、各要素の貢献度とに基づいて、複数の特徴量から内的な状態を示す情報を推定する数理モデルを構築する。モデル構築部126は、例えば、視覚特徴量及び聴覚特徴量と、感情評定と、空間対応構築部125aが生成した各要素(各次元)の貢献度とに基づいて、線形回帰モデルによる下記の式(5)を用いて、視覚特徴量及び聴覚特徴量から感情評定を推定する学習処理を実行する。
【0096】
Se^=Svs×A ・・・ (5)
L=(Se-Svs×A)T(Se-Svs×A)-2λ(RA-r) ・・・ (6)
【0097】
Se^は、推定される感情評定を示し、Seは、感情評定を示し、Svsは、視覚特徴量と聴覚特徴量との結合の結果を示す。また、Aは、式(6)のLを最小化するように推定される係数情報(重み付け情報、モデルパラメータ)であり、本実施形態における学習結果(構築結果)に対応する。また、2λ(RA-r)は、視覚・聴覚特徴量の各要素の貢献度と係数情報Aとの関係についての制約に関する項であり、これにより係数情報Aの範囲が限定される。制約条件は、例えば、ある感情評定との共起関係が弱い視覚・聴覚特徴の要素パターンとなるべく直交するように、その感情に対応する係数情報Aの要素パターンを推定する、といったものである。このとき、Rとrは、その条件を満たすように決定される。
【0098】
式(6)について、さらに詳しく説明する。式(6)において、第1項は、実際の感情評定Seと推定された感情評定の差異についてのコサイン距離(内積)を表し、通常はこの値が最小となるようにパラメータAの設定が行われる。第2項は、回帰モデルを解く場合における正則化項である。例えば、視聴覚特徴量Svsと実際の感情評定Seとの共分散行列において、各感情評定次元に対応するベクトルと直交するベクトルを算出できるが、この直交するベクトルを感情評定次元分、組み合わせたものを行列Rとする。これによりRはSeを説明するときの、Svの各要素の貢献度を表現する行列となり、式(6)のLを最小化する過程で、パラメータAをRと直交する(RA=0)ように推定が行われ、視聴覚特徴量の貢献度が反映されることとなる。
このように、モデル構築部126は、回帰モデルにより、視覚特徴量及び聴覚特徴量から感情評定を推定するモデルパラメータである重み付け情報Aを生成する。モデル構築部126は、生成した重み付け情報Aを、構築結果記憶部115aに記憶させる。
【0099】
推定装置40aは、解析装置10aが学習処理により学習した学習結果を用いて、推定対象の動画データから感情評定を推定する推定処理を実行する。推定装置40aは、記憶部41aと、制御部42aとを備える。
記憶部41aは、推定装置40aが利用する各種情報を記憶する。記憶部41aは、例えば、特徴量記憶部411と、感情情報記憶部413と、推定結果記憶部414とを備える。
【0100】
制御部42aは、例えば、CPUなどを含むプロセッサであり、推定装置40aを統括的に制御する。制御部42aは、特徴量抽出部421と、推定処理部424aとを備える。
【0101】
推定処理部424aは、モデル構築部126によって構築された数理モデルに基づいて、特徴量抽出部421によって推定対象の刺激情報から抽出された複数の特徴量から内的な状態を示す情報を考慮して推定した重み付け情報Aを利用して、推定対象の刺激情報に対応する内的な状態を推定する。すなわち、推定処理部424aは、まず、解析装置10の構築結果記憶部115aが記憶する重み付け情報Aを取得する。推定処理部424aは、特徴量記憶部411が記憶する視覚特徴量及び聴覚特徴量(Svs)を、重み付け情報Aを用いて、上述した式(5)により、感情評定を推定する。推定処理部424aは、推定した感情評定を推定結果として推定結果記憶部414に記憶させる。
【0102】
次に、図面を参照して、本実施形態による推定システム1aの動作について説明する。
図9は、本実施形態による推定システム1aの学習処理の一例を示すフローチャートである。また、
図10は、本実施形態における感情評定を推定する回帰モデルの構築処理の一例を説明する図である。
【0103】
図9に示すステップS301からステップS305までの処理は、上述した
図2に示すステップS101からステップS105までの処理と同様であるためここではその説明を省略する。
ステップS305の処理において、感情空間構築部124は、本実施形態における第2の対応情報として、係数情報Weを生成する。
【0104】
ステップS306において、解析装置10aの空間対応構築部125aは、視覚特徴空間及び聴覚特徴空間と、感情空間との対応関係を学習し、視覚・聴覚特徴に関する次元ごとの、各感情を説明する際の貢献度を算出する(ステップS306、
図10参照)。空間対応構築部125aは、視覚・聴覚空間における位置情報と、感情空間における位置情報との組データから、第3の対応情報である、視覚・聴覚空間の座標次元ごとに感情空間の座標次元を説明する際の貢献度を算出する。
【0105】
次に、モデル構築部126は、各次元の貢献度を制約条件として視覚特徴量及び聴覚特徴量から感情評定を推定する回帰モデルを構築する(ステップS307、
図10参照)。モデル構築部126は、特徴量記憶部113が記憶する視覚特徴量及び聴覚特徴量と、感情評定記憶部112が記憶する感情評定との複数の組データを、視覚・聴覚空間の座標次元ごとの貢献度に関する知識を重み付け調整の制約条件として、上述した式(6)のLを最小化するように学習処理して、視覚特徴量及び聴覚特徴量から感情評定を推定する回帰モデルを構築する。ここで、貢献度に関する知識とは、例えば、脳内情報表現における視聴覚特徴の各次元と感情評定との共起関係を表す情報(値)である。モデル構築部126は、学習結果として、視覚特徴量及び聴覚特徴量から感情評定を推定するモデルパラメータである重み付け情報Aを生成し、生成した重み付け情報Aを構築結果記憶部115aに記憶させる。ステップS307の処理後に、モデル構築部126は、学習処理を終了する。
【0106】
次に、図面を参照して、本実施形態による推定システム1aの推定処理について説明する。
図11は、本実施形態による推定システム1aの推定処理の一例を示すフローチャートである。また、
図12は、本実施形態による推定システム1aの推定処理の一例を説明する図である。
【0107】
図11に示すステップS401、ステップS402、及びステップS404の処理は、上述した
図5に示すステップS201、ステップS202、及びステップS204の処理と同様であるため、ここではその説明を省略する。
【0108】
ステップS403において、推定装置40aの推定処理部424aは、回帰モデルにより感情評定を推定する(
図12参照)。推定処理部424aは、特徴量記憶部411が記憶する視覚特徴量及び聴覚特徴量(Svs)を、解析装置10aが生成した重み付け情報A、及び上述した式(5)を用いて、感情評定を推定する。推定処理部424aは、推定した感情評定を推定結果として推定結果記憶部414に記憶させる。
【0109】
以上説明したように、本実施形態による推定システム1aは、特徴空間構築部123(第1生成部)と、感情空間構築部124(第2生成部)と、空間対応構築部125a(第3生成部)と、モデル構築部126と、特徴量抽出部421と、推定処理部424aとを備える。特徴空間構築部123は、学習用の刺激情報から抽出された複数の感覚に関する複数の特徴量(視覚特徴量及び聴覚特徴量)と、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、複数の感覚(視覚及び聴覚)に関するそれぞれの特徴量と、複数の感覚のそれぞれに対応する第1脳情報との対応関係を示す第1の対応情報を生成する。第1脳情報は、感覚を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である。
【0110】
また、感情空間構築部124は、学習用動画データに対応する推定基準者S1の感情評定と、推定基準者S1に学習用動画データによる刺激を与えた際の脳活動の計測結果とに基づいて、感情評定と、感情に対応する第2脳情報との対応関係を示す第2の対応情報(係数情報We)を生成する。第2脳情報は、感情を要因として引き起こされる脳活動の情報パターンの非類似性を距離として定義する情報である。
【0111】
また、空間対応構築部125aは、第1の対応情報に基づいて複数の特徴量(視覚特徴量及び聴覚特徴量)から生成された、学習用動画データに対応する複数の第1脳情報と、第2の対応情報に基づいて感情評定から生成された第2脳情報との対応関係を示す第3の対応情報を生成する。ここで第3の対応情報とは、視覚・聴覚空間の座標次元ごとの、感情空間の座標次元を説明する際の各要素(各次元)の貢献度である。モデル構築部126は、複数の特徴量(視覚特徴量及び聴覚特徴量)と、感情評定と、各要素の貢献度とに基づいて、複数の特徴量(視覚特徴量及び聴覚特徴量)から感情評定を推定する数理モデル(例えば、回帰モデル)を構築する。
【0112】
また、特徴量抽出部421は、推定対象の動画データから複数の感覚(視覚及び聴覚)に関する複数の特徴量(視覚特徴量及び聴覚特徴量)を抽出する。推定処理部424aは、モデル構築部126によって構築された数理モデルに基づいて、特徴量抽出部421によって推定対象の動画データから抽出された複数の特徴量(視覚特徴量及び聴覚特徴量)を用いて感情評定を推定し、当該感情評定に基づいて、推定対象の動画データに対応する感情を推定する。
これにより、本実施形態による推定システム1aは、上述した第1の実施形態と同様の効果を奏し、動画データなどの刺激情報に対する推定基準者S1の感情(内的な状態)を、迅速、且つ簡便に推定することができる。
【0113】
本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、感覚として、視覚及び聴覚を適用する例を説明したが、これに限定されるものではなく、例えば、味覚、嗅覚、触覚などの他の感覚であってもよい。
【0114】
また、上記の各実施形態において、推定基準者S1の内的な状態の一例として、感情を推定する例を説明したがこれに限定されるものではなく、感情に代えて、例えば、善悪など自己の価値観に沿うかどうかの判断や体調の良し悪しなど他の内的な状態を推定するようにしてもよい。
また、上記の各実施形態において、刺激情報の一例として、動画データを用いる例を説明したが、これに限定されるものではなく、視覚、聴覚、味覚、嗅覚、触覚などの感覚に関する特徴量が抽出可能な刺激情報であれば、他の情報であってもよい。
【0115】
また、上記の各実施形態において、第1の対応情報、第2の対応情報、第3の対応情報、は、係数情報(重み付け情報)である例を説明したが、これに限定されるものではなく、変換テーブルや対応表、その他の機械学習の学習結果などの対応情報や係数情報であってもよい。
また、上記の各実施形態において、線形回帰モデルを利用して、学習処理を実行する例を説明したが、これに限定されるものではなく、非線形関数を利用するものであってもよいし、回帰モデル以外の数理モデルを利用するようにしてもよい。
【0116】
また、上記の各実施形態において、推定システム1(1a)は、解析装置10(10a)と、表示装置21と、スピーカ22と、fMRI30と、推定装置40(40a)とを備える例を説明したが、解析装置10(10a)の一部又は全てを推定装置40(40a)が備えるようにしてもよい。また、解析装置10(10a)及び推定装置40(40a)の一部を、各装置の外部に備えるようにしてもよい。例えば、記憶部11(11a)及び記憶部41(41a)の一部又は全部を外部に備えるようにしてもよい。また、記憶部11(11a)及び記憶部41(41a)の一部又は全部を外部に備える場合には、ネットワークを介して、各装置と接続可能に構成するようにしてもよい。
【0117】
また、上記の各実施形態において、推定システム1(1a)が、放音装置の一例としてスピーカ22を備える例を説明したが、これに限定されるものではなく、ヘッドフォンなどの放音装置であってもよい。また、推定システム1(1a)が、脳活動を計測する計測装置として、fMRI30を備える例を説明したが、他の計測装置を備えるようにしてもよい。
【0118】
なお、上述した推定システム1(1a)が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した推定システム1(1a)が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した推定システム1(1a)が備える各構成における処理を行ってもよい。「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【符号の説明】
【0119】
1,1a…推定システム、10,10a…解析装置、11,11a,41,41a…記憶部、12,12a,42,42a…制御部、21…表示装置、22…スピーカ、30…fMRI、40、40a…推定装置、111…動画記憶部、112…感情評定記憶部、113,411…特徴量記憶部、114…計測結果記憶部、115,115a…構築結果記憶部、121…計測制御部、122,421…特徴量抽出部、123…特徴空間構築部、124…感情空間構築部、125,125a…空間対応構築部、126…モデル構築部、412…投射結果記憶部、413…感情情報記憶部、414…推定結果記憶部、422…特徴空間投射部、423…感情空間投射部、424,424a…推定処理部、S1…推定基準者