特開 2024-19892 脳応答空間生成装置、評価装置、及び脳応答空間生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019892

(43)【公開日】2024-02-14

(54)【発明の名称】脳応答空間生成装置、評価装置、及び脳応答空間生成方法

(51)【国際特許分類】

   G06N 3/08 20230101AFI20240206BHJP

【ＦＩ】

G06N3/08

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022122642

(22)【出願日】2022-08-01

(71)【出願人】

【識別番号】301022471

【氏名又は名称】国立研究開発法人情報通信研究機構

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】西田 知史

(57)【要約】

【課題】マルチモーダル情報に対応した脳応答の評価を行う。
【解決手段】脳応答空間生成装置は、感覚及び言語のうちの少なくとも２種類以上のモダリティのそれぞれに関して刺激するモダリティデータの特徴量を抽出する特徴量抽出部と、脳活動計測部によって、前記モダリティデータのそれぞれを被験者に与えて脳活動が計測された計測結果と、前記特徴量抽出部が抽出した前記特徴量とに基づいて、前記モダリティデータに対する脳応答の表現空間を示す脳応答空間であって、前記２種類以上のモダリティにおいて共通の脳応答空間を生成する脳応答空間生成部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

感覚及び言語のうちの少なくとも２種類以上のモダリティのそれぞれに関して刺激するモダリティデータの特徴量を抽出する特徴量抽出部と、
脳活動計測部によって、前記モダリティデータのそれぞれを被験者に与えて脳活動が計測された計測結果と、前記特徴量抽出部が抽出した前記特徴量とに基づいて、前記モダリティデータに対する脳応答の表現空間を示す脳応答空間であって、前記２種類以上のモダリティにおいて共通の脳応答空間を生成する脳応答空間生成部と
を備えることを特徴とする脳応答空間生成装置。

【請求項2】

前記脳応答空間生成部は、機械学習により、前記計測結果である脳応答データに基づいて、前記脳応答空間を生成するとともに、前記計測結果である脳応答データに基づく前記脳応答空間の表現データと、前記特徴量から予測した脳応答パターンに基づく前記脳応答空間の表現データとの誤差が最小になるように、前記特徴量から前記脳応答空間の表現を予測する予測モデルを生成する
ことを特徴とする請求項１に記載の脳応答空間生成装置。

【請求項3】

前記予測モデルは、深層ニューラルネットワークを用いた、前記特徴量を前記モダリティごとに入力するユニモーダル部と、前記ユニモーダル部の出力を前記脳応答空間の表現に変換するマルチモーダル部とを有し、
前記脳応答空間生成部は、前記ユニモーダル部及び前記マルチモーダル部における前記深層ニューラルネットワークのパラメータを学習により最適化して、前記予測モデルを生成する
ことを特徴とする請求項２に記載の脳応答空間生成装置。

【請求項4】

前記脳応答空間生成部は、複数の前記被験者の前記計測結果に基づいて、前記脳応答空間の次元数を削減する
ことを特徴とする請求項１に記載の脳応答空間生成装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の脳応答空間生成装置が生成した前記脳応答空間に基づいて、評価対象の前記モダリティデータから、前記脳応答空間における前記評価対象の前記モダリティデータに対応する位置を推定する推定処理部を備える
ことを特徴とする評価装置。

【請求項6】

脳活動計測部が、感覚及び言語のうちの少なくとも２種類以上のモダリティのそれぞれに関して刺激するモダリティデータを、被験者に与えて脳活動を計測する脳活動計測ステップと、
特徴量抽出部が、前記モダリティデータの特徴量を抽出する特徴量抽出ステップと、
脳応答空間生成部が、脳活動計測ステップによって前記モダリティデータのそれぞれを前記被験者に与えて前記脳活動が計測された計測結果と、前記特徴量抽出ステップによって抽出された前記特徴量とに基づいて、前記モダリティデータに対する脳応答の表現空間を示す脳応答空間であって、前記２種類以上のモダリティにおいて共通の脳応答空間を生成する脳応答空間生成ステップと
を含むことを特徴とする脳応答空間生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、脳応答空間生成装置、評価装置、及び脳応答空間生成方法に関する。

【背景技術】

【0002】

近年、任意の情報入力により生起する脳応答パターンを予測する技術が知られている（例えば、特許文献１を参照）。特許文献１に記載の技術では、視聴覚コンテンツに付与された単語ラベルに対する脳応答パターンの予測値を用いて、視聴覚コンテンツの訴求内容と実際にユーザーが感じる内容の比較を行い、例えば、視聴覚コンテンツ評価に利用している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１２９９２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のような従来技術では、脳応答空間で扱う対象は、言語情報のみであった。そのため、従来技術では、例えば、視覚、聴覚、触覚、臭覚、味覚などの感覚や言語情報などを示すモダリティ（感覚種）の複数に対応するものではなく、複数のモダリティ情報（マルチモーダル情報）に、適用させることが困難であった。

【0005】

本発明は、上記問題を解決すべくなされたもので、その目的は、マルチモーダル情報に対応した脳応答の評価を行うことができる脳応答空間生成装置、評価装置、及び脳応答空間生成方法を提供することにある。

【課題を解決するための手段】

【0006】

上記問題を解決するために、本発明の一態様は、感覚及び言語のうちの少なくとも２種類以上のモダリティのそれぞれに関して刺激するモダリティデータの特徴量を抽出する特徴量抽出部と、脳活動計測部によって、前記モダリティデータのそれぞれを被験者に与えて脳活動が計測された計測結果と、前記特徴量抽出部が抽出した前記特徴量とに基づいて、前記モダリティデータに対する脳応答の表現空間を示す脳応答空間であって、前記２種類以上のモダリティにおいて共通の脳応答空間を生成する脳応答空間生成部とを備えることを特徴とする脳応答空間生成装置である。

【0007】

また、本発明の一態様は、上記の脳応答空間生成装置において、前記脳応答空間生成部は、機械学習により、前記計測結果である脳応答データに基づいて、前記脳応答空間を生成するとともに、前記計測結果である脳応答データに基づく前記脳応答空間の表現データと、前記特徴量から予測した脳応答パターンに基づく前記脳応答空間の表現データとの誤差が最小になるように、前記特徴量から前記脳応答空間の表現を予測する予測モデルを生成することを特徴とする。

【0008】

また、本発明の一態様は、上記の脳応答空間生成装置において、前記予測モデルは、深層ニューラルネットワークを用いた、前記特徴量を前記モダリティごとに入力するユニモーダル部と、前記ユニモーダル部の出力を前記脳応答空間の表現に変換するマルチモーダル部とを有し、前記脳応答空間生成部は、前記ユニモーダル部及び前記マルチモーダル部における前記深層ニューラルネットワークのパラメータを学習により最適化して、前記予測モデルを生成することを特徴とする。

【0009】

また、本発明の一態様は、前記脳応答空間生成部は、複数の前記被験者の前記計測結果に基づいて、前記脳応答空間の次元数を削減することを特徴とする。

【0010】

また、本発明の一態様は、上記に記載の脳応答空間生成装置が生成した前記脳応答空間に基づいて、評価対象の前記モダリティデータから、前記脳応答空間における前記評価対象の前記モダリティデータに対応する位置を推定する推定処理部を備えることを特徴とする評価装置である。

【0011】

また、本発明の一態様は、脳活動計測部が、感覚及び言語のうちの少なくとも２種類以上のモダリティのそれぞれに関して刺激するモダリティデータを、被験者に与えて脳活動を計測する脳活動計測ステップと、特徴量抽出部が、前記モダリティデータの特徴量を抽出する特徴量抽出ステップと、脳応答空間生成部が、脳活動計測ステップによって前記モダリティデータのそれぞれを前記被験者に与えて前記脳活動が計測された計測結果と、前記特徴量抽出ステップによって抽出された前記特徴量とに基づいて、前記モダリティデータに対する脳応答の表現空間を示す脳応答空間であって、前記２種類以上のモダリティにおいて共通の脳応答空間を生成する脳応答空間生成ステップとを含むことを特徴とする脳応答空間生成方法である。

【発明の効果】

【0012】

本発明によれば、マルチモーダル情報に対応した脳応答の評価を行うことができる。

【図面の簡単な説明】

【0013】

【図1】本実施形態による評価システムの一例を示す機能ブロック図である。

【図2】本実施形態における脳応答空間の生成処理の概要を説明する図である。

【図3】本実施形態における深層ニューラルネットワークを用いた予測モデルの一例を示す図である。

【図4】本実施形態による評価システムの動作の一例を示すフローチャートである。

【図5】本実施形態による評価装置による評価処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の一実施形態による脳応答空間生成装置、評価装置、及び脳応答空間生成方法について、図面を参照して説明する。
図１は、本実施形態による評価システム１００の一例を示す機能ブロック図である。

【0015】

図１に示すように、評価システム１００は、評価装置１と、ｆＭＲＩ（functional Magnetic Resonance Imaging）２とを備える。
本実施形態における評価装置１は、複数種類のモダリティのそれぞれに関して刺激するモダリティデータを被験者Ｓ１に与えて計測した脳応答データと、モダリティデータとに基づいて、機械学習により、複数種類のモダリティにおいて共通の脳応答空間を生成し、当該脳応答空間を用いて、新たな評価対象のモダリティデータを評価する。

【0016】

ここで、モダリティとは、視覚、聴覚、触覚、嗅覚、味覚などそれぞれの感覚器による感覚や、言語の知覚などであり、感覚種ともいう。本実施形態では、視覚、聴覚、触覚、嗅覚、味覚、及び言語の５種類のモダリティを用いる一例を説明する。

【0017】

また、複数種類（少なくとも２種類以上）のモダリティを用いることをマルチモーダルという。
また、モダリティデータとは、モダリティに関して刺激するためのデータである。モダリティデータには、例えば、視覚データ、聴覚データ、触覚データ、嗅覚データ、味覚データ、言語データ、等が含まれる。視覚データとは、例えば、映像データ、画像データなどであり、聴覚データとは、例えば、音データなどである。また、触覚データは、例えば、圧力データなどであり、嗅覚データは、例えば、臭いデータなどである。また、味覚データは、例えば、味に関するデータなどであり、言語データは、例えば、会話の音声データ、文章データなどである。

【0018】

ｆＭＲＩ２（脳活動計測部の一例）は、複数種類のモダリティデータ（トレーニング用のモダリティデータ）のそれぞれを被験者Ｓ１に与えて脳活動を計測する。ｆＭＲＩ２は、モダリティデータによる刺激を被験者Ｓ１に与え、刺激に対する被験者Ｓ１の脳活動を、脳応答データとして計測する。ｆＭＲＩ２は、被験者Ｓ１の脳活動に関連した血流動態反応を視覚化するｆＭＲＩ信号（脳活動信号）を出力する。ｆＭＲＩ２は、所定の時間間隔（例えば、２秒間隔）で、被験者Ｓ１の脳活動を、計測単位（例：機能的ＭＲＩの場合はボクセル）を用いた表現（生の脳応答パターン）として計測し、計測した計測結果をｆＭＲＩ信号として評価装置１に出力する。

【0019】

評価装置１は、例えば、サーバ装置やパーソナルコンピュータにようなコンピュータ装置である。評価装置１は、記憶部１１と、制御部１２とを備える。
記憶部１１は、評価装置１が実行する各種処理に利用される各種情報を記憶する。記憶部１１は、モダリティデータ記憶部１１１と、学習データ記憶部１１２と、脳応答空間情報記憶部１１３と、推定結果記憶部１１４とを備える。

【0020】

モダリティデータ記憶部１１１は、トレーニング用のモダリティデータを予め記憶している。
学習データ記憶部１１２は、脳応答空間を生成するための機械学習の学習データを記憶する。学習データ記憶部１１２は、例えば、モダリティの種類を示す情報と、モダリティデータから抽出された特徴量と、ｆＭＲＩ２が計測した計測結果（脳応答パターン）とを対応付けて記憶する。

【0021】

脳応答空間情報記憶部１１３は、学習結果である脳応答空間を示す情報を記憶する。脳応答空間情報記憶部１１３は、例えば、モダリティデータの特徴量から脳応答パターン（脳応答空間の表現）を予測する予測モデルを示す情報と、脳応答パターンを脳応答空間に投影するための情報とを記憶する。

【0022】

推定結果記憶部１１４は、任意の評価対象のモダリティデータ（の特徴量）から、対応する脳応答空間の位置を推定した推定結果を記憶する。

【0023】

制御部１２は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、評価装置１を統括的に制御する。制御部１２は、評価装置１が実行する各種処理を実行する。また、制御部１２は、特徴量抽出部１２１と、脳応答空間生成部１２２と、推定処理部１２３と、出力処理部１２４を備える。

【0024】

特徴量抽出部１２１は、モダリティデータの特徴量を抽出する。モダリティデータの特徴量には、各モダリティに対応したラベル、統計量、センサ測定値、機械学習モデルの特徴量、等が含まれる。

【0025】

例えば、モダリティデータが、画像データ又は映像データの場合は、特徴量は、シーン内の物体ラベルや畳み込みニューラルネットの中間層活性化パターンなどである。また、例えば、モダリティデータが、音声データである場合に、特徴量は、スペクトログラムや畳み込みニューラルネットの中間層活性化パターンなどである。また、例えば、モダリティデータが、触覚データである場合に、特徴量は、圧力分布や質感ラベルなどである。

【0026】

また、例えば、モダリティデータが、嗅覚データである場合に、特徴量は、化学物質の成分濃度やにおいセンサーの測定値などである。また、例えば、モダリティデータが、味覚データである場合に、特徴量は、化学物質の成分濃度などである。また、例えば、モダリティデータが、言語データである場合に、特徴量は、単語や文の埋め込み表現などである。

【0027】

特徴量抽出部１２１は、モダリティの種類を示す情報と、抽出した特徴量と、ｆＭＲＩ２によって計測された脳応答パターン（脳応答データ）とを対応付けて、学習データとして、学習データ記憶部１１２に記憶させる。

【0028】

脳応答空間生成部１２２は、ｆＭＲＩ２によって、モダリティデータのそれぞれを被験者Ｓ１に与えて脳活動が計測された計測結果と、特徴量抽出部１２１が抽出した特徴量とに基づいて、モダリティデータに対する脳応答の表現空間を示す脳応答空間ＳＰであって、複数種類（２種類以上）のモダリティにおいて共通の脳応答空間を生成する。脳応答空間生成部１２２は、例えば、学習データ記憶部１１２が記憶する学習データにより機械学習を行うことで、マルチモーダル情報にとって共通の脳応答空間を構築する。

【0029】

脳応答空間生成部１２２は、例えば、機械学習により、計測結果である脳応答データに基づいて、脳応答空間を生成するとともに、計測結果である脳応答データに基づく脳応答空間の表現データと、特徴量から予測した脳応答パターンに基づく脳応答空間の表現データとの誤差が最小になるように、特徴量から脳応答空間の表現を予測する予測モデルを生成する。ここで、図２を参照して、脳応答空間生成部１２２はによる脳応答空間の生成処理（構築処理）の概要について説明する。

【0030】

図２は、本実施形態における脳応答空間ＳＰの生成処理の概要を説明する図である。
図２に示すように、脳応答空間生成部１２２は、脳応答空間ＳＰを構築する処理と、予測モデルを構築する処理とを実行する。
脳応答空間生成部１２２は、予測モデルの構築処理において、モダリティごとに抽出した特徴量を統合及び変換する脳応答パターン（脳応答空間の表現）の予測モデルを構築する。また、脳応答空間生成部１２２は、脳応答空間ＳＰを構築する処理において、多様なモダリティ情報を共通の形式で表現するための脳応答空間ＳＰを構築する。脳応答空間ＳＰにおいて、各モダリティの入力データは、予測モデルにより脳応答空間の表現に変換され、全モダリティが統一的に扱われる。

【0031】

また、脳応答空間生成部１２２は、脳応答空間ＳＰを構築する際に、複数の被験者Ｓ１の計測結果に基づいて、脳応答空間の次元数を削減する。脳応答空間生成部１２２は、例えば、機械学習のデータ次元削減手法（例：主成分分析、独立成分分析）や、集団共通の脳データ座標系を得るための機能的アラインメント（例：shared response modelなどの次元圧縮法）を用いて、脳応答パターンから集団共通の低次元表現空間を生成する。

【0032】

また、脳応答空間生成部１２２は、予測モデルを構築する際に、各モダリティ入力を特徴量化したデータを基に、脳応答パターン（脳応答空間の表現）を予測するモデルを学習する。この予測モデルは、機械学習の回帰モデルに相当し、学習は特徴量と計測した脳応答パターンとのペアデータを基に、モデルの重みパラメータを推定することに相当する。

【0033】

ここで、回帰モデルには、任意の手法を適用でき、例えば、線形回帰、サポートベクター回帰、深層学習による回帰などが挙げられる。また、脳応答空間生成部１２２は、予測モデルを、モダリティごとに学習してもよいし、全モダリティを統一的に扱う単一のモデルとして学習してもよい。モダリティごとに予測モデルを学習する場合には、１つの入力セットから単一の脳応答パターンを予測する必要があるため、脳応答空間生成部１２２は、モダリティごとの脳応答パターン予測値を（重み付け）平均などを用いて統合する。

【0034】

次に、図３を参照して、全モダリティで統一的な予測モデルを学習する場合の一例について説明する。
図３は、本実施形態における深層ニューラルネットワークを用いた予測モデルの一例を示す図である。

【0035】

図３では、脳応答空間生成部１２２が、深層ニューラルネットワークを用いた予測モデルの一例について説明する。
図３に示す予測モデルは、特徴量化データをモダリティごとに入力するユニモーダル部ＮＴ１と、それを脳応答パターンの予測値に変換する共通のマルチモーダル部ＮＴ２とを有している。

【0036】

この予測モデルでは、まず、モダリティごとの特徴量化されたデータが、ユニモーダル部ＮＴ１に入力されて階層的な計算処理を経た後、マルチモーダル部ＮＴ２に入力され、さらに階層的な処理を経て脳応答パターンの予測値として出力される。

【0037】

ここで、ユニモーダル部ＮＴ１１は、視覚に対応するユニモーダル部であり、ユニモーダル部ＮＴ１２は、聴覚に対応するユニモーダル部であり、ユニモーダル部ＮＴ１３は、触覚に対応するユニモーダル部である。また、ユニモーダル部ＮＴ１４は、嗅覚に対応するユニモーダル部であり、ユニモーダル部ＮＴ１５は、味覚に対応するユニモーダル部であり、ユニモーダル部ＮＴ１６は、言語に対応するユニモーダル部である。

【0038】

また、本実施形態において、ユニモーダル部ＮＴ１１～ユニモーダル部ＮＴ１６は、任意のユニモーダル部を示す場合、又は、特に区別しない場合に、ユニモーダル部ＮＴ１として説明する。

【0039】

脳応答空間生成部１２２は、ユニモーダル部ＮＴ１３に対して、各モダリティの入力に対応する脳応答パターン（脳応答データ）で個別に学習処理を実行する。また、脳応答空間生成部１２２は、マルチモーダル部ＮＴ２に対して、全モダリティの入力に対する脳応答パターン（脳応答データ）で共通部分として学習処理を実行する。

【0040】

また、脳応答空間生成部１２２は、機械学習により、図３に示す予測モデルを構築する際に、複数のモダリティが同時に入力されてもよいが、全てのモダリティが同時に入力される必要はない。また、脳応答空間生成部１２２は、予測モデルの学習の際に、モダリティごとに特徴量化されたデータと、対応する脳応答データとを用いるが、ユニモーダル部ＮＴ１のパラメータの学習を、対応する各モダリティの入力からのみ行い、マルチモーダル部ＮＴ２のパラメータの学習を、全てのモダリティの入力に対して行う。

【0041】

このように、予測モデルは、深層ニューラルネットワークを用いた、特徴量をモダリティごとに入力するユニモーダル部ＮＴ１と、ユニモーダル部ＮＴ１の出力を脳応答パターン（脳応答空間の表現）に変換するマルチモーダル部ＮＴ２とを有してもよい。この場合、脳応答空間生成部１２２は、ユニモーダル部ＮＴ１及びマルチモーダル部ＮＴ２における深層ニューラルネットワークのパラメータを学習により、計測値の脳応答空間の表現データと予測値の脳応答空間の表現データとの誤差が最小になるように最適化して、予測モデルを生成する。

【0042】

図２の説明に戻り、脳応答空間生成部１２２は、生成した予測モデル及び脳応答空間ＳＰを示す情報を、脳応答空間情報記憶部１１３に記憶させる。
なお、本実施形態において、モダリティデータ記憶部１１１と、学習データ記憶部１１２と、特徴量抽出部１２１と、脳応答空間生成部１２２とが、脳応答空間生成装置１０に対応する。

【0043】

推定処理部１２３は、脳応答空間生成装置１０が生成した脳応答空間ＳＰに基づいて、評価対象のモダリティデータから、脳応答空間ＳＰにおける評価対象のモダリティデータに対応する位置を推定する。推定処理部１２３は、特徴量抽出部１２１に評価対象のモダリティデータの特徴量を抽出させる。推定処理部１２３は、脳応答空間情報記憶部１１３が記憶する予測モデル及び脳応答空間ＳＰを示す情報に基づいて、評価対象のモダリティデータの特徴量から、脳応答空間ＳＰにおける位置を推定する。推定処理部１２３は、推定結果を推定結果記憶部１１４に記憶させる。

【0044】

出力処理部１２４は、推定処理部１２３によって推定された推定結果を外部に出力させる。出力処理部１２４は、例えば、推定結果記憶部１１４が記憶する推定結果である脳応答空間ＳＰにおける評価対象のモダリティデータに対応する位置情報を、外部に出力させる。

【0045】

次に、図面を参照して、本実施形態による評価システム１００の動作について説明する。
図４は、本実施形態による評価システム１００の動作の一例を示すフローチャートである。

【0046】

図４に示すように、ｆＭＲＩ２が、複数種類のモダリティデータのそれぞれを被験者Ｓ１に与えて脳活動（脳応答データ）を計測する（ステップＳ１０１）。ここで、被験者Ｓ１に与えるモダリティデータは、脳応答空間生成装置１０のモダリティデータ記憶部１１１が記憶するトレーニング用のデータと同一のものである。ｆＭＲＩ２は、計測した脳応答データを、脳応答空間生成装置１０に出力する。

【0047】

次に、脳応答空間生成装置１０の特徴量抽出部１２１は、各モダリティデータから
特徴量を抽出する（ステップＳ１０２）。特徴量抽出部１２１は、モダリティデータ記憶部１１１が記憶するトレーニング用のモダリティデータを取得し、特徴量を抽出する。特徴量抽出部１２１は、モダリティの種類を示す情報と、抽出した特徴量と、ｆＭＲＩ２によって計測された脳応答パターン（脳応答データ）とを対応付けて、学習データとして、学習データ記憶部１１２に記憶させる。

【0048】

次に、脳応答空間生成装置１０の脳応答空間生成部１２２は、各特徴量と対応する脳応答データとに基づいて、機械学習により脳応答空間ＳＰを生成する（ステップＳ１０３）。脳応答空間生成部１２２は、学習データ記憶部１１２が記憶する学習データを用いて、上述した図２及び図３に示すように、予測モデル及び脳応答空間ＳＰを生成（構築）する。脳応答空間生成部１２２は、生成した予測モデル及び脳応答空間ＳＰを示す情報を、脳応答空間情報記憶部１１３に記憶させる。ステップＳ１０３の処理後に、脳応答空間生成部１２２は、処理を終了する。

【0049】

次に、図５を参照して、本実施形態による評価装置１による評価処理について説明する。
図５は、本実施形態による評価装置１による評価処理の一例を示すフローチャートである。

【0050】

図５に示すように、評価装置１は、まず、評価対象のモダリティデータの特徴量を抽出する（ステップＳ２０１）。すなわち、評価装置１の特徴量抽出部１２１は、評価対象のモダリティデータの特徴量を抽出する。

【0051】

次に、評価装置１は、脳応答空間情報記憶部１１３が記憶する脳応答空間情報に基づいて、特徴量に対応する脳応答空間ＳＰの位置を推定する（ステップＳ２０２）。評価装置１の推定処理部１２３は、脳応答空間情報記憶部１１３が記憶する予測モデル及び脳応答空間ＳＰを示す情報に基づいて、評価対象のモダリティデータの特徴量から、脳応答空間ＳＰにおける位置を推定する。推定処理部１２３は、推定結果を推定結果記憶部１１４に記憶させる。

【0052】

次に、評価装置１は、推定した脳応答空間の位置情報を出力する（ステップＳ２０３）。評価装置１の出力処理部１２４は、例えば、推定結果記憶部１１４が記憶する推定結果である脳応答空間ＳＰにおける評価対象のモダリティデータに対応する位置情報を、外部に出力させる。ステップＳ２０３の処理後に、出力処理部１２４は、処理を終了する。

【0053】

以上説明したように、本実施形態による脳応答空間生成装置１０は、特徴量抽出部１２１と、脳応答空間生成部１２２とを備える。特徴量抽出部１２１は、感覚及び言語のうちの少なくとも２種類以上のモダリティのそれぞれに関して刺激するモダリティデータの特徴量を抽出する。脳応答空間生成部１２２は、ｆＭＲＩ２（脳活動計測部）によって、モダリティデータのそれぞれを被験者Ｓ１に与えて脳活動が計測された計測結果と、特徴量抽出部１２１が抽出した特徴量とに基づいて、モダリティデータに対する脳応答の表現空間を示す脳応答空間ＳＰであって、２種類以上（複数）のモダリティにおいて共通の脳応答空間ＳＰを生成する。

【0054】

これにより、本実施形態による脳応答空間生成装置１０は、２種類以上（複数）のモダリティにおいて共通の脳応答空間ＳＰを用いることで、脳が扱うことができる多様なモダリティに対応した入力データを、モダリティ共通の脳応答表現へ変換することが可能となる。よって、本実施形態による脳応答空間生成装置１０は、マルチモーダル情報に対応した脳応答の評価を行うことができる。

【0055】

また、本実施形態による脳応答空間生成装置１０は、多様なモダリティ情報の共通表現（脳応答空間ＳＰ）を構築することで、実社会において従来よりも幅広い問題に適用することができるようになる。また、本実施形態による脳応答空間生成装置１０は、異なるモダリティのデータ間で比較や統合、変換などの数値演算が可能になり、従来の脳情報技術だけでなく、従来の機械学習技術でも扱うことができないタイプのマルチモーダル認識問題を解く技術として汎用的に利用することが可能となる。本実施形態による脳応答空間生成装置１０は、特に、人間の認知や行動を推定するマルチモーダル認識問題においては、脳情報の特性を利用することによる認識性能の向上も期待できる。

【0056】

また、本実施形態による脳応答空間生成装置１０では、言語データと多様な感覚データの関係性を共通の表現空間上で定量化できるため、マルチモーダル検索において有効性を発揮する。具体的には、従来の検索技術では、キーワードを基に画像・映像・音楽を探索することが限度であった。本実施形態による脳応答空間生成装置１０では、生成した脳応答空間ＳＰを用いることで、従来技術のモダリティに加え、味覚や触覚、嗅覚のデータも埋め込みベクトルの類似性を基に検索することが可能になる。本実施形態による脳応答空間生成装置１０では、さらに、その類似性も脳情報の特性を考慮したものとなるため、より人間の感じ方に近い検索結果を提供することが期待できる。また、その逆として、一般的に言語化することが困難な味覚や触覚、嗅覚に対して、類似する言語データを共通表現空間上で推定することで、それらの感覚データに言語記述を付与することも効果的な利用法の一例として挙げられる。これにより、本実施形態による脳応答空間生成装置１０では、個人間のコミュニケーションを促進するとともに、共感性を高めることも可能になる。

【0057】

例えば、本実施形態による脳応答空間生成装置１０は、脳応答空間ＳＰを用いることで、以下のような利用が可能になる。
（利用例１）本実施形態による脳応答空間生成装置１０では、例えば、「花のようなふくよかな芳香をもち、舌先にほのかな甘みを感じるスコッチ」などのマルチモーダルなキーワードに対して、対応するスコッチウイスキーを検索することが可能になる。

【0058】

（利用例２）本実施形態による脳応答空間生成装置１０では、例えば、部屋の内観の画像＋ＢＧＭの音楽＋香りから、これらの適合度を推定するなどの、モダリティ間のデータ適合推定に利用できる。

【0059】

（利用例３）本実施形態による脳応答空間生成装置１０では、例えば、利用者の音楽購入履歴から、利用者の好む（利用者に適合した）書籍などを推奨するなどのクロスモーダルな商品レコメンデーションに利用できる。

【0060】

また、本実施形態では、脳応答空間生成部１２２は、機械学習により、計測結果である脳応答データに基づいて、脳応答空間ＳＰを生成するとともに、計測結果である脳応答データに基づく脳応答空間の表現データと、特徴量から予測した脳応答パターンに基づく脳応答空間の表現データとの誤差が最小になるように、特徴量から脳応答空間の表現を予測する予測モデルを生成する。

【0061】

これにより、本実施形態による脳応答空間生成装置１０は、予測モデル及び脳応答空間ＳＰを生成することにより、モダリティデータ（の特徴量）から、脳応答空間ＳＰの対応する位置を適切に推定することができる。

【0062】

また、本実施形態では、予測モデルは、深層ニューラルネットワークを用いた、特徴量をモダリティごとに入力するユニモーダル部と、ユニモーダル部ＮＴ１の出力を脳応答パターン（脳応答空間の表現）に変換するマルチモーダル部ＮＴ２とを有する。脳応答空間生成部１２２は、ユニモーダル部及びマルチモーダル部ＮＴ２における深層ニューラルネットワークのパラメータを学習により最適化して、予測モデルを生成する。

【0063】

これにより、本実施形態による脳応答空間生成装置１０は、深層ニューラルネットワークを利用することで、簡易な手法により、容易、且つ適切に、予測モデルを生成することができる。

【0064】

また、本実施形態では、脳応答空間生成部１２２は、複数の被験者Ｓ１の計測結果に基づいて、脳応答空間の次元数を削減する。
これにより、本実施形態による脳応答空間生成装置１０は、次元数を、例えば、数万次元から数百次元に削減しつつ、情報表現としての冗長性の低い効果的な脳応答表現（脳応答空間ＳＰ）を獲得することができる。

【0065】

また、本実施形態による評価装置１は、脳応答空間生成装置１０が生成した脳応答空間に基づいて、評価対象のモダリティデータから、脳応答空間ＳＰにおける評価対象のモダリティデータに対応する位置を推定する推定処理部１２３を備える。

【0066】

これにより、本実施形態による評価装置１は、上述した脳応答空間生成装置１０と同様の効果を奏し、マルチモーダル情報に対応した脳応答の評価を行うことができる。また、本実施形態による評価装置１は、評価対象のモダリティデータから脳応答空間ＳＰにおける評価対象のモダリティデータに対応する位置をえられるため、例えば、モダリティ間の類似度比較やクラスタリングなどに利用可能である。本実施形態による評価装置１は、脳応答空間ＳＰを、多種のモダリティ間で共通の表現をもつ、入力データのベクトル表現として汎用的に用いることができる。

【0067】

また、本実施形態による脳応答空間生成方法は、脳活動計測ステップと、特徴量抽出ステップと、脳応答空間生成ステップとを含む。脳活動計測ステップにおいて、ｆＭＲＩ２が、感覚及び言語のうちの少なくとも２種類以上のモダリティのそれぞれに関して刺激するモダリティデータを、被験者Ｓ１に与えて脳活動を計測する。特徴量抽出ステップにおいて、特徴量抽出部１２１が、モダリティデータの特徴量を抽出する。脳応答空間生成ステップにおいて、脳応答空間生成部１２２が、脳活動計測ステップによってモダリティデータのそれぞれを被験者Ｓ１に与えて脳活動が計測された計測結果と、特徴量抽出ステップによって抽出された特徴量とに基づいて、モダリティデータに対する脳応答の表現空間を示す脳応答空間ＳＰであって、２種類以上のモダリティにおいて共通の脳応答空間ＳＰを生成する。
これにより、本実施形態による脳応答空間生成方法は、上述した脳応答空間生成装置１０と同様の効果を奏し、マルチモーダル情報に対応した脳応答の評価を行うことができる。

【0068】

なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、脳応答空間生成装置１０と評価装置１とを、１つの装置で構成する例を説明したが、これに限定されるものではなく、脳応答空間生成装置１０と評価装置１を別々の装置として構成してもよい。また、脳応答空間生成装置１０及び評価装置１が備える構成の一部を、外部に備えるようにしてもよい。

【0069】

また、上記の実施形態において、脳活動計測部が、ｆＭＲＩ２である例を説明したが、これに限定されるものではなく、脳波計（ＥＥＧ）、ＭＥＧ（Magneto-Encephalo-Graphy）、皮質脳波（ＥＣｏＧ）、機能的近赤外分光分析法（ｆＮＩＲＳ）など他の脳活動計測手法を用いてもよい。

【0070】

また、上記の実施形態において、予測モデルが、ユニモーダル部ＮＴ１と、マルチモーダル部ＮＴ２とを有する例を説明したが、これに限定されるものではなく、各モダリティの特徴量化データを入力として受け付け、脳応答パターン（脳応答空間の表現）の予測値としてモダリティ共通の出力を行うモデルであれば、他の予測モデルであってもよい。また、もっと単純な実装例としては、予測モデルは、各モダリティで特徴量化されたデータをベクトルとして連結し、それを入力として脳応答パターンを予測する回帰モデルとして構築されてもよい。

【0071】

また、上記の実施形態において、モダリティとして、視覚、聴覚、触覚、臭覚、味覚、及び言語を用いる例を説明したが、これに限定されるものではなく、例えば、ムードや雰囲気などをモダリティとしてもよい。また、複数種類のモデリティとして、６種類のモデリティを用いる例を説明したが、これに限定されるものではなく、２種類以上であれば、他の数の種類（例えば、２種類、３種類、等）のモデリティであってもよい。

【0072】

なお、上述した評価装置１及び脳応答空間生成装置１０とが備える各構成は、内部に、コンピュータシステムを有している。そして、上述した評価装置１及び脳応答空間生成装置１０が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した評価装置１及び脳応答空間生成装置１０が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。

【0073】

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に評価装置１及び脳応答空間生成装置１０が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0074】

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【符号の説明】

【0075】

１ 評価装置
２ ｆＭＲＩ
１０ 脳応答空間生成装置
１１ 記憶部
１２ 制御部
１１１ モダリティデータ記憶部
１１２ 学習データ記憶部
１１３ 脳応答空間情報記憶部
１１４ 推定結果記憶部
１２１ 特徴量抽出部
１２２ 脳応答空間生成部
１２３ 推定処理部
１２４ 出力処理部
ＮＴ１、ＮＴ１１～ＮＴ１６ ユニモーダル部
ＮＴ２ マルチモーダル部
Ｓ１ 被験者
ＳＰ 脳応答空間

【図1】

【図2】

【図3】

【図4】

【図5】