【国等の委託研究の成果に係る記載事項】(出願人による申告)平成25年度独立行政法人科学技術振興機構 研究成果展開事業 研究成果最適展開支援プログラム 産業技術力強化法第19条の適用を受ける特許出願
【文献】
関口 達彦,脳活動の多変量パターン解析を用いた腕時計のデザイン評価,電子情報通信学会論文誌,社団法人電子情報通信学会,2011年 6月 1日,第J94−D巻,第6号,p.1017-1024
【文献】
相良 和彦,ブレインコミュニケーション 脳と社会の通信手段,社団法人電子情報通信学会,2011年 4月25日,第1版,p.80-133
(58)【調査した分野】(Int.Cl.,DB名)
前記決定手段は、前記複数の被験者について生成された複数の類似度行列について、対応する要素同士を平均化することで平均類似度行列を生成し、前記平均類似度行列から判別器を決定する、請求項1に記載の推定システム。
被験者ごとの類似度行列を格納する手段を備え、前記類似度行列は、予め定められた複数の画像を各被験者に見せたときに計測される脳活動情報に基づいて算出される、前記複数の画像のうちの2つの画像からなる各組み合わせについての対応する2つの脳活動情報間の類似度を表現するものであり、さらに
判別対象の画像を受信する手段と、
前記判別対象の画像を各被験者に見せたときに計測される脳活動情報と、前記予め定められた複数の画像を各被験者に見せたときに計測される脳活動情報との間の類似度を算出することで、類似度行列を再構成する手段と、
前記再構成された類似度行列から、前記予め定められた複数の画像および前記判別対象の画像の各々についての、所定次元の空間上の座標を算出する手段と、
前記予め定められた複数の画像のうちあるラベルが付与された画像に対応する前記空間上の座標と、それ以外の画像に対応する前記空間上の座標とから、前記判別対象の画像が当該ラベルに該当するか否かを判断する手段とを備える、推定装置。
【発明を実施するための形態】
【0019】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0020】
[A.概要]
まず、本発明の実施の形態に従う推定方法の概要について説明する。本実施の形態に従う推定方法は、予めラベルが付与された知覚刺激(例えば、各知覚刺激に対して人が覚える感覚がラベルされている)を被験者に与えたときに表れる脳活動情報に基づいて、各ラベルについての判別器を決定するとともに、ある知覚刺激を被験者に与えたときに表れる脳活動情報から、該知覚刺激に該当するラベルを判別器により特定し、当該知覚刺激に対して被験者が覚えるであろう感覚を推定する。
【0021】
図1は、本発明の実施の形態に従う推定方法の概要を説明するための図である。
図1を参照して、本実施の形態に従う推定方法は、主として、ステップS1〜S9の処理を含む。以下では、典型例として、知覚刺激として画像(すなわち、視覚に対する刺激)を用いる場合について説明する。
【0022】
ステップS1において、1または複数のラベルが付与された画像が複数用意される。
図1には、複数の画像300−1,300−2,300−3,…(以下、「画像300」と総称する場合もある。)と、それぞれの画像に関連付けられたラベル302−1,302−2,302−3,…(以下、「ラベル302」と総称する場合もある。)とを示す。
【0023】
マーケティングへ応用する場合には、例えば、画像300は、既存の商品の外観(商品デザイン)を含み、対応するラベル302は、当該商品についての既知の属性、および、当該商品に対する印象を表す1または複数の言語表現を含む。
【0024】
ステップS2において、各被験者に対して知覚刺激を与えたときに表れる脳活動情報を、予め定められた複数の知覚刺激のそれぞれについて計測する。より具体的には、複数の被験者(
図1においては、被験者1のみを示す)にそれぞれの画像300を見てもらい、そのときの脳活動情報304−1,304−2,304−3,…(以下、「脳活動情報304」と総称する場合もある。)が計測される。
【0025】
本実施の形態では、一例として、fMRI計測によって脳活動情報304が取得される。fMRI計測によれば、脳活動情報として、脳の活性度を示す複数の画像が取得される。これらのfMRI計測によって画像は「fMRI脳活動パターン」とも称され、画像300との区別のため、以下の説明では、「脳活動パターン画像」と称することもある。
【0026】
fMRI計測に限られず、NIRS脳計測、ポジトロン断層法(PET:positron emission tomography)計測などによって取得された脳活動情報を用いてもよい。
【0027】
また、脳活動情報を取得する対象としては、脳の全体である全脳であってもよいし、脳の一部であってもよい。脳の一部としては、例えば、低次視覚野(LVC:lower visual cortex)、高次視覚野(HVC:higher visual cortex)、頭頂葉(PC:parietal cortex)、前頭前皮質(PFC:Prefrontal cortex)、大脳基底核(BG:basal ganglia)、扁桃体(Amygdala)、海馬(HC:hippocampus)、および、前頭葉(FC:frontal cortex/frontal lobe)などがある。また、前頭前皮質(PFC)は、腹内側前頭前野(vmPFC:ventromedial prefrontal cortex)、眼窩前頭皮質(OFC:orbitofrontal cortex)、背外側前頭前野(DLPFC:dorsolateral prefrontal cortex)を含む。
【0028】
ステップS3において、複数の知覚刺激のうちの2つの知覚刺激からなる各組み合わせについて、対応する2つの脳活動情報間の類似度を表現する行列を生成する。より具体的には、被験者ごとに、画像300についての脳活動情報間の類似性を示す脳表現類似度行列(Representational Similarity Matrix:RSM)が生成される。以下の説明では、脳表現類似度行列を、単に「類似度行列」とも略称する。後述するように、類似度行列306は、被験者がある画像300を見たときに計測される脳活動情報と、同一の被験者が別の画像300を見たときに計測される脳活動情報との類似性を、すべての画像間の組み合わせについて評価した結果を行列状に配置したものである。
【0029】
類似度行列306を用いることで、人が類似する感覚を覚えるであろう画像300の群を特定することができる。ステップS3においては、被験者の数と同数の類似度行列306−1,306−2,306−3,…(以下、「類似度行列306」を総称する場合もある。)が生成されることになる。また、脳の複数の領野からそれぞれ計測される複数の脳活動情報の各々について、類似度行列を生成する場合には、1人の被験者について、計測される部位の数だけ類似度行列306が生成される(図示していない)。
【0030】
ステップS4およびS5において、複数の被験者の各々について生成された類似度行列306から、複数の知覚刺激の各々に対応する、所定次元の空間上の座標を算出する。そして、複数の知覚刺激のうち、あるラベルが付与された知覚刺激に対応する空間上の座標と、それ以外の知覚刺激に対応する空間上の座標とから、当該ラベルについての判別器を決定する。
【0031】
より具体的には、ステップS4において、複数の被験者の間のばらつきによる影響を低減するための統計処理が実行される。
図1には、複数の被験者のそれぞれについて生成される類似度行列306を平均化することで、平均類似度行列308を生成する例について示す。平均類似度行列308の生成処理においては、複数の類似度行列306の対応する各要素群の間で、要素値を平均化することで、平均類似度行列308における対応する座標の値を算出する。いわば、複数の類似度行列306を重ね合わせて平均化することで、平均類似度行列308が生成される。
【0032】
なお、ステップS4に示す平均類似度行列308を生成する方法に代えて、統計的な処理を用いることもできる。この代替的な処理については、後述する。
【0033】
ステップS5において、ステップS4において生成された平均類似度行列308の各要素(画像300)を空間にマッピングするとともに、各要素に対応付けられたラベルを用いて、当該空間における判別器310が決定される。
【0034】
上述のステップS1〜S5は、一種の教師あり学習に相当し、各ラベルに対応付けられた判別器310を決定する。なお、単一のラベルについての判別器310を決定する場合には、ステップS5において、各要素(画像300)は、より低次元の空間(例えば、2次元空間)にマッピングされることになるが、複数のラベルに関する判別器310を決定することもでき、この場合には、各要素(画像300)は、より高い多次元の空間にマッピングされることになる。
【0035】
ステップS6〜S9では、判別対象の知覚刺激を各被験者に対して与えたときに表れる脳活動情報を、決定された判別器310に適用することで、判別対象の知覚刺激が当該判別器310に関連付けられるラベルに該当するか否かを判断する。より具体的には、決定された判別器310を利用して、判別対象の画像320に対して被験者が抱くであろう感覚(または、印象)を推定する。
【0036】
このように、本実施の形態に従う推定方法は、判別器310を決定するステップS1〜S5の過程(一種の学習過程)と、判別器310を利用して判別結果を出力するステップS6〜S9の過程(判定処理)とを含む。
【0037】
ステップS6において、ステップS1〜S5において脳活動情報を計測した複数の被験者(M人)のうち、少なくとも一部の被験者(m人≦M人)に、判別対象の画像320を見てもらい、そのときの脳活動情報324が計測される。判別対象の画像320としては、例えば、発売前の未公開の商品デザインなどである。
【0038】
ステップS7において、ステップS3と同様に、先に計測されている脳活動情報(あるいは、先に作成されている類似度行列306−1,306−2,…)を用いて、ステップS6において取得された脳活動情報324を反映した、類似度行列326−1,326−2,…がそれぞれ再構成される。
【0039】
ステップS8において、ステップS4と同様に、類似度行列326−1,326−2,…についての平均類似度行列328が生成され、さらに平均類似度行列328中の判別対象の画像320に対応する要素が空間にマッピングされる。
【0040】
ステップS9において、判別対象の画像320がマッピングされた空間上の位置を、判別器310を用いて評価することで、当該判別対象の画像320が判別器310に関連付けられたラベルの値を有するのか否かが判別される。そして、この判別結果が出力される。人の複数の領野それぞれ、および、複数のラベルそれぞれについて、判別器310が決定される場合には、それぞれの判別器310について判別結果を得ることができる。
【0041】
上述のような処理によって、1または複数の被験者が判別対象の画像320に対して、抱くであろう感覚(または、印象)を推定することができる。
【0042】
本実施の形態に従う推定方法では、知覚刺激は、被験者に画像を見せることで与えられる視覚刺激を含む。
図1には、知覚刺激として画像(視覚に対する刺激)を用いる例を示したが、別の知覚刺激(典型的には、嗅覚、聴覚、味覚、皮膚感覚に対する刺激)を用いてもよい。例えば、匂いを知覚刺激として用いることで、芳香剤または香水のマーケティングに応用することができる。また、音声を知覚刺激として用いることで、コマーシャルソングの好感度などを推定することができる。また、味を知覚刺激として用いることで、菓子または各種食品のマーケティングに応用することができる。また、肌触りを知覚刺激として用いることで、被服のマーケティングに応用することができる。
【0043】
図1に示すような本実施の形態に従う推定方法によれば、知覚刺激に対して人が覚える感覚を、印象を表す言語表現との関連性として、定量的に評価できる。
図1に示すように、商品の外観(商品デザイン)を含む画像を知覚刺激とする場合には、その画像を見た被験者から取得される脳活動情報を用いて、人の深層心理を反映したデザイン評価を行なうことができる。
【0044】
また、商品の外観(商品デザインまたは商品パッケージ)を見た被験者から計測された脳活動情報から、当該商品の売上を予測するようなシステムを提供することもできる。この場合には、既存商品(売上実績および購買層などが既知であるとする)のデザインを見た複数の被験者から計測された脳活動情報と、新商品(売上未知)のデザインを見た複数の被験者から計測された脳活動情報とを用いて、当該新商品に対するや売上予測や与える印象などの推定を行なうことができる。
【0045】
[B.装置構成]
次に、本実施の形態に従う推定方法を実現するための推定システム1の装置構成について説明する。
【0046】
図2は、本発明の実施の形態に従う推定システム1の装置構成を示す模式図である。
図2には、fMRI計測によって被験者の脳活動情報を取得する構成例を示す。より具体的には、推定システム1は、情報処理装置100と、fMRI装置200とを含む。
【0047】
fMRI装置200は、被験者Sの脳活動情報を取得したい領域(以下、「関心領域」とも称す。)に向けて、共鳴周波数の高周波電磁場を印加することで、特定の原子核(例えば、水素原子核)から共鳴により生じる電磁波を検出することで、脳活動情報を計測する。
【0048】
図2においては、被験者Sが載置される円筒形状のボアの中心軸をZ軸と定義し、Z軸に直交する水平方向および鉛直方向をそれぞれにX軸およびY軸と定義する。
【0049】
fMRI装置200は、磁場印加機構210と、受信コイル202と、駆動部220と、データ処理部250とを含む。
【0050】
磁場印加機構210は、被験者Sの関心領域に制御された磁場(静磁場および傾斜磁場)を印加するとともに、RF(Radio Frequency)パルスを照射する。より具体的には、磁場印加機構210は、静磁場発生コイル212と、傾斜磁場発生コイル214と、RF照射部216と、被験者Sをボア内に載置する寝台218とを含む。
【0051】
駆動部220は、磁場印加機構210に接続され、被験者Sに印加される磁場、および、RFパルス波の送受信を制御する。より具体的には、駆動部220は、静磁場電源222と、傾斜磁場電源224と、信号送信部226と、信号受信部228と、寝台駆動部230とを備える。
【0052】
静磁場発生コイル212は、Z軸周りに巻回される螺旋コイルから、ボア内にZ軸方向の静磁場を発生させる。ボアに形成される静磁場の均一性の高い領域に被験者Sの関心領域が設定されることになる。具体的には、静磁場発生コイル212は、駆動部220の静磁場電源222から螺旋コイルへ電流が供給されることよって誘導磁場を発生する。一例として、静磁場発生コイル212は、4個の空芯コイルを組み合わせて構成することで、ボア内に均一な静磁場を形成し、被験者Sの体内の特定の原子核のスピンに配向性を与える。
【0053】
傾斜磁場発生コイル214は、ボア内にX軸方向、Y軸方向、Z軸方向の傾斜磁場をそれぞれ発生させる、Xコイル、Yコイル、Zコイル(図示していない)を含む。傾斜磁場発生コイル214は、円筒形状を示す静磁場発生コイル212の内周面に設けられる。傾斜磁場発生コイル214のそれぞれのコイルは、傾斜磁場電源224からそれぞれ独立に電流が供給されることによって、それぞれの軸に各電流に応じた磁場を発生する。傾斜磁場電源224は、Xコイル、Yコイル、Zコイルに与える電流を順番に切り替えることで、静磁場発生コイル212が形成する均一な静磁場に対して傾斜磁場を重畳することで、ボア内の静磁場に強度勾配を付与する。
【0054】
RF照射部216は、制御シーケンスに従って信号送信部226から送信される高周波信号に基づいて、被験者Sの関心領域にRFパルスを照射する。
図2には、RF照射部216が磁場印加機構210に内蔵されている構成を例示するが、RF照射部216を寝台218側に設けてもよいし、RF照射部216と受信コイル202とを一体化してもよい。
【0055】
fMRI装置200において、静磁場発生コイル212が発生する静磁場により、被験者Sの体内に存在する特定の原子核の核スピンは、その磁場方向(Z軸)に配向するとともに、当該原子核に固有のラーモア周波数でその磁場方向(Z軸)を軸として歳差運動する。この状態において、RF照射部216からラーモア周波数と同じ周波数のRFパルスを照射すると、当該特定の原子核は、共鳴によるエネルギー吸収を生じて励起し、核磁気共鳴現象(NMR現象:Nuclear Magnetic Resonance)が生じる。核磁気共鳴現象が生じた後に、RFパルスの照射を停止すると、吸収したエネルギーを放出して元の定常状態に戻る緩和過程で、原子核は、ラーモア周波数と同じ周波数の電磁波(NMR信号)を放出する。
【0056】
受信コイル202は、被験者Sから放出される電磁波(NMR信号)を受信し、アナログ信号を出力する。受信コイル202から出力されたアナログ信号は、信号受信部228において、増幅およびアナログ/デジタル変換された上で、データ処理部250へ出力される。受信コイル202は、NMR信号を高感度で検出できるように、被験者Sに近接して配置されることが好ましい。
【0057】
傾斜磁場発生コイル214が発生する傾斜磁場を制御することで、被験者Sの関心領域を適宜設定することができる。より具体的には、静磁場に加えてZ軸傾斜磁場を印加した状態にある被験者Sに、RFパルスを照射すると、磁場の強さが共鳴条件になっている部分の特定の原子核が選択的に励起される。Z軸傾斜磁場の大きさを変化させることで、共鳴条件に合致する部分(例えば、被験者Sの断層方向の位置)が変化することになる。さらに、NMR信号の発信位置を特定するために、X軸傾斜磁場およびY軸傾斜磁場が制御される。
【0058】
より具体的には、傾斜磁場発生コイル214のZコイルは、RFパルスの照射時に、磁場強度をZ軸方向に傾斜させて共鳴面を限定し、Yコイルは、Z軸方向の磁場印加の直後に、短時間の傾斜磁場を加えてNMR信号にY座標に比例した位相変調を与え(位相エンコーディング)、Xコイルは、RFパルスの照射の続くデータ採取時に、傾斜磁場を加えてNMR検出信号にX座標に比例した周波数変調を与える(周波数エンコーディング)。
【0059】
このような重畳される傾斜磁場の切り替えは、制御シーケンスに従って、傾斜磁場電源224がXコイル、Yコイル、Zコイルにそれぞれ異なるパルス信号を供給することで実現される。このような傾斜磁場の制御によって、NMR信号の発信位置を特定でき、被験者Sの脳活動パターン画像を形成するのに必要な3次元座標上の位置情報が得られる。
【0060】
寝台駆動部230は、寝台218をZ軸方向の任意位置に移動させる。
データ処理部250は、駆動部220に対する制御シーケンスを設定するとともに、受信コイル202で受信されたNMR信号から脳の活性度を示す複数の脳活動パターン画像(脳活動情報)を生成する。
【0061】
データ処理部250は、制御部251と、入力部252と、表示部253と、記憶部254と、画像処理部256と、データ収集部257と、インターフェイス258とを含む。データ処理部250としては、専用のコンピュータであってもよいし、記憶部254などに格納された制御プログラムを実行することで、所定の処理を実現する汎用コンピュータであってもよい。
【0062】
制御部251は、駆動部220を駆動させる制御シーケンスを発生させるなどの各機能部の動作を制御する。入力部252は、図示しない操作者から各種操作や情報入力を受付ける。表示部253は、被験者Sの関心領域に関する各種画像および各種情報を画面表示する。記憶部254は、fMRI計測に係る処理を実行するための制御プログラム、パラメータ、画像データ(3次元モデル像等)、その他の電子データなどを格納する。
【0063】
画像処理部256は、検出されたNMR信号のデータに基づいて、脳の活性度を示す複数の脳活動パターン画像(脳活動情報)を生成する。より具体的には、画像処理部256は、RFパルスの照射を繰り返すことで検出されるNMR信号のデータに対して2回のフーリエ変換を行なうことで、共鳴の周波数をX−Y座標にプロットすることで、脳の活性度を示す複数の脳活動パターン画像を生成する。
【0064】
インターフェイス258は、駆動部220との間で各種の信号を遣り取りする。データ収集部257は、関心領域に由来する一群のNMR信号からなるデータを収集する。
【0065】
本実施の形態に従う推定システム1においては、
図1のステップS2に示すように、1または複数のラベル付き画像を被験者Sが見たときの脳活動情報が計測される。そのため、ボア内に載置される被験者Sが画像を見ることができるように構成される。その一例として、推定システム1においては、被験者Sは、装着したプリズムメガネ204により、Z軸に対して垂直に設置されたディスプレイ206に表示される画像を見ることができるようになっている。すなわち、ディスプレイ206に表示される画像により、被験者Sに対して視覚刺激が与えられる。データ処理部250の表示制御部255は、ディスプレイ206に表示される画像を順次切り替える。
【0066】
なお、被験者Sに対して視覚刺激を与える方法としては、被験者Sの目前にプロジェクターを配置し、対象の画像を投影するようにしてもよい。
【0067】
図3は、本発明の実施の形態に従う推定システム1を構成する情報処理装置100の装置構成を示す模式図である。情報処理装置100は、典型的には、汎用的なアーキテクチャに従うコンピュータを採用することができる。
図3を参照して、情報処理装置100は、主たるコンポーネントとして、プロセッサ102と、主記憶部104と、コントロールインターフェイス106と、ネットワークインターフェイス108と、入力部110と、表示部112と、二次記憶部120とを含む。
【0068】
プロセッサ102は、二次記憶部120に格納されている処理プログラム122に含まれるコードを指定される順序に実行することで、後述する各種機能を実現する。主記憶部104は、DRAM(Dynamic Random Access Memory)などで構成され、プロセッサ102で実行されるプログラムのコードやプログラムの実行に必要な各種ワークデータを保持する。
【0069】
情報処理装置100は、通信機能を有しており、この通信機能は、主として、コントロールインターフェイス106およびネットワークインターフェイス108によって提供される。
【0070】
コントロールインターフェイス106は、fMRI装置200のデータ処理部250との間でデータを遣り取りする。ネットワークインターフェイス108は、外部装置(例えば、クラウド上のデータサーバ装置など)との間でデータを遣り取りする。コントロールインターフェイス106およびネットワークインターフェイス108は、有線LAN(Local Area Network)、無線LAN、USB(Universal Serial Bus)、Bluetooth(登録商標)などの任意の通信コンポーネントで構成される。
【0071】
入力部110は、典型的には、マウスまたはキーボードなどで構成され、ユーザからの操作を受付ける。表示部112は、典型的には、ディスプレイなどで構成され、情報処理装置100における処理の実行状態や操作に係る各種情報をユーザへ通知する。
【0072】
二次記憶部120は、典型的には、ハードディスクまたはSSD(Solid State Drive)などで構成され、プロセッサ102にて実行される各種プログラム、処理に必要な各種データ、設定値などを保持する。より具体的には、二次記憶部120は、処理プログラム122、画像データ124、処理結果データ126などを格納する。
【0073】
[C.ラベル]
次に、
図1のステップS1において用意される複数の画像に付与されるラベル302について説明する。各画像に付与されるラベル302は、当該商品についての既知の属性、および、当該商品に対する印象を表す1または複数の言語表現を含む。
【0074】
ラベル302に含まれる既知の属性としては、例えば、「売れている」または「売れていない」といった事項を含む。
【0075】
ラベル302に含まれる印象を表す言語表現としては、例えば、(1)対象の画像が「好き」または「嫌い」、(2)対象の画像が表す商品を「知っている」または「知らない」、(3)対象の画像が表す商品が「おいしい」または「おいしくない」、といった形容詞および動詞などを含む。その他の印象を表す言語表現としては、以下のようなものが列挙できる。
【0076】
・なじみやすい/親しみやすい(Friendly)
・キリッとした/スッキリした(Sharp)
・のどごしが良さそうな(Drinking)
・コクがある/味わい深そうな(Full-bodied)
・マイルドな/クリーミーな(Mild)
・社会に貢献している(Volunteer)
・食事がおいしくなる(Eating)
・香りがよさそうな(Fragrant)
・正統派な/伝統的な(Classical/Traditional)
・元気な/健康的な(Active)
・高品質な/上品な(Elegant)
・派手な(Flashy)
・セクシーな(Sexy)
・センスの良い/格好良い(Fashionable/Cool)
・高齢者らしい(Senior)
・子供らしい(Childish)
・新鮮な(Fresh)
・リラックスできる/安心できる(Relaxing)
・楽しい(Joyful)
・かわいい(Cute)
・自然な(Natural)
・男性的な(Manly)
・女性的な(Feminine)
これらの言語表現はあくまでも一例であり、これらに限定されることなく、応用先に応じて任意の言語表現を選択すればよい。また、ラベルとしては、「売れている」および「売れていない」といった2値に限られず、「売れている」、「まあまあ売れている」、「売れていない」といったより多くの値(すなわち、3値以上)をとるようにしてもよい。あるいは、逆に、売上またはシェアがある一定値を超えた場合に限って、「売れている」といったラベルを付与し、それ以外には、ラベルを付与しないようにしてもよい。
【0077】
また、それぞれの画像300に付与されるラベルの種類および数は、必ずしも同一にする必要はなく、各画像300の内容に応じて該当する1または複数のラベルが付与される。各画像に付与されるラベルの値は、既知の属性から決定してもよいし、アンケートに対する回答などから決定してもよい。
【0078】
さらに、固定的な内容のラベルを付与するのではなく、知覚刺激を与えたときに計測される脳活動情報(脳波など)の類似性などを評価し、その類似性に基づいて、複数の画像のグループ分け(一種のラベル付与)を行なうようにしてもよい。このような手法を採用することで、一種の半教師あり学習を実現することができる。
【0079】
[D.脳活動情報の計測]
次に、
図1のステップS2に示す、被験者から脳活動情報を計測する処理について説明する。
【0080】
各被験者は、
図2に示されるfMRI装置200のボア内の計測位置に載置された状態で、知覚刺激を順次与えられる。各知覚刺激に対応して、NMR信号およびNMR信号から生成される脳活動パターン画像が順次取得される。本実施の形態においては、知覚刺激の一例として、視覚刺激、すなわち被験者に画像を見てもらい、そのときの脳活動情報を計測する。
【0081】
図4は、本発明の実施の形態に従う推定方法における脳活動情報を計測する処理を説明するための図である。
図4に示すように、一例として、予め用意された複数の画像がディスプレイ206(
図2参照)に順次表示される。被験者は、装着したプリズムメガネ204(
図2参照)により、ディスプレイ206に順次表示される画像を見ることになる。
【0082】
図4には、各画像を一定期間Tずつランダムな順序で表示して、その表示内容を順次切り替える場合の例を示す。一定期間Tの間に計測されたNMR信号から脳活動パターン画像を生成する。
図4に示す例では、各画像を一定期間Tの間表示し、その一定期間Tの間に、1枚の脳活動パターン画像を取得する。なお、脳活動パターン画像に含まれるノイズ成分を低減するために、あるいは、連続するラベル付き画像を見ることで生じる影響を低減するために、予め用意された複数のラベル付き画像に加えて、風景などの一般的な画像を含めた全体をランダムな順序で表示することが好ましい。例えば、
図4中の画像1および画像3が、予め用意されたラベル付き画像に相当し、画像2が一般画像に相当する。
【0083】
画像全体の表示が終了し、ラベル付き画像の枚数と同数の脳活動パターン画像が取得された時点で、1回の試行とし、この試行を複数回(例えば、3回)繰り返すことが好ましい。
【0084】
[E.類似度行列の生成]
次に、
図1のステップS3に示す、類似度行列を生成する処理について説明する。
図5は、本発明の実施の形態に従う推定方法における類似度行列の生成処理を説明するための図である。
【0085】
図5を参照して、類似度行列は、同一の被験者に対して異なる知覚刺激を与えた場合に、それぞれの知覚刺激に対して生じる脳活動情報の類似性を示す。類似度行列は、被験者に与えられる複数の知覚刺激を、同じ順序で行方向および列方向に割り当てられた、対称行列である。類似度行列内の各要素は、対応する列および行に割り当てられた2つの知覚刺激の間の、脳活動情報の類似性を示す値が格納される。
【0086】
図5に示す類似度行列306において、白い領域に対応する画像間(知覚刺激値)ほど類似度が高いことを示し、黒い領域に対応する画像間(知覚刺激値)ほど類似度が低いことを示す。
【0087】
例えば、被験者1が画像3001を見たときに計測される脳活動情報3041と、被験者1が画像3002を見たときに計測される脳活動情報3042との間の類似度が算出され、類似度行列306内の、画像3001に対応する列3061と画像3002に対応する行3062との交点3063の要素値として格納される。なお、類似度行列306は対称行列であるので、同一の要素値が、画像3001に対応する行と、画像3002に対応する列との交点(図示していない)の要素値としても格納される。
【0088】
このような手順で、同一の被験者に与えられる複数の知覚刺激のそれぞれに対応する脳活動情報の各組み合わせについて、類似度がそれぞれ算出されることで、類似度行列306が計算される。
【0089】
fMRI計測によって取得される脳活動情報である脳活動パターン画像は、複数の要素値を有する多次元データであるため、ベクトル化して類似度を算出することが好ましい。より具体的には、それぞれの脳活動パターン画像から特徴ベクトルがそれぞれ算出され、算出された特徴ベクトル間で類似度が算出される。この類似度としては、例えば、ベクトル間の距離、ベクトル間の距離を正規化した値などが用いられる。例えば、2つの特徴ベクトル間の距離を0〜1の範囲に正規化したものを用いることができる。この場合、距離「1」のときに類似度が最も低い(あるいは、非類似度(dissimilarity)が最も高い)ことを意味し、距離「0」のときに類似度が最も高い(あるいは、非類似度が最も低い)ことを意味する。
【0090】
あるいは、相関係数に基づいて、類似度または非類似度を定義してもよい。相関係数を用いる場合には、典型的には、−1〜+1の範囲に規格化された値を用いてもよい。この場合には、相関係数が「+1」のときに、類似度が最も高い(あるいは、非類似度が最も低い)ことを意味し、相関係数が「−1」のときに、類似度が最も低い(あるいは、非類似度が最も高い)ことを意味する。
【0091】
特徴ベクトルは、fMRI計測によって取得された脳の活性度を示す脳活動パターン画像に含まれる各画素の画素値からベースライン成分を除いた値(変化成分)を各画素の要素値とするベクトルである。すなわち、特徴ベクトルは、fMRI計測によって取得された信号強度の変化量を反映する情報である。例えば、特徴ベクトルとしては、被験者が画像を見たときのfMRI信号の強度の変化(%signal change)を示す。
【0092】
図6は、本発明の実施の形態に従う推定方法における類似度の算出処理を説明するための図である。
図6を参照して、例えば、第1の知覚刺激に対して被験者から計測された脳活動パターン画像1、および、第1の知覚刺激に対して被験者から計測された脳活動パターン画像2に対して、それぞれベースライン成分が除かれて、特徴ベクトル1および2がそれぞれ算出される。そして、特徴ベクトル1と特徴ベクトル2との間で、類似度が算出される。
【0093】
このような類似度が、複数の知覚刺激から選択される任意の2つの知覚刺激の組み合わせのすべてについて算出される。そして、それぞれの算出結果が類似度行列の各要素の値になる。
【0094】
[F.平均類似度行列の生成]
次に、
図1のステップS4に示す、平均類似度行列を生成する処理について説明する。平均類似度行列は、複数の被験者の間のばらつきによる影響を低減するための統計処理の結果を示す。
【0095】
図7は、本発明の実施の形態に従う推定方法における平均類似度行列を生成する処理を説明するための図である。
図7を参照して、上述した類似度行列の生成処理に従って、複数の被験者ごとに、かつ、脳の領野ごとに、類似度行列が生成される。
図7には、一例として、被験者1、被験者2、…の別に、低次視覚野(LVC)、高次視覚野(HVC)、前頂葉(PC)、…のそれぞれについて類似度行列が生成されている例を示す。
【0096】
脳の領野ごとに、複数の被験者からそれぞれ取得された複数の類似度行列を画像空間に沿って重ねて並べ、複数の類似度行列の間で、対応する画素ごとに、画素値が積算または平均化されることで、平均類似度行列が生成される。
【0097】
以上のような処理によって、
図7に示すように、脳の領野別に複数の平均類似度行列が生成される。
【0098】
[G.マッピングおよび判別器の決定]
次に、
図1のステップS5に示す、平均類似度行列の各要素を空間にマッピングする処理、および、判別器の決定処理について説明する。
【0099】
(g1:マッピング処理)
マッピング処理では、相手方との類似度に応じた距離に各知覚刺激が配置される。上述の類似度行列または平均類似度行列より低い次元の空間上で、知覚刺激間の類似度を評価することができる。すなわち、空間上において、類似度が高い知覚刺激同士はより近い位置にマッピングされる一方で、類似度の低い知覚刺激同士はより遠い位置にマッピングされる。このようなより低次元の空間上に知覚刺激をマッピングすることで、後述の判別器の決定を容易化する。
【0100】
このようなマッピング処理には、多変量解析の任意の手法を用いることができるが、本実施の形態では、多次元尺度構成法(MDS:Multi Dimensional Scaling)の手法を採用する。多次元尺度構成法は、対象物の関係を低次元空間における位置の関係で表現するものである。
【0101】
図8は、本発明の実施の形態に従う推定方法におけるマッピング処理を説明するための図である。
図8を参照して、平均類似度行列308から非類似度行列(Dissimilarity Matrix)309が生成され、非類似度行列から各知覚刺激(画像)の座標が算出される。そして、各画像が空間上のマッピングされる(マッピング結果312)。
【0102】
例えば、N種類の知覚刺激(画像)に対する被験者からの脳活動情報が取得されている場合には、N行×N列の平均類似度行列308が生成される。平均類似度行列308の各要素(類似度)をr
ij(0≦r
ij≦1)(但し、i:行番号、j:行番号)とすると、非類似度行列309の各要素(非類似度)d
ij(0≦d
ij≦1)(但し、i:行番号、j:行番号)は、以下のように表すことができる。
【0103】
d
ij=1−r
ij
この非類似度d
ijを用いて、非類似度行列309は、以下のように定義できる。
【0105】
また、マッピング対象の空間をp次元とすると、各知覚刺激(画像)の座標は、以下のように定義できる。
【0107】
上述の座標群行列X
p中のi行目の要素ベクトルが、i番目の知覚刺激(画像)の座標に相当する。
【0108】
座標群行列X
p(知覚刺激(画像)の数N×座標の次元数p)と非類似度行列D
(2)とは、センタリング行列Jを用いて、以下のようの関係が成立する。ここで、センタリング行列Jは、行ごとまたは列ごとに要素値を平均化する行列である。
【0110】
さらに、右辺の行列を対角行列(QΛQ
T)に変換すると、座標群行列X
pは、以下のように定義できる。
【0112】
但し、Q
pおよびΛ
pは、p次元の固有ベクトルおよび固有値である。
さらに、上述の式に従って算出される座標群行列X
pを初期値として、ストレスEを以下のような式に従って最小化することが好ましい。
【0114】
但し、d
*は、本来の非類似度を示し、dは、p次元の空間上での距離を示す。
以上のような演算処理によって、平均類似度行列の各画像をp次元空間に写像する際の座標が算出される。この算出される座標を用いて、各画像を2次元空間にマッピングしたものが、
図8のマッピング結果312である。
図8には、可視化のため、各座標に対応する画像そのものが配置されたマッピング結果312を示すが、装置内部では、知覚刺激(画像)と対応する座標との関係が定義されていればよい。
【0115】
このように、本実施の形態に従う推定方法においては、多次元尺度構成法によって、類似度行列から2次元空間上の座標を算出する。
【0116】
(g2:判別器の決定処理)
続いて、マッピング結果312を用いて判別器が決定される。
図9は、本発明の実施の形態に従う推定方法における判別器の決定処理を説明するための図である。
図9を参照して、空間上にマッピングされた知覚刺激(画像)の座標と、各知覚刺激(画像)に付与されているラベルとの関係に基づいて、判別器が決定される。一例として、
図9には、「売れている」商品とのラベルが付与された画像と、「売れていない」商品とのラベルが付与された画像とをマッピングした結果を示す。
【0117】
図9に示す空間上では、「売れている」商品とのラベルが付与された画像と、「売れていない」商品とのラベルが付与された画像とが比較的明確に分離されており、この両者の境界を定義する関数を判別器として決定できる。
【0118】
脳の複数の領野ごとに平均類似度行列がそれぞれ生成され、また、画像に付与されるラベルも複数存在するため、マッピング結果312は、平均類似度行列を生成した領野の数と、ラベルの数との積だけ生成可能である。説明の便宜上、
図9には、2次元空間(平面)に対するマッピング結果を示すが、より多次元空間にマッピングすることも可能であり、この場合には、判別器についても、次元の数に応じた次数で定義される関数となる。すなわち、判別器は、ある空間上の領域を区別する関数(判別関数)と表現することもできる。
【0119】
判別器は、マッピング結果312(空間上の座標)と、各画像に付与されたラベルの値とを用いて、コンピュータ学習によって生成される。このコンピュータ学習の方法としては、例えば、線形サポートベクターマシン(Support vector machine:SVM)を用いることができる。但し、判別器の決定に用いるアルゴリズムとしては、教師あり学習に適用できるのであれば、どのようなものであってもよい。例えば、スパースロジスティック回帰(Sparse Logistic Regression:SLR)、線形判別分析(Linear Discrimination Analysis:LDA)などを用いることができる。
【0120】
[H.判別器の判別性能]
以上のような手順によって生成される判別器の判別性能について、本願発明者が実際に行なった実験結果に基づいて説明する。
【0121】
本願発明者は、年齢・性別などを均等化した56名の被験者からなる母集団に対して、既知の商品の画像(商品デザイン)を見てもらい、そのときに計測された脳活動情報を用いて、判別器を決定した。既知の商品としては、ビール類および車用芳香剤とした。被験者の母集団において、ビール類を購入する人と購入しない人との人数もほぼ均等化されており、車用芳香剤を購入する人と購入しない人との人数もほぼ均等化されている。
【0122】
被験者に見てもらった商品の画像は、22種類のビール類の商品デザインと、28種類の車用芳香剤の商品デザインとを含む。各商品の売上実績に基づいて、対応する画像(商品デザイン)の各々に対して、「売れている商品」または「売れていない商品」の2群のいずれかのラベルを付与した。
【0123】
このような条件下で、それぞれの被験者の脳活動を示す類似度行列を生成するとともに、複数の類似度行列から平均類似度行列を生成し、マッピング処理などを経て、判別器(判別関数)を決定した。なお、類似度行列および平均類似度行列においては、商品種別(すなわち、ビール類および車用芳香剤)を区別していない。すなわち、類似度行列および平均類似度行列の行方向および列方向には、ビール類および車用芳香剤の商品デザインが混ざった状態で一列に並んで割り当てられている。
【0124】
この既知の商品および売上実績に基づいて生成された判別器を用いて、当該判別器の判別性能を検定した結果を以下に示す。具体的な手順としては、判別器の決定に用いた複数の商品のうち1つを推定対象とみなしたときに、当該推定対象について計測された脳活動情報を判別器に適用して得られる判定結果が、当該推定対象に本来付与されているラベルの値と同じであるか否かを判断する。なお、類似度行列および平均類似度行列は計測された脳の領野の数だけ生成されており、判別性能も領野ごとに評価した。
【0125】
図10は、実際の計測結果に基づいて生成された判別器の判別性能を評価した結果を示す図である。
図10に示す評価結果においては、ビール類および車用芳香剤のそれぞれにおいて、売上実績が上位50%に入っているものを「売れている商品」とのラベルを付与し、それ以外のものを「売れていない商品」とのラベルを付与している。
【0126】
図10(A)には、ビール類の売上予測の正解率を示し、
図10(B)には、車用芳香剤の売上予測の正解率を示す。
図10(A)および
図10(B)には、低次視覚野(LVC)、高次視覚野(HVC)、前頂葉(PC)、前頭葉(FC)、大脳基底核(BG)、扁桃体(Amygdala)、および、海馬(HC)の7つの領野についての売上予測の正解率を示す。
図10(A)および
図10(B)において、「*」印は、二項検定の結果、正解率が有意に50%を超える領野を示す(有意水準5%)。
【0127】
図10(A)に示すように、ビール類については、すべての領野で50%以上の正解率を示しており、そのうち統計的に有意であったのは、頭頂葉(PC)および扁桃体(Amygdala)であった。
図10(B)に示すように、車用芳香剤については、大脳基底核(BG)を除いたすべての領野で50%以上の正解率を示しており、そのうち統計的に有意であったのは、前頭葉(FC)であった。大脳基底核(BG)についても、正解率はほぼ50%が確保されている。
【0128】
このように、判定対象となる項目(例えば、印象を表す言語表現)に応じて、有意な結果を生じる領野は異なるので、判別器として用いる脳活動情報を評価する項目に応じて、適宜選択するようにしてもよい。
【0129】
図11は、実際の計測結果に基づいて生成された判別器の判別性能を評価した別の結果を示す図である。
図11に示す評価結果においては、ビール類および車用芳香剤のそれぞれにおいて、売上実績が上位25%に入っているものを「売れている商品」とのラベルを付与し、売上実績が下位25%に入っているものを「売れていない商品」とのラベルを付与している。それ以外の商品については、評価対象から除外している。すなわち、
図11に示す評価結果では、
図10に示す評価結果に比較して、付与されるラベルの信頼性が高いと考えることができる。
【0130】
図11(A)には、ビール類の売上予測の正解率を示し、
図11(B)には、車用芳香剤の売上予測の正解率を示す。
図11(A)および
図11(B)には、
図10(A)および
図10(B)に示す領野に加えて、前頭前皮質(PFC)に含まれる、腹内側前頭前野(vmPFC)、眼窩前頭皮質(OFC)、背外側前頭前野(DLPFC)の3つの領野についての売上予測の正解率も示す。また、
図10と同様に、二項検定の結果、正解率が有意に50%を超える領野については「*」印を付加している(有意水準5%)。
【0131】
図11に示す評価結果においては、車用芳香剤の売上予測の正解率が
図10に示す評価結果に比較して向上している。また、いずれの商品についても、統計的に有意な結果を生じる領野が増加していることがわかる。これらは、より信頼性の高いラベルが付与されていることが影響していると考えられる。
【0132】
以上のような評価結果によれば、本実施の形態に従う推定方法において生成される判別器の判別精度は十分に高いと言える。また、一般的な消費者が目に触れることの多いビール類と、一般的な消費者が目に触れることが多くないおよび車用芳香剤との間でも、有意な推定を行なうことが示されている。これは、本実施の形態に従う推定方法が十分実用的であることを示唆するものである。
【0133】
[I.未知の知覚刺激に対する感覚の推定]
上述のステップS1〜S5の過程(一種の学習過程)において決定された判別器を用いて、未知の知覚刺激に対して、被験者が覚えるであろう感覚を推定する。例えば、発売前の未公開の商品デザインなどに対して想起される、潜在的な購買者の感覚(または、印象)を事前に評価することができる。以下では、予め決定されている判別器を利用して、未知の商品デザインを含む判別対象の画像320に対して被験者が抱くであろう感覚(または、印象)を推定する処理(
図1のステップS6〜S9に対応)について説明する。
【0134】
まず、ステップS6においては、判別器を決定するための脳活動情報を計測した複数の被験者(M人)のうち、少なくとも一部の被験者(m人≦M人)に、判別対象の画像320を見てもらい、そのときの脳活動情報324が計測される。そして、ステップS7においては、画像320について計測された脳活動情報324を反映して、類似度行列326が再構成される。
【0135】
図12は、本発明の実施の形態に従う推定方法における類似度行列の再構成処理を説明するための図である。
図12を参照して、各被験者が判別対象の画像320を見たときに計測された脳活動情報Xと、当該被験者がラベルの付与された複数の画像を見たときに計測された脳活動情報1,2,3,…との間の類似度が計算される。
【0136】
実際には、上述の
図6を参照して説明したように、脳活動情報の一例である脳活動パターン画像から特徴ベクトルが算出され、特徴ベクトル間で類似度が算出される。この類似度は、脳活動情報1,2,3,…の数だけ算出される。これらの算出された各組み合わせの類似度のベクトル329が、予め生成されている類似度行列306に対して付加されることで、新たな類似度行列326が生成(すなわち、類似度行列326が再構成)される。
【0137】
このような類似度行列326の再構成処理は、脳活動情報を計測した脳の領野の数だけ、および、判別対象の画像320を見た被験者の数だけ繰り返される。
【0138】
続いて、上述の
図7を参照して説明したように、複数の類似度行列326についての平均類似度行列328が生成される。さらに、平均類似度行列328中の判別対象の画像320に対応する要素が、判別器を決定した空間と同じ空間にマッピングされる。
【0139】
図13は、本発明の実施の形態に従う推定方法における未知の商品デザインをマッピングした結果の一例を示す図である。
図13を参照して、先に生成された判別器を用いて、判別対象の画像320に対応するマッピングされた空間上の座標330が、いずれのグループ(例えば、「売れている」商品、または、「売れていない」商品)に属するのかが判定される。
【0140】
このように、各被験者について、判別対象の知覚刺激(画像320)を与えたときに計測される脳活動情報と、予め定められた複数の知覚刺激(画像300)を与えたときに計測される脳活動情報との間の類似度を算出することで、類似度行列326が再構成される。そして、再構成された類似度行列326から算出される空間上の座標330が判別器で定義される領域に含まれるか否かが判断される。
【0141】
図13には、あるラベルについてのマッピング結果を示すが、複数のラベルについてそれぞれ判別器が決定されているので、それぞれのラベルについて、被験者が覚えるであろう感覚を推定することができる。すなわち、「売れそうである」商品、または、「売れなさそうである」商品のいずれに分類されるのかといった単一的な評価だけではなく、予め付与されたラベルの局面について、1または複数の評価をそれぞれ推定できる。
【0142】
[J.推定性能]
以上のような手順に従う感覚または印象を推定する性能について、本願発明者が実際に行なった実験結果に基づいて説明する。
【0143】
上述した脳活動情報を計測した56名の被験者からなる母集団に対して、脳活動情報の計測作業後に、アンケートを実施した。このアンケートでは、提示されたラベル付き画像に対する感覚(または、印象)を問うものである。例えば、アンケートは、提示された画像が好きであるか、あるいは、嫌いであるかといった問いを含む。
【0144】
被験者が抱くであろう感覚または印象の推定精度を検証するために、上述の推定手法を用いた推定結果とアンケート結果との同一性を評価した。具体的な手順として、判別器の決定に用いた複数の商品のうち1つを「未知の商品デザイン」とみなしたときに、当該商品に対するアンケート結果が推定結果と同じであるか否かを判断する。なお、判別器は計測された脳の領野の数だけ生成されており、推定性能も領野ごとに評価した。
【0145】
図14は、実際の計測結果に基づいて生成された判別器を用いてアンケート結果を推定した結果を示す図である。より具体的には、
図14(A)は、対象の画像が「好き」または「嫌い」のいずれであるかのアンケート結果に対する予測正解率を示す。
図14(B)は、対象のビール類を「知っている」または「知らない」のいずれであるかのアンケート結果に対する予測正解率を示す。
図14(C)は、対象のビール類が「おいしい」と思っている、または「おいしくない」と思っている、のいずれであるかのアンケート結果に対する予測正解率を示す。
図14(D)は、対象のビール類を「欲しい」または「欲しくない」のいずれであるかのアンケート結果に対する予測正解率を示す。
図14(E)は、対象の車用芳香剤を「欲しい」または「欲しくない」のいずれであるかのアンケート結果に対する予測正解率を示す。
【0146】
図14(A)〜
図14(E)には、低次視覚野(LVC)、高次視覚野(HVC)、前頂葉(PC)、前頭葉(FC)、大脳基底核(BG)、扁桃体(Amygdala)、および、海馬(HC)の7つの領野についてのアンケート結果の正解率を示す。
図14(A)〜
図14(E)において、「*」印は、二項検定の結果、正解率が有意に50%を超える領野を示す(有意水準5%)。
【0147】
図14に示す予測正解率の結果によれば、本実施の形態に従う推定方法によれば、未知の商品デザインに対して、人が抱くであろう感覚(または、印象)を十分実用的な精度が予測できることがわかる。なお、
図14には、一例として、5つの評価(言語表現)のみを示すが、これに限られず、未知の商品デザインに関連付けられる任意の言語表現(形容詞、動詞など)を推定できる。
【0148】
また、比較のために、脳活動情報を用いることなく、被験者のアンケート結果のみを用いて、対象の製品の売上実績を予測した場合の正解率についても評価した。具体的な手順として、ラベルが付与された商品の画像に対するアンケート結果と、当該商品の売上実績との相関性を評価した。
【0149】
図15は、被験者のアンケート結果に基づいて商品の売上実績を推定した結果を示す図である。
図15には、
図14(A)〜
図14(E)に示されるアンケート項目に対応して、それぞれの予測正解率を示す。なお、
図15(A)および
図15(B)には、商品をビール類および車用芳香剤に分離して予測正解率をそれぞれ示す。
【0150】
図15に示すように、脳活動情報を用いることなく、単に被験者のアンケート結果のみを用いて売上実績を予測した場合には、正解率が有意に50%を超えるアンケート項目は存在しなかった。上述の
図11に示すように、脳活動情報を用いた場合の売上実績の予測正解率は50〜80%であるのに対して、
図15に示すように、被験者のアンケート結果のみを用いた場合の売上実績の予測正解率は、最大でも60%程度であり、多くのアンケート項目で50%以下に留まっている。
【0151】
図11、
図14、
図15などの予測正解率の結果に示されるように、脳活動情報を用いることで、アンケート結果には現れない深層心理を反映した情報(潜在意識)を有意に推定できることが示唆されている。すなわち、本実施の形態に従う推定方法による、人の感覚または印象を推定する性能は、十分に実用性を備えているといえる。
【0152】
[K.機能構成]
次に、本実施の形態に従う推定方法を実現するための機能構成の一例について説明する。
【0153】
図16は、本発明の実施の形態に従う推定システム1を構成する情報処理装置100の機能構成を示す模式図である。
図16に示す機能ブロックは、主として、情報処理装置100のプロセッサ102(
図3)が、各ハードウェア資源を利用して、処理プログラム122を実行することで実現される。より具体的には、情報処理装置100は、その機能構成として、ラベル付き画像格納部150と、脳活動情報格納部152,164と、通信モジュール154と、類似度行列算出モジュール156と、類似度行列格納部158,168と、平均化モジュール160,170と、判別器決定モジュール162と、類似度行列更新モジュール166と、判別モジュール172と、判別器データ格納部174と、ユーザインターフェイス提供モジュール180とを含む。
【0154】
ラベル付き画像格納部150、脳活動情報格納部152、および通信モジュール154は、各被験者に対して知覚刺激(本実施の形態においては、視覚刺激)を与えたときに計測される脳活動情報を、予め定められた複数の知覚刺激のそれぞれについて取得する機能を提供する。
【0155】
より具体的には、ラベル付き画像格納部150は、判別器を決定するための複数のラベル付き画像151を格納する。ラベル付き画像151は、任意の方法で予め用意される。ラベル付き画像151は、必要に応じて他の一般的な画像(例えば、風景画像など)とともに、通信モジュール154を通じて、fMRI装置200(
図2)へ送信される。fMRI装置200では、上述したような手順に従って、複数の被験者からの脳活動情報が計測され、その計測された脳活動情報は、通信モジュール154を通じて、脳活動情報格納部152へ格納される。より具体的には、脳活動情報格納部152は、脳活動情報の一例である、脳活動パターン画像153を格納する。脳活動パターン画像153は、ラベル付き画像151の各々に対応付けられて、被験者別かつ脳の領野別にそれぞれ計測される。そのため、脳活動パターン画像153の各々には、対象のラベル付画像を特定する識別情報と、被験者を特定する識別情報と、脳の領野を特定する識別情報とが付与される。
【0156】
類似度行列算出モジュール156および類似度行列格納部158は、複数の知覚刺激(本実施の形態においては、視覚刺激)のうちの2つの知覚刺激からなる各組み合わせについて、対応する2つの脳活動情報間の類似度を表現する類似度行列159を生成する機能を提供する。
【0157】
より具体的には、類似度行列算出モジュール156は、脳活動情報格納部152に格納された複数の脳活動パターン画像153を用いて、類似度行列159を生成する。類似度行列159は、被験者別かつ脳の領野別にそれぞれ生成される。そのため、類似度行列159の各々には、被験者を特定する識別情報と、脳の領野を特定する識別情報とが付与される。類似度行列算出モジュール156により生成されたそれぞれの類似度行列159は、類似度行列格納部158に格納される。
【0158】
平均化モジュール160、判別器決定モジュール162、および判別器データ格納部174は、複数の被験者の各々について生成された類似度行列159から、複数の知覚刺激(本実施の形態においては、視覚刺激)の各々に対応する、所定次元の空間上の座標を算出するとともに、複数の知覚刺激のうち、あるラベルが付与された知覚刺激に対応する空間上の座標と、それ以外の知覚刺激に対応する空間上の座標とから、当該ラベルについての判別器を決定する機能を提供する。
【0159】
より具体的には、平均化モジュール160は、類似度行列格納部158に格納されている類似度行列159を平均化して平均類似度行列を生成する。より具体的には、平均化モジュール160は、脳の領野ごとに、複数の被験者についての複数の類似度行列を平均化して、平均類似度行列を生成する。
【0160】
判別器決定モジュール162は、平均化モジュール160により生成された平均類似度行列を用いて、指定されたラベルが付与されている画像をマッピングする先の座標を算出するとともに、コンピュータ学習によって判別器(いわば、マッピング先の空間上の境界を定義する判別関数)を決定する。一般的には、複数のラベル付き画像151に付与されるラベルごとに、かつ、脳の領野ごとに、判別器がそれぞれ決定される。
【0161】
判別器決定モジュール162での処理結果は、判別器データ格納部174に格納される。具体的には、判別器決定モジュール162が決定した判別器を定義する判別器データ175と、各判別器データ175を生成する際に用いた各画像のマッピング先の座標からなる座標群データ176とを含む。
【0162】
続いて、被験者が覚えるであろう感覚を推定する対象である、判別対象の画像が与えられると、通信モジュール154は、その判別対象画像をfMRI装置200へ送信する。fMRI装置200では、先の計測と同様に、複数の被験者からの判別対象画像に対する脳活動情報が計測され、その計測された脳活動情報は、通信モジュール154を通じて、脳活動情報格納部164へ格納される。脳活動情報格納部164は、脳活動情報の一例である、脳活動パターン画像165を格納する。説明の便宜上、脳活動情報格納部152および脳活動情報格納部164が独立して設けられた構成を例示するが、共通の格納部として実装してもよい。
【0163】
脳活動情報格納部164、類似度行列更新モジュール166、類似度行列格納部168、平均化モジュール170、および、判別モジュール172は、判別対象の知覚刺激を各被験者に対して与えたときに計測される脳活動情報を、決定された判別器に適用することで、判別対象の知覚刺激が判別器に関連付けられるラベルに該当するか否かを判別する機能を提供する。
【0164】
より具体的には、類似度行列更新モジュール166は、判別対象画像に対して計測された脳活動パターン画像165を用いて、類似度行列格納部158に格納されている類似度行列159に新たな情報を付加して、更新後の類似度行列169を生成する。類似度行列169についても、被験者別かつ脳の領野別にそれぞれ生成される。そのため、類似度行列169の各々には、被験者を特定する識別情報と、脳の領野を特定する識別情報とが付与される。類似度行列更新モジュール166により生成されたそれぞれの類似度行列169は、類似度行列格納部168に格納される。説明の便宜上、類似度行列格納部158および類似度行列格納部168が独立して設けられた構成を例示するが、共通の格納部として実装してもよい。
【0165】
平均化モジュール170は、類似度行列格納部168に格納されている類似度行列169を平均化して平均類似度行列を生成する。この平均化処理については、平均化モジュール160での処理と同様である。説明の便宜上、平均化モジュール160および平均化モジュール170が独立して設けられた構成を例示するが、共通の処理モジュールとして実装してもよい。
【0166】
判別モジュール172は、複数の被験者について生成された複数の類似度行列169について、対応する要素同士を平均化することで平均類似度行列を生成し、当該平均類似度行列から判別器を決定する。より具体的には、判別モジュール172は、平均化モジュール170により生成された平均類似度行列を用いて、指定されたラベルが付与されている画像をマッピングする先の座標を算出するとともに、判別器データ175(判別器データ格納部174に格納されている)を参照して、その算出した座標がいずれのグループに属するのかを判断する。すなわち、判別モジュール172は、判別対象画像に付与されるであろうラベルを特定する。判別モジュール172は、その判別結果をユーザインターフェイス提供モジュール180へ出力する。
【0167】
判別器は、複数のラベル付き画像151に付与されるラベルごとに、かつ、脳の領野ごとにそれぞれ生成されるので、判別モジュール172は、判別器ごとに判定結果を算出する。
【0168】
ユーザインターフェイス提供モジュール180は、ユーザ操作に応じて、判別モジュール172から出力される判別器ごとの判定結果のうち選択された判定結果を、推定結果としてユーザへ提供する。より具体的には、ユーザインターフェイス提供モジュール180は、選択された判定結果に関連するマッピング結果を視覚化して、表示部112(
図3)上に表現する。
【0169】
なお、類似度行列算出モジュール156、平均化モジュール160、および判別器決定モジュール162での処理の全部または一部は、感覚を推定する処理が実行されるときに、併せて実行されるようにしてもよい。すなわち、類似度行列159、判別器データ175、および座標群データ176を予め取得しておく必要はなく、必要に応じて都度生成するようにしてもよい。但し、類似度行列159の算出に時間を要する場合には、類似度行列159を先に生成しておくことが好ましい。
【0170】
図17は、本発明の実施の形態に従う推定システム1を構成する情報処理装置100により提供されるユーザインターフェイス画面の一例を示す図である。
図17を参照して、情報処理装置100は、複数の知覚刺激(本実施の形態においては、視覚刺激)を空間上の対応する座標にマッピングした結果を視覚的に表示する表示機能を有している。
【0171】
より具体的には、情報処理装置100が表示するユーザインターフェイス画面190は、判別器の決定に用いられた複数の画像がマッピングされるマッピング領域191を含む。マッピング領域191上では、多次元尺度構成法によって算出される各画像の座標および距離(類似度に逆比例する)に応じた位置に、各画像が配置される。さらに、判別器が決定されている場合には、各画像がいずれのグループに属しているのかを視覚的に表現してもよい。
【0172】
図17に示す例においては、あるラベルの値が付与されている画像197と、当該ラベルの値が付与されていない画像198とは、その表示態様を異ならせることで、視覚的に区別されている。すなわち、ユーザインターフェイス画面190では、マッピングされた各知覚刺激の表示態様を付与されたラベルに応じて異ならせてある。より具体的には、画像197と画像198との間では、互いに異なる装飾が外枠になされている。
【0173】
ユーザインターフェイス画面190には、判別器の任意に選択するラジオボタンおよびチェックボックスが用意されている。具体的には、ラジオボタン群192は、判別器に使用する脳活動情報の取得先(すなわち、脳の領野)に対する選択を受付ける。
【0174】
チェックボックス群193は、コンピュータ学習に用いるラベル付き画像のカテゴリーに対する選択を受付ける。すなわち、チェックボックス群193に対して選択されたカテゴリーに属する画像のみが、コンピュータ学習に利用される。そのため、決定される判別器は、選択されたカテゴリーに属する画像の情報のみから生成されることになる。
【0175】
チェックボックス群194は、コンピュータ学習に用いる脳活動情報を計測した被験者の属性に対する選択を受付ける。すなわち、チェックボックス群194に対して選択された条件に合致する被験者から計測された脳活動情報のみが、コンピュータ学習に利用される。
【0176】
チェックボックス群195は、マッピング領域191に有効に表示される画像のカテゴリーに対する選択を受付ける。すなわち、チェックボックス群195に対して選択されたカテゴリーに属する画像のみが有効に表示され、それ以外の画像は、グレイアウトされている。
【0177】
チェックボックス群196は、画像に付与されるラベルのしきい値についての調整を受付ける。脳活動情報の計測に用いられる画像には、付与されるラベルに関連する属性値が付与されており、この属性値と予め設定されたしきい値との比較によって、付与されるラベルの値を動的に変化できるようになっている。例えば、ビール類の外観(商品デザイン)を含む画像には、当該商品の売上実績が関連付けられている。例えば、全ビール類の中でその売上実績が上位25%の商品群に入っている場合に限って、「売れている」というラベルを付与するようにしてもよいし、上位50%の商品群に入っている場合であっても、「売れている」というラベルを付与するようにしてもよい。このように、ユーザインターフェイス画面190では、付与するラベルを決定する際の各種パラメータを適宜調整できるようになっている。
【0178】
また、判別対象画像を示すサムネイル画像199が、判別結果に応じた位置に配置される。ユーザは、マッピング領域191におけるサムネイル画像199の位置、および、他の商品に対する距離などを視覚的に認識して、当該判別対象画像(典型的には、未公開の商品デザインなど)が売れる可能性が高いのか否かといった、マーケティング上の戦略を練ることができる。
【0179】
[L.判別結果の平均化手法]
上述の実施の形態においては、複数の被験者の脳活動情報からそれぞれ生成された類似度行列を平均化することで、統計的なノイズ成分を低減する手法を採用した。この平均化手法に限られず、統計的に有意な結果が得られる手法であれば、どのような手法を採用してもよい。
【0180】
このような判別結果の平均化手法の一例として、複数の被験者の各々から計測された脳活動パターン画像(脳活動情報)と、対応する画像に付与されているラベルとを用いて、コンピュータ学習により被験者ごとに判別器を決定し、それぞれの判別器を用いて、判別対象の画像320に対する感覚(または、印象)を被験者ごとに推定する。そして、複数の被験者からなる母集団のうち、より多くの被験者から推定された判別結果を最終的な判別結果として出力する。
【0181】
図18は、本発明の実施の形態に従う推定方法における判別結果を平均化する別手法を説明するための図である。
図18を参照して、上述の実施の形態と同様に、複数の被験者1,2,3,…に対して、複数の画像300−1,300−2,…を見てもらい、そのときの脳活動情報が計測される。被験者ごとの複数の脳活動情報から類似度行列306−1,306−2,306−3,…がそれぞれ生成され、さらに、画像300−1,300−2,…に対応付けられたラベルから、それぞれに対応する判別器が決定される。
【0182】
そして、複数の被験者1,2,3,…に対して、判別対象の画像320を見てもらい、そのときの脳活動情報が計測される。被験者ごとの脳活動情報を対応する判別器に適用することで、被験者ごとの判別結果1,2,3,…が決定される。最終的に、複数の被験者のそれぞれからの判別結果は多数決ロジック340へ入力され、多数決ロジック340は、最も投票数の多い判別結果を最終的な判別結果として出力する。
【0183】
このように、情報処理装置100は、複数の被験者の各々について生成された類似度行列306−1,306−2,306−3,…から、被験者ごとに判別器を決定する。そして、情報処理装置100は、判別対象の知覚刺激(判別対象の画像320)を各被験者に対して与えたときに計測される被験者ごとの脳活動情報を対応する判別器に適用するとともに、各被験者についての判定結果を統計処理することで、判別対象の知覚刺激がラベルに該当するか否かを判別する。
【0184】
なお、判別結果が多値(例えば、3値以上)をとる場合には、単純な多数決ではなく、各値を取り得る尤度を判別結果として出力するようにしてもよい。
【0185】
図18に示すような平均化手法を採用することで、被験者の母集団をフレキシブルに変化させることができる。
【0186】
[M.ネットワークを介したサービス提供]
上述の説明では、情報処理装置100およびfMRI装置200で構成される推定システム1について例示したが、典型的な実装形態としては、情報処理装置100およびfMRI装置200を有するサービス提供者と、メーカ、デザイナ、商社といったサービス利用者とからなるサービス提供形態が想定される。サービス利用者は、新商品のデザイン候補を発売前に評価し、その評価結果などを用いて、販売戦略などを立案する。
【0187】
図19は、本発明の実施の形態の変形例に従う推定システム1#の構成を模式的に示す図である。
図19を参照して、インターネットなどのネットワーク410を介して、サービス提供者と、1または複数のサービス利用者とが遣り取りすることになる。サービス提供者側には、情報処理装置100Aが設けられている。
【0188】
情報処理装置100Aは、被験者ごとの類似度行列306Aを格納する。類似度行列306Aは、予め定められた複数の画像を各被験者に見せたときに計測される脳活動情報に基づいて算出される、複数の画像のうちの2つの画像からなる各組み合わせについての対応する2つの脳活動情報間の類似度を表現するものである。より具体的には、情報処理装置100Aには、複数の被験者Sからなる母集団について、予めラベル付けされた知覚刺激(典型的には、画像)を与えたときに計測される脳活動情報から生成された類似度行列306Aと、類似度行列306Aの各要素に割り当てられた画像(典型的には、商品デザインまたは商品パッケージ)に対して付与されているラベル302Aとの組が格納されている。
【0189】
サービス提供者では、予め契約などで、特定の被験者Sについて、適宜のタイミングで脳活動情報の計測ができるようになっているものとする。
【0190】
新商品のデザインを評価してもらいたいサービス利用者は、自身の端末装置400などを操作して、新商品デザインを表す画像データを情報処理装置100Aへ送信する(
図19の手順(1))。すると、サービス提供者は、母集団に含まれる一部または全部の被験者Sから、サービス利用者から受信した画像データを見たときに生じる脳活動情報を計測する(
図19の手順(2))。そして、それぞれの被験者Sから計測された脳活動情報を用いて、予め用意されている類似度行列306Aおよびラベル302Aの組から、当該新商品を見た人が感じるであろう感覚(または、印象)を表す言語表現を判断する(
図19の手順(3))。サービス提供者は、得られた1または複数の言語表現を判断結果として、サービス利用者へ回答する(
図19の手順(4))。
【0191】
情報処理装置100Aの側から見ると、判別対象の画像を受信する機能と、類似度行列を再構成する機能とを有する。ここで、判別対象の画像を各被験者に見せたときに計測される脳活動情報と、予め定められた複数の画像を各被験者に見せたときに計測される脳活動情報との間の類似度を算出することで、類似度行列が再構成される。そして、情報処理装置100Aは、再構成された類似度行列から、予め定められた複数の画像および判別対象の画像の各々についての、所定次元の空間上の座標を算出し、当該予め定められた複数の画像のうちあるラベルが付与された画像に対応する空間上の座標と、それ以外の画像に対応する空間上の座標とから、判別対象の画像が当該ラベルに該当するか否かを判断する。
【0192】
図20は、本発明の実施の形態の変形例に従う推定システム1#により提供される判別結果の一例を示す模式図である。
図20を参照して、判別結果420は、判別対象の画像420とともに、判別可能な複数のラベル424のうち、当該判別対象の画像が該当すると判定されたラベルについて、「○」印で示されている。
【0193】
このような一連の手順および判別結果を利用することで、サービス利用者は、発売前の商品デザインなどに対して、潜在的な購入者が感じるであろう感覚(または、印象)をより高い蓋然性をもって知ることができる。そのため、事前に綿密な販売戦略を練ることができる。
【0194】
また、
図19に示すシステム構成では、被験者Sの守秘義務が維持されていれば、同業種および異業種を問わず、より多くのサービス利用者が本サービスを利用できるので、評価に係るコストを低減できる。そのため、従来から利用されている発売前のアンケート実施といった手法に比較して、より多面的かつ客観的な評価を、より安価に提供することができる。
【0195】
[N.利点]
予め定められたラベル付けされた複数の知覚刺激を与えたときに表れる脳活動情報を用いて、任意の知覚刺激に対して、被験者が抱くであろう感覚または印象を推定することができる。特に、ある画像に象徴される商品の外観(商品デザイン)に対して、人が購買意欲を感じるか否かを推定するようなことも可能である。さらに、このような推定を多数の人が抱くであろう感覚または印象について行なうことができる。
【0196】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。