【国等の委託研究の成果に係る記載事項】(出願人による申告)平成24年度、文部科学省脳科学研究戦略推進プログラム「日本の特長を活かしたBMIの統合的研究開発」、産業技術力強化法第19条の適用を受ける特許出願
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0026】
以下、脳情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0027】
(実施の形態1)
本実施の形態において、対象物を被験者に見せた際の脳の活性度に関する脳活動情報と、当該対象物に関する対象物情報とを有する1以上の脳情報がDB化されており、ある対象物を被験者に見せた際の脳活動情報を用いて、DB検索し、類似する脳活動情報に対応する対象物情報を取得し、出力する脳情報処理装置について説明する。
【0028】
また、本実施の形態において、脳情報は被験者の情報と対応付けられており、受け付けられた被験者の情報に対応する脳情報の中から、類似する脳活動情報を決定し、当該脳活動情報に対応する対象物情報を取得し、出力する脳情報処理装置について説明する。
【0029】
また、本実施の形態において、脳活動情報の構成方法について説明する。
【0030】
図1は、本実施の形態における脳情報処理装置1のブロック図である。脳情報処理装置1は、画像格納部101、脳情報格納部102、受付部103、対象物情報取得部104、出力部105、特徴ベクトル取得部106、および脳活動情報取得部107を備える。
【0031】
また、対象物情報取得部104は、対象物情報決定手段1041、対象物情報取得手段1042、統計情報取得手段1043を具備しても良い。
【0032】
画像格納部101は、2以上の画像を格納し得る。各画像は、被験者が対象物を見た際の脳の活性度を示す2以上の画像である。画像は、例えば、fMRI計測によって得られた脳の画像であることは好適である。なお、fMRI計測によって得られた脳の画像は、fMRI脳活動パターンとも言う。また、画像は、例えば、NIRS脳計測装置やPET等を用いて計測された脳の画像であっても良い。なお、画像は、脳の全体である全脳の画像でも良いし、脳の一部の画像でも良い。脳の一部は、例えば、視覚野、大脳基底核、眼窩前頭皮質などである。視覚野は、低次視覚やでも良いし、高次視覚野でも良いし、その両方でも良い。
【0033】
脳情報格納部102は、1以上の脳情報を格納し得る。脳情報は、脳活動情報と対象物情報とを有する。脳活動情報は、対象物を被験者に見せた際の脳の活性度に関する情報である。脳活動情報は、例えば、fMRI信号の強度の変化を用いた情報である。なお、fMRI信号の強度の変化を用いた情報とは、例えば、fMRI信号の強度のベースラインの値からの変化値である。脳活動情報は、例えば、fMRI計測によって得られた脳の画像を構成する2以上の画素の画素値のベースラインと比較した変化に関する値を要素に有する特徴ベクトルである。また、脳活動情報は、例えば、後述する脳表現類似度行列である。脳活動情報は、予め決められた脳の一部の領域の活性度に関する情報であることは好適である。脳の一部は、例えば、視覚野、大脳基底核、眼窩前頭皮質などである。視覚野は、低次視覚やでも良いし、高次視覚野でも良いし、その両方でも良い。なお、脳活動情報は、全脳の活性度に関する情報でも良い。また、脳表現類似度行列は、2以上の脳活動情報に対応する情報である。
【0034】
また、脳活動情報は、NIRSにより取得された画像から得られた情報と脳波の情報等でも良い。NIRSにより取得された画像から得られた情報とは、例えば、当該画像の画素の画素値とベースラインの画素値との差を要素に有する特徴ベクトルである。
【0035】
また、対象物情報は、対象物に関する情報である。対象物は、物体でも良いし、画像でも良い。対象物は、人が認識できるものであれば良い。対象物情報とは、例えば、対象物の写真、対象物の名前や、対象物自体、対象物のIDなどである。さらに、対象物情報は、1以上のメタデータを有することは好適である。メタデータは、対象物の属性値であり、対象物のカテゴリーや売上、対象物に対するアンケートの評価値等である。
【0036】
また、脳情報格納部102は、脳情報と、被験者個人の情報である個人情報とを対応付けて有することは好適である。個人情報とは、例えば、被験者を識別する個人識別子、被験者の属性値などである。被験者の属性値は、例えば、被験者の年齢、性別、国籍、職業、嗜好などである。
【0037】
受付部103は、各種の指示や情報等を受け付ける。受付部103は、例えば、脳活動情報を受け付ける。また、受付部103は、脳活動情報と脳活動情報に対応する個人情報を受け付けても良い。また、受付部103は、対象物情報を受け付けても良い。また、受付部103は、脳活動情報の出力指示を受け付けても良い。なお、受付部103が受け付ける脳活動情報は、脳情報格納部102に格納されている1以上の脳情報が構成されるために被験者が見た対象物とは異なる対象物を、被験者と同一または異なる被験者が見た場合の脳の活性度に関する情報である。
【0038】
ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
【0039】
脳活動情報の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。受付部103は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0040】
対象物情報取得部104は、受付部103が受け付けた脳活動情報と予め決められた条件を満たすほど近似する1以上の脳活動情報に対応する1以上の対象物情報を、脳情報格納部102から取得する。
【0041】
対象物情報取得部104は、受付部103が受け付けた個人情報に対応する脳情報の中から、1以上の脳活動情報を取得し、1以上の各脳活動情報に対応する1以上の対象物情報を取得しても良い。
【0042】
脳活動情報が脳表現類似度行列である場合、対象物情報取得部104は、受付部103が受け付けた対象物情報に対応する行列の要素の値が、近似することを示す値に対応する1以上の対象物情報を取得しても良い。
【0043】
対象物情報取得部104を構成する対象物情報決定手段1041は、比較対象の脳活動情報に対して、予め決められた条件を満たすほど近似する1または2以上の脳活動情報に対応する1または2以上の対象物情報を決定する。なお、ここでの比較対象の脳活動情報は、受付部103が受け付けた脳活動情報である。対象物情報決定手段1041は、例えば、比較対象の脳活動情報との類似度が高い順からN(Nは、例えば、10)個の脳活動情報に対応するN個の対象物情報を決定する。
【0044】
対象物情報取得手段1042は、対象物情報決定手段1041が決定した対象物情報の一部または全部を取得する。ここでは、対象物情報取得手段1042は、対象物情報の一部または全部を、脳情報格納部102から取得する。
【0045】
統計情報取得手段1043は、対象物情報決定手段1041が決定した2以上の対象物情報が有するメタデータを統計処理し、統計情報を取得する。統計処理とは、例えば、平均値を取得したり、中央値を取得したりする等の処理である。統計情報は、例えば、平均値や中央値等である。なお、統計処理の内容は問わない。また、例えば、メタデータが、対象物に対するアンケートの評価値である場合、統計情報取得手段1043は、例えば、2以上の対象物情報に含まれる2以上の評価値の平均値を取得する。なお、対象物情報取得部104は、統計情報取得手段1043を具備しなくても良い。 出力部105は、対象物情報取得部104が取得した1以上の対象物情報を出力する。また、出力部105は、後述する脳活動情報取得部107が取得した脳活動情報を出力しても良い。また、出力部105は、統計情報取得手段1043が取得した統計情報を出力しても良い。脳活動情報は、例えば、後述する脳表現類似度行列(RSM)である。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0046】
特徴ベクトル取得部106は、2以上の各画像を構成する2以上の画素の画素値のベースラインと比較した変化に関する値を要素に有する2以上の特徴ベクトルを取得する。なお、2以上の画素の画素値のベースラインは、特徴ベクトル取得部106が予め保持している、とする。また、特徴ベクトルは、一次元のベクトルである。
【0047】
脳活動情報取得部107は、2以上の各特徴ベクトル間の類似度を取得し、当該類似度を要素に有する対称行列である脳表現類似度行列(Representational similarity matrix(RSM))を取得する。この脳表現類似度行列が脳活動情報の例である。そして、脳活動情報取得部107は、この脳表現類似度行列を脳情報格納部102に蓄積する。脳表現類似度行列の例について、後述する。なお、類似度とは、例えば、ベクトル間の距離、ベクトル間の距離を正規化した値等である。
【0048】
また、脳活動情報取得部107は、特徴ベクトル取得部106が取得した特徴ベクトルを、脳活動情報として取得し、脳情報格納部102に蓄積しても良い。
【0049】
画像格納部101、脳情報格納部102は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。画像格納部101等に画像等が記憶される過程は問わない。例えば、記録媒体を介して画像等が画像格納部101等で記憶されるようになってもよく、通信回線等を介して送信された画像が画像格納部101等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された画像等が画像格納部101等で記憶されるようになってもよい。
【0050】
対象物情報取得部104、特徴ベクトル取得部106、および脳活動情報取得部107は、通常、MPUやメモリ等から実現され得る。対象物情報取得部104等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0051】
出力部105は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部105は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0052】
次に、脳情報処理装置1が対象物情報を出力する動作について、
図2のフローチャートを用いて説明する。
【0053】
(ステップS201)受付部103は、脳活動情報を受け付けたか否かをご判断する。脳活動情報を受け付ければステップS202に行き、脳活動情報を受け付けなければステップS201に戻る。
【0054】
(ステップS202)対象物情報取得部104は、カウンタiに1を代入する。
【0055】
(ステップS203)対象物情報取得部104は、脳情報格納部102に、i番目の脳情報が存在するか否かを判断する。i番目の脳情報が存在すればステップS204に行き、存在しなければステップS207に行く。
【0056】
(ステップS204)対象物情報取得部104は、i番目の脳情報に含まれる脳活動情報を、脳情報格納部102から読み出す。
【0057】
(ステップS205)対象物情報取得部104は、ステップS201で受け付けられた脳活動情報と、ステップS204で読み出したi番目の脳活動情報との類似度を算出する。そして、対象物情報取得部104は、i番目の脳活動情報またはi番目の脳活動情報を識別する情報に対応付けて、類似度を図示しない記録媒体に一時蓄積する。なお、ベクトルの類似度を算出する技術は公知技術であるので詳細な説明は省略する。なお、類似度の表現方法は問わない。つまり、例えば、類似度の最大値を1としても、100としても良い。
【0058】
(ステップS206)対象物情報取得部104は、カウンタiを1、インクリメントする。ステップS203に戻る。
【0059】
(ステップS207)対象物情報取得部104は、ステップS205で一時蓄積された情報を用いて、予め決められた条件を満たす1以上の脳活動情報を決定する。通常、対象物情報取得部104は、最も類似度が大きい脳活動情報を取得する。また、対象物情報取得部104は、類似度が閾値より大きい1以上の脳活動情報を取得しても良い。
【0060】
(ステップS208)対象物情報取得部104は、ステップS207で決定された1以上の脳活動情報と対になる1以上の対象物情報を、脳情報格納部102から取得する。なお、対象物情報取得部104は、類似度が大きい順に2以上の対象物情報を取得しても良い。
【0061】
(ステップS209)出力部105は、ステップS208で取得された1以上の対象物情報を出力する。
【0062】
なお、
図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0063】
次に、脳情報処理装置1が脳活動情報を蓄積する動作について、
図3のフローチャートを用いて説明する。
【0064】
(ステップS301)特徴ベクトル取得部106は、カウンタiに1を代入する。
【0065】
(ステップS302)特徴ベクトル取得部106は、i番目の画像が画像格納部101に存在するか否かを判断する。i番目の画像が存在すればステップS303に行き、存在しなければステップS311に行く。
【0066】
(ステップS303)特徴ベクトル取得部106は、画像格納部101から、i番目の画像を読み出す。
【0067】
(ステップS304)特徴ベクトル取得部106は、カウンタjに1を代入する。
【0068】
(ステップS305)特徴ベクトル取得部106は、i番目の画像またはi番目の画像の所定の領域の中にj番目の画素が存在するか否かを判断する。j番目の画素が存在すればステップS306に行き、存在しなければステップS310に行く。なお、i番目の画像の所定の領域とは、例えば、脳の一部の画像領域であり、例えば、視覚野、大脳基底核、眼窩前頭皮質などの領域である。
【0069】
(ステップS306)特徴ベクトル取得部106は、j番目の画素の画素値を取得する。
【0070】
(ステップS307)特徴ベクトル取得部106は、j番目の画素に対応するベースラインの画素値を取得する。なお、ベースラインの画像は、例えば、画像格納部101または特徴ベクトル取得部106に格納されている、とする。
【0071】
(ステップS308)特徴ベクトル取得部106は、j番目の画素の画素値とベースラインの画素値との差を算出し、ベクトルのj番目の要素として蓄積する。なお、ベクトルを記録する領域は確保されている、とする。
【0072】
(ステップS309)特徴ベクトル取得部106は、カウンタjを1、インクリメントする。ステップS305に戻る。
【0073】
(ステップS310)特徴ベクトル取得部106は、カウンタiを1、インクリメントする。ステップS302に戻る。
【0074】
(ステップS311)脳活動情報取得部107は、2以上のベクトルを用いて、脳表現類似度行列を生成する。この脳表現類似度行列生成処理について、
図4のフローチャートを用いて説明する。
【0075】
(ステップS312)脳活動情報取得部107は、ステップS311で生成した脳表現類似度行列を、脳情報格納部102に蓄積する。処理を終了する。
【0076】
なお、
図3のフローチャートのステップS312において、脳活動情報取得部107は、脳表現類似度行列の行番号、および列番号と対象物情報とを対応付けて、脳情報格納部102に蓄積することは好適である。なお、行番号と対応付けられる対象物情報は、行番号に対応する特徴ベクトルの元になった画像を特定する情報である。画像を特定する情報とは、画像そのもの、画像に写っている対象を特定する対象の名称、ID等である。
【0077】
また、
図3のフローチャートのステップS312において、脳活動情報取得部107が脳表現類似度行列を蓄積する代わりに、または蓄積するとともに、出力部105が脳表現類似度行列を出力しても良い。
【0078】
また、
図3のフローチャートのステップS311において、脳活動情報取得部107は、各画像に対応する特徴ベクトルと、特徴ベクトルの元になった画像を特定する対象物情報とを対応付けて、脳情報格納部102に蓄積しても良い。
【0079】
次に、ステップS311の脳表現類似度行列生成処理について、
図4のフローチャートを用いて説明する。
【0080】
(ステップS401)脳活動情報取得部107は、特徴ベクトル取得部106が取得したベクトルの数Nを取得する。
【0081】
(ステップS402)脳活動情報取得部107は、N行N列の行列の記憶領域を確保する。
【0082】
(ステップS403)脳活動情報取得部107は、N行N列の行列の対角成分の値(類似度)を最大値とする。つまり、脳活動情報取得部107は、N行N列の行列の対角成分の領域に、最大の類似度(例えば、1)を記録する。
【0083】
(ステップS404)脳活動情報取得部107は、カウンタiに1を代入する。
【0084】
(ステップS405)脳活動情報取得部107は、カウンタjに「i+1」を代入する。
【0085】
(ステップS406)脳活動情報取得部107は、j番目の特徴ベクトルが存在するか否かを判断する。j番目の特徴ベクトルが存在すればステップS407に行き、存在しなければステップS410に行く。
【0086】
(ステップS407)脳活動情報取得部107は、i番目とj番目の特徴ベクトルの類似度を算出する。
【0087】
(ステップS408)脳活動情報取得部107は、N行N列の行列の中の、i行j列の要素の値、j行i列の要素の値として、ステップS407で取得した類似度を書き込む。
【0088】
(ステップS409)脳活動情報取得部107は、カウンタjを1、インクリメントする。ステップS406に戻る。
【0089】
(ステップS410)脳活動情報取得部107は、カウンタiを1、インクリメントする。
【0090】
(ステップS411)脳活動情報取得部107は、i番目の特徴ベクトルが最後のベクトルか否かを判断する。最後のベクトルであれば上位処理にリターンし、最後のベクトルでなければステップS405に行く。
【0091】
以下、本実施の形態における具体的な動作について説明する。
【0092】
(具体例1)
具体例1は、脳情報処理装置1が使用する脳活動情報を取得する装置の具体例である。脳情報処理装置1が使用する脳活動情報を取得する装置の全体構成を示す模式図を
図5に示す。
図5は、fMRI装置5の模式図である。
【0093】
図1に示すように、fMRI装置5は、被検者2の関心領域に制御された磁場を付与してRF波を照射する磁場印加機構11と、この被検者2からの応答波(NMR信号)を受信してアナログ信号を出力する受信コイル20と、この被検者2に付与される磁場を制御するとともにRF波の送受信を制御する駆動部21と、この駆動部21の制御シーケンスを設定するとともに各種データ信号を処理して画像を生成するデータ処理部32とを備える。
【0094】
なお、ここで、被検者2が載置される円筒形状のボアの中心軸をZ軸にとりZ軸と直交する水平方向にX軸及び鉛直方向にY軸を定義する。
【0095】
fMRI装置5は、このような構成であるので、磁場印加機構11により印加される静磁場により、被検者2を構成する原子核の核スピンは、磁場方向(Z軸)に配向するとともに、この原子核に固有のラーモア周波数でこの磁場方向を軸とする歳差運動を行う。
【0096】
そして、このラーモア周波数と同じRFパルスを照射すると、原子は共鳴しエネルギーを吸収して励起され、核磁気共鳴現象(NMR現象;Nuclear Magnetic Resonance)が生じる。この共鳴の後に、RFパルス照射を停止すると、原子はエネルギーを放出して元の定常状態に戻る緩和過程で、ラーモア周波数と同じ周波数の電磁波(NMR信号)を出力する。
【0097】
この出力されたNMR信号を被検者2からの応答波として受信コイル20で受信し、データ処理部32において、被検者2の関心領域が画像化される。この画像が、画像格納部101に格納されている画像である。
【0098】
磁場印加機構11は、静磁場発生コイル12と、傾斜磁場発生コイル14と、RF照射部16と、被検者2をボア中に載置する寝台18とを備える。
【0099】
被験者2は、特に限定されないが、例えば、プリズムメガネ4により、Z軸に対して垂直に設置されたディスプレイ6に表示される画面を見ることができる。このディスプレイ6の画像により、被験者2に視覚刺激が与えられる。
【0100】
なお、被験者2への視覚刺激は、被験者2の目前にプロジェクターにより対象物の画像が投影される構成であってもよい。
【0101】
駆動部21は、静磁場電源22と、傾斜磁場電源24と、信号送信部26と、信号受信部28と、寝台18をZ軸方向の任意位置に移動させる寝台駆動部30とを備える。
【0102】
データ処理部32は、図示しない操作者から各種操作や情報入力を受け付ける入力部40と、被検者2の関心領域に関する各種画像及び各種情報を画面表示する表示部38と、各種処理を実行させるプログラム・制御パラメータ・画像データ(三次元モデル像等)及びその他の電子データを記憶する記憶部36と、駆動部21を駆動させる制御シーケンスを発生させるなどの各機能部の動作を制御する制御部42と、駆動部21との間で各種信号の送受信を実行するインタフェース部44と、関心領域に由来する一群のNMR信号からなるデータを収集するデータ収集部46と、このNMR信号のデータに基づいて画像を形成する画像処理部48とを備える。
【0103】
また、データ処理部32は、専用コンピュータである場合の他、各機能部を動作させる機能を実行する汎用コンピュータであって、記憶部36にインストールされたプログラムに基づいて、指定された演算やデータ処理や制御シーケンスの発生をさせるものである場合も含まれる。
【0104】
静磁場発生コイル12は、Z軸周りに巻回される螺旋コイルに静磁場電源22から供給される電流を流して誘導磁場を発生させ、ボアにZ軸方向の静磁場を発生させるものである。このボアに形成される静磁場の均一性の高い領域に被検者2の関心領域を設定することになる。ここで、静磁場コイル12は、より詳しくは、例えば、4個の空芯コイルから構成され、その組み合わせで内部に均一な磁界を作り、被験者2の体内の所定の原子核、より特定的には水素原子核のスピンに配向性を与える。
【0105】
傾斜磁場発生コイル14は、Xコイル、Yコイル及びZコイル(図示省略)から構成され、円筒形状を示す静磁場発生コイル12の内周面に設けられる。
【0106】
これらXコイル、Yコイル及びZコイルは、それぞれX軸方向、Y軸方向及びZ軸方向を順番に切り替えながら、ボア内の均一磁場に対し傾斜磁場を重畳させ、静磁場に強度勾配を付与する。Zコイルは励起時に、磁界強度をZ方向に傾斜させて共鳴面を限定し、Yコイルは、Z方向の磁界印加の直後に短時間の傾斜を加えて検出信号にY座標に比例した位相変調を加え(位相エンコーディング)、Xコイルは、続いてデータ採取時に傾斜を加えて、検出信号にX座標に比例した周波数変調を与える(周波数エンコーディング)。
【0107】
この重畳される傾斜磁場の切り替えは、制御シーケンスに従って、Xコイル、Yコイル及びZコイルにそれぞれ異なるパルス信号が送信部24から出力されることにより実現される。これにより、NMR現象が発現する被検者2の位置を特定することができ、被検者2の画像を形成するのに必要な三次元座標上の位置情報が与えられる。
【0108】
RF照射部16は、制御シーケンスに従って信号送信部33から送信される高周波信号に基づいて、被検者2の関心領域にRF(Radio Frequency)パルスを照射するものである。
【0109】
なお、
図5において、RF照射部16は、磁場印加機構11に内蔵されているが、寝台18に設けられたり、あるいは、受信コイル20と一体化されていたりしてもよい。
【0110】
受信コイル20は、被検者2からの応答波(NMR信号)を検出するものであって、このNMR信号を高感度で検出するために、被検者2に近接して配置されている。
【0111】
ここで、受信コイル20には、NMR信号の電磁波がそのコイル素線を切ると電磁誘導に基づき微弱電流が生じる。この微弱電流は、信号受信部28において増幅され、さらにアナログ信号からデジタル信号に変換されデータ処理部32に送られる。
【0112】
すなわち、静磁界にZ軸傾斜磁界を加えた状態にある被験者2に、共鳴周波数の高周波電磁界を、RF照射部16を通じて印加すると、磁界の強さが共鳴条件になっている部分の所定の原子核、例えば、水素原子核が、選択的に励起されて共鳴し始める。共鳴条件に合致した部分(例えば、被験者2の所定の厚さの断層)にある所定の原子核が励起され、スピンが一斉に回転する。励起パルスを止めると、受信コイル20には、今度は、回転しているスピンが放射する電磁波が信号を誘起し、しばらくの間、この信号が検出される。この信号によって、被験者2の体内の、所定の原子を含んだ組織を観察する。そして、信号の発信位置を知るために、XとYの傾斜磁界を加えて信号を検知する、という構成になっている。
【0113】
画像処理部48は、記憶部36に構築されているデータに基づき、励起信号を繰り返し与えつつ検出信号を測定し、1回目のフーリエ変換計算により、共鳴の周波数をX座標に還元し、2回目のフーリエ変換でY座標を復元して画像を得て、表示部38に対応する画像を表示する。
【0114】
(具体例2)
具体例2において、脳情報処理装置1を用いた実験について説明する。また、具体例2は、画像格納部101に格納される脳の活性度を示す画像は、全脳の画像である。そして、脳情報格納部102に格納される脳情報を構成する脳活動情報は、対象物を被験者に見せた際の全脳の活性度に関する情報である。
【0115】
今、図示しない記憶手段に、多数の刺激画像が格納されている、とする。刺激画像は、被験者に見せる画像であり、ここでは、多数のキャラクタの画像、多数の飲み物の缶の画像、多数の車の画像、多数の建築物の画像、多数の芳香剤の容器の画像、多数の化粧品の画像である。
【0116】
そして、刺激画像をディスプレイやプロジェクターを用いて表示し、4名の被験者に刺激画像を見せた。そして、fMRI装置5を用いて、刺激画像を見せた際の4名の被験者の脳活動を測定した。4名の被験者は、被験者TH、被験者RA、被験者RH、被験者PSである。4名の被験者の情報を
図6に示す。
【0117】
次に、刺激画像を各被験者に見せた際に、fMRI装置5が取得した多数の画像が画像格納部101に格納される。画像格納部101に格納された画像の例を
図7の71に示す。なお、71は、ここではfMRI脳活動パターンである。
【0118】
かかる状況において、ユーザが、脳活動情報の出力指示を、脳情報処理装置1に入力した、とする。すると、受付部103は、当該脳活動情報の出力指示を受け付ける。
【0119】
次に、特徴ベクトル取得部106は、画像格納部101に格納されている各画像を取得する。そして、特徴ベクトル取得部106は、画像の2以上の画素値を取得する。
【0120】
次に、特徴ベクトル取得部106は、脳画像の画素の画素値のベースラインを取得する。なお、ベースラインの元になる脳の画像は、例えば、特徴ベクトル取得部106が予め保持している、とする。
【0121】
次に、特徴ベクトル取得部106は、各画像の画素値と、ベースラインの画素値との差を要素に有する2以上の特徴ベクトル(
図7の72)を取得する。なお、特徴ベクトルは画像ごとに生成される。また、ベースラインの画素値との差は、ここでは、被験者が各画像を見たときのfMRI信号の強度の変化(%signal change)を示す情報である。
【0122】
次に、脳活動情報取得部107は、2以上の各特徴ベクトル間の類似度を取得する。ここでは、類似度は、2つの特徴ベクトルの相関を示す値であり、2つの特徴ベクトル間の距離を1から−1の値に正規化した値である。なお、類似度「1」が最も大きく、「−1」が最も小さい。また、特徴ベクトル間の類似度は、相関と言っても良い。
【0123】
次に、脳活動情報取得部107は、類似度を要素に有する対称行列である脳表現類似度行列(RSM)を取得する。例えば、脳活動情報取得部107は、
図8の81に示すRSMを取得した、とする。なお、
図8は、特徴ベクトル取得部106および脳活動情報取得部107の動作の概念を説明する図である。
図8において、被験者は、刺激画像(例えば、
図8のキャラクタ画像等)を順に見る。なお、被験者が見る画像は、多数のキャラクタ画像、飲み物の容器の画像、多数の車の画像、多数の建築の画像、多数の芳香剤の容器の画像、多数の化粧品の画像である。
【0124】
次に、出力部105は、取得されたRSMを出力する。RSMの出力例を
図9に示す。
図9の91は、被験者THの脳活動情報から取得されたRSMを示す。
図9において軸の「chara」はキャラクタ、「drink」は飲み物、「car」は車、「building」は建物、「aroma」は芳香剤、「cosme」は化粧品を示す。91において、白い領域に対応する対象物間ほど類似度が大きいことを示し、黒い領域に対応する対象物間ほど類似度が小さいことを示す。
【0125】
図9のRSM91の92によれば、同一商品カテゴリでは類似度が高く、脳内でも一般的な分類を表現していることが分かる。また、
図9のRSM91の93によれば、カテゴリを跨って類似性を有するものが見られた。これは、通常のカテゴリとは異なる分類を示していると言える。なお、カテゴリとは、ここでは、キャラクタ、飲み物、車、建物、芳香剤、化粧品である。
【0126】
なお、本具体例において、ユーザが、類似度が閾値以上の2以上の対象物のセットを出力する指示を入力しても良い。かかる場合、受付部103は、当該指示を受け付ける。
【0127】
次に、対象物情報取得部104は、脳情報格納部102に格納されているRSMを用いて、類似度が閾値以上の2以上の対象物の組を1以上、取得する。なお、かかる場合、対象物情報取得部104は、RSMの対角要素は使用しない。
【0128】
そして、出力部105は、対象物情報取得部104が取得した2以上の対象物の組を出力する。出力部105は、例えば、類似度が閾値以上の2つの対象物情報の組(キャラクタA,車X)などを出力する。
【0129】
(具体例3)
具体例3は、以下のような、脳情報処理装置1を用いた実験を行った結果を示す例である。また、脳情報格納部102に格納される脳情報を構成する脳活動情報は、対象物を一の被験者に見せた際の脳の一部の活性度に関する情報である。
【0130】
次に、刺激画像を各被験者に見せた際に、fMRI装置5が取得した多数の画像が画像格納部101に格納される。画像格納部101に格納された画像の例は
図10である。
図10において、(a)は、脳の一部である低次視覚野の領域が活性化している画像である。また、(b)は、脳の一部である高次視覚野の領域が活性化している画像である。また、(c)は大脳基底核の領域が活性化している画像である。さらに、(d)は、脳の一部である眼窩前頭皮質の領域が活性化している画像である。
【0131】
なお、低次視覚野は、局所的または簡単な画像の特徴を検出した際に活性化する領域である。局所的または簡単な画像の特徴とは、画像の輪郭の傾きや明るさ等である。また、高次視覚野は、大局的または複雑な画像の特徴を検出した際に活性化する領域である。大局的または複雑な画像の特徴を検出することは、例えば、顔等の物体認識を行うことである。また、大脳基底核は、無意識的な報酬を得た場合に活性化する領域である。無意識的な報酬とは、例えば、生理的または金銭的な報酬等である。眼窩前頭皮質は、意識的な喜びを感じたり、好きという感情を得たりした場合に活性化する領域である。意識的な喜びを感じたり、好きという感情を得たりする場合とは、高級感や美味しさ等を感じる場合である。
【0132】
かかる状況において、ユーザが、脳活動情報の出力指示を、脳情報処理装置1に入力した、とする。すると、受付部103は、当該脳活動情報の出力指示を受け付ける。
【0133】
次に、特徴ベクトル取得部106は、画像格納部101に格納されている各画像を取得する。
【0134】
次に、特徴ベクトル取得部106は、画像格納部101に格納されている各画像、または画像の一部を取得する。そして、特徴ベクトル取得部106は、画像の一部の画素値を取得する。画像の一部の画素値とは、各画像のうちの低次視覚野の領域、高次視覚野の領域、大脳基底核の領域、および眼窩前頭皮質の領域の画像の画素値である。
【0135】
次に、特徴ベクトル取得部106は、脳画像の画素の画素値のベースラインを取得する。なお、ベースラインの元になる脳の画像は、例えば、特徴ベクトル取得部106が予め保持している、とする。
【0136】
次に、特徴ベクトル取得部106は、各画像の一部の画素値と、ベースラインの画素値との差を要素に有する2以上の特徴ベクトルを取得する。なお、画素値の差を取得する元になるベースラインの画素は、画像の一部の画素と位置が対応する画素である。
【0137】
次に、脳活動情報取得部107は、2以上の各特徴ベクトル間の類似度を取得する。
【0138】
次に、脳活動情報取得部107は、2以上の各特徴ベクトル間の類似度を用いて、上述の処理により、類似度を要素に有する対称行列である脳表現類似度行列(RSM)を取得する。例えば、脳活動情報取得部107は、
図11の(a)から(d)に示すRSMを取得した、とする。
図11は、被験者THの各領域に対応するRSMである。
【0139】
次に、出力部105は、取得された
図11のRSMを出力する。
【0140】
なお、
図11の111から、低次視覚野に比べ、高次視覚野はカテゴリ内の相関が高く、カテゴリ間の相関が小さいことが分かる。このことは、高次視覚野が商品カテゴリを処理していることを示唆している。また、
図11の112から、無意識的な報酬や意識的な喜びを処理している大脳基底核や眼窩前頭皮質において、それぞれカテゴリ間で相関が高いものが存在していたことが分かる。このことは、カテゴリを越えた無意識的報酬や意識的喜びの類似性検出が可能であることを示している。
【0141】
以上、本具体例によれば、各カテゴリの視覚的特徴は、高次視覚野によって、より明確に分類できることが示された。一方、大脳基底核からは無意識的報酬を、眼窩前頭皮質から意識的喜びを、カテゴリを越えて、類似性検出できる可能性が示唆された。
【0142】
(具体例4)
具体例4は、脳情報処理装置1の具体例である。そして、具体例4は、以下のような、脳情報処理装置1を用いた実験を行った結果を示す例である。また、脳情報格納部102に格納される脳情報を構成する脳活動情報は、対象物を上記の4名の被験者に見せた際の脳の一部である大脳基底核、および眼窩前頭皮質の領域の活性度に関する情報である。つまり、具体例4は、ユーザの無意識的報酬や意識的喜び共に個人差が存在するか否かを判断するための実験結果である。なお、4名の被験者は、被験者TH、被験者RA、被験者RH、被験者PSである。
【0143】
今、図示しない記憶手段に、多数の刺激画像が格納されている、とする。刺激画像は、上記の具体例と同様である。
【0144】
そして、刺激画像をディスプレイやプロジェクターを用いて表示し、4名の被験者に刺激画像を見せた。そして、fMRI装置5を用いて、刺激画像を見せた際の4名の被験者の脳活動を測定した。
【0145】
次に、刺激画像を各被験者に見せた際に、fMRI装置5が取得した多数の画像(例えば、
図7の71)が画像格納部101に格納された、とする。
【0146】
かかる状況において、ユーザが、脳活動情報の出力指示を、脳情報処理装置1に入力した、とする。すると、受付部103は、当該脳活動情報の出力指示を受け付ける。
【0147】
次に、特徴ベクトル取得部106は、画像格納部101に格納されている各画像を取得する。そして、特徴ベクトル取得部106は、画像の2以上の画素値を取得する。
【0148】
次に、特徴ベクトル取得部106は、脳画像の画素の画素値のベースラインを取得する。なお、ベースラインの元になる脳の画像は、例えば、特徴ベクトル取得部106が予め保持している、とする。
【0149】
次に、特徴ベクトル取得部106は、被験者ごとに、各画像の大脳基底核の領域の画素値と、ベースラインの画素値との差を要素に有する2以上の特徴ベクトルを取得する。また、特徴ベクトル取得部106は、被験者ごとに、各画像の眼窩前頭皮質の領域の画素値と、ベースラインの画素値との差を要素に有する2以上の特徴ベクトルを取得する。なお、特徴ベクトルは画像ごとに生成される。
【0150】
次に、脳活動情報取得部107は、被験者ごとに、大脳基底核の領域に関して、2以上の各特徴ベクトル間の類似度を取得する。また、脳活動情報取得部107は、被験者ごとに、眼窩前頭皮質の領域に関して、2以上の各特徴ベクトル間の類似度を取得する。
【0151】
次に、脳活動情報取得部107は、被験者ごとに、大脳基底核の領域に関して、類似度を要素に有する対称行列である脳表現類似度行列(RSM)を取得する。また、脳活動情報取得部107は、被験者ごとに、眼窩前頭皮質の領域に関して、類似度を要素に有する対称行列である脳表現類似度行列(RSM)を取得する。
【0152】
そして、脳活動情報取得部107は、被験者ごとに、
図12に示す脳表現類似度行列(RSM)を取得した。
図12に示すRSMは、大脳基底核の領域に対応するRSMである。また、脳活動情報取得部107は、被験者ごとに、
図13に示す脳表現類似度行列(RSM)を取得した。
図13に示すRSMは、眼窩前頭皮質の領域に対応するRSMである。
【0153】
次に、出力部105は、取得されたRSM(
図12、
図13)を出力する。
【0154】
図12の楕円で囲まれた領域から分かるように、無意識的報酬を処理する大脳基底核においては、カテゴリ間で相関が高い部分があり、被験者間で共通する部分もあることが分かる。また、
図13の楕円で囲まれた領域から分かるように、意識的喜びを処理する眼窩前頭皮質においても、カテゴリ間で相関が高い部分があり、被験者間でそのパターンは異なることが分かる。
【0155】
また、本具体例において、図示しない解析手段が、以下のように解析処理を行っても良い。つまり、解析手段は、脳活動情報取得部107が取得した各被験者のRSMから、当該各RSMの要素を並べたベクトル(RSMベクトル)を作成する。そして、解析手段は、RSMベクトルを要素間の距離関係は維持しつつ、次元数を削減するMDS(Multi-dimensional scaling)を用いて、各被験者の2次元での配置の情報(X,Y)を取得する。
【0156】
そして、出力部105は、MDSを用いて分析された結果である各被験者の配置の情報(X,Y)に従って、各被験者(TH、RA、RH、PS)の情報を2次元上に出力する。かかる出力例は、
図14である。
図14において141は、各被験者の大脳基底核の画像を解析して得られた脳活動情報の出力例である。また、142は、各被験者の眼窩前頭皮質の画像を解析して得られた脳活動情報の出力例である。141、142によれば、被験者数は少ないが、被験者の属性的・文化的共通性や差異性を把握できる。141、142によれば、例えば、日本人とアメリカ人との間で、異なる特性が存在するとも考えられる。
【0157】
以上、本具体例によれば、被験者間の個人差を、MDSと呼ばれる解析手法を用いることによりマッピングすることが可能となった。
【0158】
(具体例5)
具体例5は、多数の飲み物の画像を被験者に見せた際の脳の活性度に関する脳活動情報である特徴ベクトルと、当該対象物に関する情報である対象物情報である画像とを有する1以上の脳情報が脳情報格納部102に格納されている、とする。
【0159】
かかる状況において、同一の被験者に他の飲み物の画像を見せる。そして、fMRI装置5が、その際の脳の活性度を示す画像を得る。次に、特徴ベクトル取得部106は、脳の活性度を示す画像から特徴ベクトルを構成する。
【0160】
次に、脳活動情報取得部107は、特徴ベクトル取得部106が取得した特徴ベクトルと最も近似する特徴ベクトルを脳情報格納部102から決定する。
【0161】
次に、脳活動情報取得部107は、決定した最も近似する特徴ベクトルに対応する画像を、脳情報格納部102から取得する。
【0162】
そして、出力部105は、当該画像を出力する。なお、この画像は、被験者が見た他の飲み物の画像と同様の感覚を覚える画像である。ここで、被験者が見た他の飲み物の画像も一緒に出力することは好適である。
【0163】
以上、本実施の形態によれば、潜在的な意識を示す高度な脳活動の情報を用いて、人が類似する感覚を覚える対象物を検出できる。
【0164】
また、本実施の形態によれば、人が見た対象物と類似する感覚を潜在的に覚える対象物を脳情報データベースから検出できる。
【0165】
また、本実施の形態によれば、個人の特性を考慮して、対象物の検索ができる。
【0166】
また、脳の適切な一部の脳活動の情報を用いて、対象物の検索ができる。なお、脳の適切な一部とは、例えば、視覚野、大脳基底核、眼窩前頭皮質である。
【0167】
さらに、本実施の形態によれば、自動的に脳情報データベースを構築できる。
【0168】
なお、本実施の形態における脳情報処理装置1は、潜在的な意識を示す高度な脳活動の情報を用いた、デザインの評価システムとして利用できる。つまり、脳情報処理装置1は、デザイン評価装置、と言っても良い。
【0169】
また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における脳情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、例えば、記録媒体に、対象物を被験者に見せた際の脳の活性度に関する情報である脳活動情報と、当該対象物に関する情報である対象物情報とを有する1以上の脳情報を格納しており、コンピュータを、前記記録媒体に格納されている1以上の脳情報が構成されるために被験者が見た対象物とは異なる対象物を、前記被験者と同一または異なる被験者が見た場合の脳の活性度に関する脳活動情報を受け付ける受付部と、前記受付部が受け付けた脳活動情報と予め決められた条件を満たすほど近似する1以上の脳活動情報に対応する1以上の対象物情報を、前記記録媒体から取得する対象物情報取得部と、前記対象物情報取得部が取得した対象物情報を出力する出力部として機能させるためのプログラムである。
【0170】
また、本実施の形態における脳情報処理装置を実現するソフトウェアは、例えば、記録媒体に、2以上の対象物を被験者が見た際の脳の活性度を示す2以上の画像を格納しており、コンピュータを、指示を受け付ける受付部と、前記指示に応じて、前記2以上の各画像または各画像の一部を構成する2以上の画素の画素値のベースラインと比較した変化に関する値を要素に有する2以上の特徴ベクトルを取得する特徴ベクトル取得部と、前記2以上の各特徴ベクトル間の類似度を取得し、当該類似度を要素に有する対称行列である脳表現類似度行列を取得し、当該脳表現類似度行列を前記脳情報格納部に蓄積する脳活動情報取得部と、前記脳表現類似度行列を出力する出力部として機能させるためのプログラムである。
【0171】
また、上記プログラムにおいて、前記対象物情報は、対象物の属性値である1以上のメタデータを有し、前記対象物情報取得部は、比較対象の脳活動情報に対して、予め決められた条件を満たすほど近似する2以上の脳活動情報に対応する2以上の対象物情報を決定する対象物情報決定手段と、前記対象物情報決定手段が決定した2以上の対象物情報が有するメタデータを統計処理し、統計情報を取得する統計情報取得手段とを具備し、前記出力部は、前記統計情報取得手段が取得した統計情報を出力するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【0172】
(実施の形態2)
本実施の形態において、2以上の対象物を被験者に見せた際の2以上の各脳活動情報と、DB内の教師データとを比較し、教師データに最も近い対象物の情報を出力する脳情報処理装置2について説明する。なお、教師データとは、後述する脳情報格納部201に格納されている脳情報であり、例えば、最も売れている商品の画像から抽出された特徴ベクトルである。
【0173】
図15は、本実施の形態における脳情報処理装置2のブロック図である。脳情報処理装置2は、画像格納部101、脳情報格納部201、受付部202、対象物情報取得部203、出力部105、特徴ベクトル取得部106、および脳活動情報取得部107を備える。なお、脳情報処理装置2は、上述した特徴ベクトル取得部106、および脳活動情報取得部107を備えていても良い。
【0174】
また、対象物情報取得部203は、対象物情報決定手段2031、対象物情報取得手段2032、統計情報取得手段2033を具備しても良い。
【0175】
脳情報格納部201は、一つの脳情報を格納し得る。脳情報は、脳活動情報を有する。脳情報は、脳活動情報と対象物情報とを有しても良い。また、脳情報は、脳活動情報のみでも良い。また、脳情報格納部201は、脳情報と、被験者個人の情報である個人情報とを対応付けて有することは好適である。また、ここでは、脳情報は、教師となる脳情報であり、例えば、最も売れている缶ビールの写真を見た際の脳の脳活動情報を含む情報である。
【0176】
脳情報格納部201は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。脳情報格納部201に脳情報が記憶される過程は問わない。例えば、記録媒体を介して脳情報が脳情報格納部201で記憶されるようになってもよく、通信回線等を介して送信された脳情報が脳情報格納部201で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された脳情報が脳情報格納部201で記憶されるようになってもよい。
【0177】
受付部202は、2以上の脳活動情報と、2以上の各対象物に関する情報である2以上の対象物情報とを受け付ける。脳活動情報は、脳情報格納部201に格納されている1以上の脳情報が構成されるために被験者が見た対象物とは異なる2以上の各対象物を、被験者と同一または異なる被験者が見た場合の脳の活性度に関する情報である。
【0178】
受付部202は、脳活動情報と脳活動情報に対応する個人情報を受け付けても良い。
【0179】
脳活動情報と対象物情報との入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部202は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0180】
対象物情報取得部203は、脳情報格納部201に格納されている脳情報が有する脳活動情報と、受付部202が受け付けた2以上の各脳活動情報との類似度を取得し、予め決められた類似度を有する脳活動情報に対応する1以上の対象物情報を取得する。
【0181】
例えば、予め決められた類似度とは、最も近似する類似度である。つまり、脳情報格納部201に格納されている脳情報が有する脳活動情報と、受付部202が受け付けた2以上の各脳活動情報とを比較し、脳情報格納部201の脳活動情報と最も近似する脳活動情報を決定し、脳活動情報に対応する対象物情報を取得しても良い。
【0182】
また、予め決められた類似度は、類似度が大きい順に対象物情報をソートすることでも良い。つまり、対象物情報取得部203は、類似度が大きい順に対象物情報をソートして、取得しても良い。
【0183】
対象物情報取得部203は、受付部202が受け付けた個人情報に対応する脳情報の中から、1以上の脳活動情報を取得し、1以上の各脳活動情報と、受付部202が受け付けた2以上の各脳活動情報との類似度を取得し、予め決められた類似度を有する脳活動情報に対応する1以上の対象物情報を取得しても良い。
【0184】
対象物情報取得部203は、通常、MPUやメモリ等から実現され得る。対象物情報取得部203の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0185】
対象物情報取得部203を構成する対象物情報決定手段2031は、比較対象の脳活動情報に対して、予め決められた条件を満たすほど近似する1または2以上の脳活動情報に対応する1または2以上の対象物情報を決定する。なお、ここでの比較対象の脳活動情報は、脳情報格納部201に格納されている脳活動情報である。対象物情報決定手段2031は、例えば、比較対象の脳活動情報との類似度が高い順からN(Nは、例えば、10)個の脳活動情報に対応するN個の対象物情報を決定する。
【0186】
対象物情報取得手段2032は、対象物情報決定手段2031が決定した対象物情報の一部または全部を取得する。ここでは、対象物情報取得手段2032は、対象物情報の一部または全部を、受付部202が受け付けた対象物情報の中から取得する。
【0187】
統計情報取得手段2033は、対象物情報決定手段2031が決定した2以上の対象物情報が有するメタデータを統計処理し、統計情報を取得する。統計情報取得手段2033と統計情報取得手段1043との処理は同様である。なお、対象物情報取得部203は、統計情報取得手段2033を具備しなくても良い。
【0188】
次に、脳情報処理装置2の動作について、
図16のフローチャートを用いて説明する。
【0189】
(ステップS1601)受付部202は、2以上の脳活動情報と、2以上の各対象物に関する情報である2以上の対象物情報とを受け付けたか否かを判断する。2以上の脳活動情報等を受け付ければステップS1602に行き、受け付けなければステップS1601に戻る。
【0190】
(ステップS1602)対象物情報取得部203は、脳情報格納部201に格納されている脳活動情報を読み出す。
【0191】
(ステップS1603)対象物情報取得部203は、カウンタiに1を代入する。
【0192】
(ステップS1604)対象物情報取得部203は、ステップS1601で受け付けられた情報の中に、i番目の脳活動情報等が存在するか否かを判断する。i番目の脳活動情報等が存在すればステップS1605に行き、存在しなければステップS1608に行く。
【0193】
(ステップS1605)対象物情報取得部203は、ステップS1602で読み出した脳活動情報と、i番目の脳活動情報との類似度を算出する。
【0194】
(ステップS1606)対象物情報取得部203は、ステップS1605で算出した類似度をi番目の対象物情報に対応付けて、図示しない記録媒体に一時蓄積する。
【0195】
(ステップS1607)対象物情報取得部203は、カウンタiを1、インクリメントする。ステップS1604に戻る。
【0196】
(ステップS1608)対象物情報取得部203は、予め決められた出力態様に従って、図示しない記録媒体に蓄積されている類似度を用いて、1以上の対象物情報を取得する。
【0197】
(ステップS1609)出力部105は、ステップS1608で取得された1以上の対象物情報を出力する。ステップS1601に戻る。
【0198】
なお、
図16のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0199】
以下、本実施の形態における脳情報処理装置2の具体的な動作について説明する。被験者が対象物を見た際の脳の活性度を示す画像を取得する装置の具体例は、実施の形態1で述べたfMRI装置5である。
【0200】
(具体例1)
具体例1は、最もよく売れたビールの缶の画像である刺激画像を被験者RAに見せた場合の実験の結果を示す。
【0201】
そして、具体例1において、fMRI装置5を用いて、刺激画像を見せた際の被験者RAの脳活動を測定した。つまり、刺激画像を被験者RAに見せた際に、fMRI装置5が取得した画像が、画像格納部101に格納された。なお、ここでは画像は、fMRI脳活動パターンである。
【0202】
次に、特徴ベクトル取得部106は、画像格納部101に格納された画像のうちの大脳基底核の領域の2以上の画素値を取得する。次に、特徴ベクトル取得部106は、脳画像の大脳基底核の領域の画素の画素値のベースラインを取得する。なお、ベースラインの元になる脳の画像は、例えば、特徴ベクトル取得部106が予め保持している、とする。
【0203】
次に、特徴ベクトル取得部106は、画像の画素値と、ベースラインの画素値との差を要素に有する特徴ベクトルを取得する。この特徴ベクトルは、最もよく売れたビールの缶を見た際の被験者RAの大脳基底核の領域の働きを示すベクトルである。
【0204】
次に、特徴ベクトル取得部106は、画像格納部101に格納された画像のうちの高次視覚野の領域の2以上の画素値を取得する。次に、特徴ベクトル取得部106は、脳画像の高次視覚野の領域の画素の画素値のベースラインを取得する。
【0205】
次に、特徴ベクトル取得部106は、画像の画素値と、ベースラインの画素値との差を要素に有する特徴ベクトルを取得する。この特徴ベクトルは、最もよく売れたビールの缶を見た際の被験者RAの高次視覚野の領域の働きを示すベクトルである。
【0206】
同様にして、他の多数の飲み物の缶の画像を被験者RAに見せ、その際のfMRI脳活動パターンがfMRI装置5により取得され、図示しない記録媒体に蓄積される。なお、fMRI脳活動パターンは脳活動が分かる画像である。
【0207】
そして、上記と同様に、特徴ベクトル取得部106は、図示しない記録媒体の各画像ごとに、大脳基底核の領域の働きを示す特徴ベクトル、および高次視覚野の領域の働きを示す特徴ベクトルを取得し、各飲み物の缶の画像に対応付けて、特徴ベクトルを図示しない記録媒体に一時蓄積する。
【0208】
次に、受付部202は、図示しない記録媒体から、大脳基底核の領域の働きを示す2以上の特徴ベクトルと、各特徴ベクトルに対応する対象物情報を受け付ける。ここでの対象物情報は、例えば、飲み物の缶の画像、飲み物の名称、および販売会社名である。
【0209】
次に、対象物情報取得部203は、受付部202が受け付けた大脳基底核の領域に対応する各特徴ベクトルと、最もよく売れたビールの缶を見た際の被験者RAの大脳基底核の領域に対応する特徴ベクトルとを比較し、受付部202が受け付けた各特徴ベクトルごとに、類似度を算出し、当該類似度と対象物情報とを対応付けて蓄積する。
【0210】
次に、対象物情報取得部203は、類似度が大きい順に、対象物情報を並べる。
【0211】
次に、出力部105は、類似度の順にソートされた2以上の対象物情報を出力する。なお、ここで、出力部105は、最もよく売れたビールの缶の画像も出力する、とする。また、かかる場合の出力例は、
図17である。
図17は、被験者RAの大脳基底核の類似度を示す。また、
図17の比較対象の画像は、最もよく売れたビールの缶の画像である。
【0212】
そして、ビールで最も売れているスーパードライの大脳基底核における脳活動を見ると、それぞれのカテゴリー(炭酸飲料・高級ビール等)において販売数が多い商品の脳活動との類似度が高く、デザインの無意識的な報酬が販売動向を良く表している、と言える。
【0213】
次に、受付部202は、図示しない記録媒体から、高次視覚野の領域の働きを示す2以上の特徴ベクトルと、各特徴ベクトルに対応する対象物情報を受け付ける。ここでの対象物情報は、例えば、飲み物の缶の画像、飲み物の名称、および販売会社名である。
【0214】
次に、対象物情報取得部203は、受付部202が受け付けた高次視覚野の領域に対応する各特徴ベクトルと、最もよく売れたビールの缶を見た際の被験者RAの高次視覚野の領域に対応する特徴ベクトルとを比較し、受付部202が受け付けた各特徴ベクトルごとに、類似度を算出し、当該類似度と対象物情報とを対応付けて蓄積する。
【0215】
次に、対象物情報取得部203は、類似度が大きい順に、対象物情報を並べる。
【0216】
次に、出力部105は、類似度の順にソートされた2以上の対象物情報を出力する。なお、ここで、出力部105は、最もよく売れたビールの缶の画像も出力する、とする。また、かかる場合の出力例は、
図18である。
図18は、被験者RAの高次視覚野の類似度を示す。また、
図18の比較対象の画像は、最もよく売れたビールの缶の画像である。
【0217】
(具体例2)
具体例2において、高価なスキンケア化粧品のポスター(刺激画像)を被験者RHに見せた。そして、fMRI装置5を用いて、刺激画像を見せた際の被験者RAの脳活動を測定した。
【0218】
次に、刺激画像を被験者RHに見せた際に、fMRI装置5が取得した画像が、画像格納部101に格納された。なお、ここでは画像は、fMRI脳活動パターンである。
【0219】
次に、特徴ベクトル取得部106は、画像格納部101に格納された画像のうちの眼窩前頭皮質の領域の2以上の画素値を取得する。次に、特徴ベクトル取得部106は、脳画像の眼窩前頭皮質の領域の画素の画素値のベースラインを取得する。なお、ベースラインの元になる脳の画像は、例えば、特徴ベクトル取得部106が予め保持している、とする。
【0220】
次に、特徴ベクトル取得部106は、画像の画素値と、ベースラインの画素値との差を要素に有する特徴ベクトルを取得する。この特徴ベクトルは、高価なスキンケア化粧品のポスターを見た際の被験者RAの眼窩前頭皮質の領域の働きを示すベクトルである。
【0221】
同様にして、他の多数の化粧品のポスターを被験者RHに見せ、その際のfMRI脳活動パターンがfMRI装置5により取得され、画像格納部101に蓄積される。
【0222】
そして、上記と同様に、特徴ベクトル取得部106は、画像格納部101の各画像ごとに、眼窩前頭皮質の領域の働きを示す特徴ベクトルを取得し、各飲み物の缶の画像に対応付けて、特徴ベクトルを図示しない記録媒体に一時蓄積する。
【0223】
次に、対象物情報取得部203は、受付部202が受け付けた眼窩前頭皮質の領域に対応する各特徴ベクトルと、高価なスキンケア化粧品のポスターを見た際の被験者RHの眼窩前頭皮質の領域に対応する特徴ベクトルとを比較し、受付部202が受け付けた各特徴ベクトルごとに、類似度を算出し、当該類似度と対象物情報とを対応付けて蓄積する。
【0224】
次に、対象物情報取得部203は、類似度が大きい順に、対象物情報を並べる。
【0225】
次に、出力部105は、類似度の順にソートされた2以上の対象物情報を出力する。なお、ここで、出力部105は、高価なスキンケア化粧品のポスターも出力する、とする。また、かかる場合の出力例は、
図19である。
図19は、被験者RHの眼窩前頭皮質の類似度を示す。また、
図19の比較対象の画像は、高価なスキンケア化粧品のポスターの画像である。
【0226】
図19では、眼窩前頭皮質においては、高価スキンケアのポスターと高価メーキャップのポスターの活動が類似していた。このことは、眼窩前頭皮質が高級感を処理していることを示唆している。また、
図19において、2位以降は中価商品のポスターが並んでいるが、上位のものと下位のものでは、脳に与える影響が異なっている可能性が高い。これにより、自社の想定するブランドイメージと利用者が受け止めているブランドイメージを比較できる。なお、脳に与える影響とは、ここでは高級感である、と考えられる。
【0227】
以上、本実施の形態によれば、人が2以上の対象物を見た場合、与えられた教師データと最も類似する感覚を潜在的に覚える対象物を検知できる。
【0228】
また、本実施の形態における脳情報処理装置2は、デザインの評価に利用できる。脳情報処理装置2は、デザイン評価装置、と言っても良い。
【0229】
なお、本実施の形態における脳情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、2以上の対象物を被験者が見た際の脳の活性度を示す2以上の画像を格納しており、コンピュータを、指示を受け付ける受付部と、前記指示に応じて、前記2以上の各画像または各画像の一部を構成する2以上の画素の画素値のベースラインと比較した変化に関する値を要素に有する2以上の特徴ベクトルを取得する特徴ベクトル取得部と、前記2以上の各特徴ベクトル間の類似度を取得し、当該類似度を要素に有する対称行列である脳表現類似度行列を取得し、当該脳表現類似度行列を前記脳情報格納部に蓄積する脳活動情報取得部と、前記脳表現類似度行列を出力する出力部として機能させるためのプログラムである。
【0230】
また、上記プログラムにおいて、前記対象物情報は、対象物の属性値である1以上のメタデータを有し、前記対象物情報取得部は、比較対象の脳活動情報に対して、予め決められた条件を満たすほど近似する2以上の脳活動情報に対応する2以上の対象物情報を決定する対象物情報決定手段と、前記対象物情報決定手段が決定した2以上の対象物情報が有するメタデータを統計処理し、統計情報を取得する統計情報取得手段とを具備し、前記出力部は、前記統計情報取得手段が取得した統計情報を出力するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【0231】
また、
図20は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の脳情報処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。
図20は、このコンピュータシステム300の概観図であり、
図21は、システム300のブロック図である。
【0232】
図20において、コンピュータシステム300は、CD−ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304と、マイク305と、スピーカー306とを含む。
【0233】
図21において、コンピュータ301は、CD−ROMドライブ3012に加えて、MPU3013と、バス3014と、ROM3015と、RAM3016と、ハードディスク3017とを含む。なお、バス3014は、MPU3013やCD−ROMドライブ3012に接続されている。また、ROM3015には、ブートアッププログラム等のプログラムが記憶されている。また、RAM3016は、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのものである。また、ハードディスク3017は、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのものである。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
【0234】
コンピュータシステム300に、上述した実施の形態の脳情報処理装置の機能を実行させるプログラムは、CD−ROM3101に記憶されて、CD−ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD−ROM3101またはネットワークから直接、ロードされても良い。
【0235】
プログラムは、コンピュータ301に、上述した実施の形態の脳情報処理装置の機能を実行させるオペレーティングシステム、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
【0236】
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
【0237】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0238】
また、上記各実施の形態において、一の装置に存在する2以上の通信手段(端末情報送信部、端末情報受信部など)は、物理的に一の媒体で実現されても良いことは言うまでもない。
【0239】
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0240】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。