IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 学校法人慶應義塾の特許一覧 ▶ LOCON株式会社の特許一覧 ▶ 株式会社TBSテレビの特許一覧

特許7595858行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム
<>
  • 特許-行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム 図1
  • 特許-行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム 図2
  • 特許-行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム 図3
  • 特許-行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム 図4
  • 特許-行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム 図5
  • 特許-行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム 図6
  • 特許-行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20241202BHJP
   A61B 5/372 20210101ALI20241202BHJP
   A61B 5/378 20210101ALI20241202BHJP
【FI】
A61B5/16 120
A61B5/372
A61B5/378
【請求項の数】 10
(21)【出願番号】P 2020209743
(22)【出願日】2020-12-17
(65)【公開番号】P2022096561
(43)【公開日】2022-06-29
【審査請求日】2023-12-01
【新規性喪失の例外の表示】特許法第30条第2項適用 令和1年12月18日に慶應義塾大学大学院メディアデザイン研究科後期博士論文公聴会にて発表
(73)【特許権者】
【識別番号】598121341
【氏名又は名称】慶應義塾
(73)【特許権者】
【識別番号】519381023
【氏名又は名称】株式会社LOCOK
(73)【特許権者】
【識別番号】509137087
【氏名又は名称】株式会社TBSテレビ
(74)【代理人】
【識別番号】100122275
【弁理士】
【氏名又は名称】竹居 信利
(72)【発明者】
【氏名】青山 敦
(72)【発明者】
【氏名】石井 大貴
(72)【発明者】
【氏名】吉賀 敬章
【審査官】阿部 知
(56)【参考文献】
【文献】特開2017-042562(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/398
(57)【特許請求の範囲】
【請求項1】
脳波の計測により、計測対象者が行う予め定めた種類の行動の結果を推定する行動推定システムであって、計測点選択装置と、行動推定装置とを含み、
前記計測点選択装置が、
前記予め定めた種類の行動を行っている計測対象者の脳波データを、当該対象者の頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とで計測するとともに、前記行動中の所定の単位行動ごとの脳波データに分割する計測手段と、
前記N点の計測点から選択される一対の計測点での、前記単位行動ごとの脳波データに関する機能的結合解析と、前記単位行動ごとに計測対象者により提示される前記単位行動における行動の結果とに基づいて、前記N点の計測点のうち少なくとも一対の点を代表点組として選択する選択手段と、
を含み、
前記行動推定装置が、
前記予め定めた種類の行動を行っている計測対象者の、前記計測点選択装置が選択した代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得するとともに、前記行動中の所定の単位行動ごとの脳波データに分割する取得手段と、
当該取得した脳波データに基づいて当該計測対象者の単位行動ごとの行動の結果を推定する推定処理手段と、
を含む行動推定システム。
【請求項2】
予め定めた種類の行動を行っている計測対象者の脳波データを、当該対象者の頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とで計測するとともに、前記行動中の所定の単位行動ごとの脳波データに分割する計測手段と、
前記N点の計測点から選択される一対の計測点での、前記単位行動ごとの脳波データに関する機能的結合解析と、前記単位行動ごとに計測対象者により提示される前記単位行動における行動の結果とに基づいて、前記N点の計測点のうち少なくとも一対の点を代表点組として選択する選択手段と、
を含み、
当該代表点組を特定する情報が、前記予め定めた種類の行動を行っている計測対象者の、当該情報で特定される代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得するとともに、前記行動中の所定の単位行動ごとの脳波データに分割して、当該計測対象者の単位行動ごとの行動の結果を推定する処理に供される計測点選択装置。
【請求項3】
請求項2に記載の計測点選択装置であって、
前記選択手段は、前記N点の計測点から選択され得るすべての2点の計測点の組み合わせについて、前記機能的結合解析の処理として、PLV(Phase Locking Value)、またはPLVを取得する方法から派生した方法で取得される情報、あるいはPLI(Phase Lag Index)、またはPLIを取得する方法から派生した方法で取得される情報、あるいはPPC(Pairwise Phase Consistency)、またはPPCを取得する方法から派生した方法で取得される情報のいずれかの情報に基づく位相同期解析を行って、当該位相同期解析の結果と前記計測対象者により提示される前記行動の結果とに基づいて、前記N点の計測点のうち少なくとも一対の点を代表点組として選択する計測点選択装置。
【請求項4】
請求項2または3に記載の計測点選択装置であって、
前記選択手段は、前記機能的結合解析の処理として、前記行動の結果が所定の条件を満足する結果である場合の機能的結合解析の結果と、前記行動の結果が所定の条件を満足しない結果である場合の機能的結合解析の結果との対比により、前記N点の計測点のうち少なくとも一対の点を代表点組として選択する計測点選択装置。
【請求項5】
請求項2から4のいずれか一項に記載の計測点選択装置であって、
前記行動は、動画の視聴行動であり、前記単位行動は、当該動画に含まれるシーンごとの、その内容を記憶する行動であり、
前記選択手段は、単位行動ごとの脳波データとして、視聴したシーンごと、前記N点の計測点から選択される2点の計測点での脳波データに関する機能的結合解析と、前記単位行動ごとに計測対象者により提示された、単位行動に対応するシーンを記憶しているか否かを表す情報とに基づいて、前記N点の計測点のうち2点を代表点組候補として選択し、当該シーンごとの選択結果に基づき、前記N点の計測点のうち2点を代表点として選択する計測点選択装置。
【請求項6】
脳波の計測により、計測対象者が行う予め定めた種類の行動の結果を推定する行動推定装置であって、
前記予め定めた種類の行動を行った計測対象者に対する、当該行動中の単位行動ごとの計測結果に基づいて選択された、頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とのうち、前記N点の計測点から選択される代表点組である2点を特定する情報を参照し、当該情報で特定される代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得するとともに、前記行動中の所定の単位行動ごとの脳波データに分割する取得手段と、
当該取得した脳波データに基づいて当該計測対象者の前記単位行動ごとの行動の結果を推定する推定処理手段と、
を含む行動推定装置。
【請求項7】
予め定めた種類の行動を行っている計測対象者の脳波データを、当該対象者の頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とで計測するとともに、前記行動中の所定の単位行動ごとの脳波データに分割する計測工程と、
前記N点の計測点から選択される2点の計測点での、前記単位行動ごとの脳波データに関する機能的結合解析と、前記単位行動ごとに計測対象者により提示された前記単位行動における行動の結果とに基づいて、前記N点の計測点のうち少なくとも一対の点を代表点組として選択する選択工程と、
を含み、
当該代表点組を特定する情報が、前記予め定めた種類の行動を行っている計測対象者の、当該情報で特定される代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得するとともに、前記行動中の所定の単位行動ごとの脳波データに分割して、当該計測対象者の前記単位行動ごとの行動の結果を推定する処理に供される情報処理装置の制御方法。
【請求項8】
行動推定装置に、脳波の計測により、計測対象者が行う予め定めた種類の行動の結果を推定させる行動推定装置の制御方法であって、
前記予め定めた種類の行動を行った計測対象者に対する、当該行動中の単位行動ごとの計測結果に基づいて選択された、頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とのうち、前記N点の計測点から選択される代表点組である2点を特定する情報を参照し、当該情報で特定される代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得させるとともに、前記行動中の所定の単位行動ごとの脳波データに分割させる工程と、
当該取得した脳波データに基づいて当該計測対象者の前記単位行動ごとの行動の結果を推定させる工程と、
を含む行動推定装置の制御方法。
【請求項9】
コンピュータを、
予め定めた種類の行動を行っている計測対象者の脳波データを、当該対象者の頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とで計測するとともに、前記行動中の所定の単位行動ごとの脳波データに分割する計測手段と、
前記N点の計測点から選択される2点の計測点での、前記単位行動ごとの脳波データに関する機能的結合解析と、前記単位行動ごとに計測対象者により提示された前記単位行動における行動の結果とに基づいて、前記N点の計測点のうち少なくとも一対の点を代表点組として選択する選択手段と、
として機能させ、
当該代表点組を特定する情報を、前記予め定めた種類の行動を行っている計測対象者の、当該情報で特定される代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得するとともに、前記行動中の所定の単位行動ごとの脳波データに分割して、当該計測対象者の前記単位行動ごとの行動の結果を推定する処理に供するプログラム。
【請求項10】
コンピュータを、脳波の計測により、計測対象者が行う予め定めた種類の行動の結果を推定するよう機能させるプログラムであって、前記コンピュータを、
前記予め定めた種類の行動を行った計測対象者に対する、当該行動中の単位行動ごとの計測結果に基づいて選択された、頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とのうち、前記N点の計測点から選択される代表点組である2点を特定する情報を参照し、当該情報で特定される代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得するとともに、前記行動中の所定の単位行動ごとの脳波データに分割する取得手段と、
当該取得した脳波データに基づいて当該計測対象者の前記単位行動ごとの行動の結果を推定する推定処理手段と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラムに関する。
【背景技術】
【0002】
映像コンテンツの評価において、再生中の場面が、視聴者が記憶するなど、視聴者の印象に残るものであるか否かは重要な観点となっている。例えば従来から、番組放送データの内容の品質向上等のために有用なマーケティング情報を、データ放送を利用して放送局側で取得する技術が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-217024号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の技術では、専ら主観的な評価に頼ることとなり、また、動画の放映中、あるいは放映後すぐに、印象に残る場面があったか否かを推定することも困難であった。
【0005】
本発明は上記実情に鑑みて為されたもので、行動に関する推定の処理負荷の軽減を支援し、また処理負荷の少ない方法で行動に関する推定を行うことを可能とした行動推定システム、計測点選択装置、行動推定装置、情報処理装置の制御方法、行動推定装置の制御方法、及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【0006】
上記従来例の問題点を解決する本発明の一態様は、予め定めた種類の行動を行っている計測対象者の脳波データを、当該対象者の頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とで計測する計測手段と、前記N点の計測点から選択される一対の計測点での、前記脳波データに関する機能的結合解析と、前記計測対象者により提示される前記行動の結果とに基づいて、前記N点の計測点のうち少なくとも一対の点を代表点組として選択する選択手段と、を含み、当該代表点組を特定する情報が、前記予め定めた種類の行動を行っている計測対象者の、当該情報で特定される代表点組を含むn点(nはN>n≧2なる整数)での脳波データを取得して、当該計測対象者の行動の結果を推定する処理に供することとしたものである。
【発明の効果】
【0007】
本発明によると、比較的少数のn点での脳波データに基づいて行動の結果を推定させることが可能となり、例えば映像の視聴中であっても、脳波データに基づく客観性のある評価を、処理負荷の少ない処理により行うことができ、映像視聴等の行動に関する推定の処理負荷が軽減される。
【図面の簡単な説明】
【0008】
図1】本発明の実施の形態に係る行動推定システムの例を表す構成ブロック図である。
図2】本発明の実施の形態に係る計測点選択装置の例を表す機能ブロック図である。
図3】本発明の実施の形態に係る計測点選択装置の動作例を表すフローチャート図である。
図4】本発明の実施の形態に係る計測点選択装置が保持する情報の例を表す説明図である。
図5】本発明の実施の形態に係る計測点選択装置の分析処理の例を表すフローチャート図である。
図6】本発明の実施の形態に係る行動推定装置の例を表す機能ブロック図である。
図7】本発明の実施の形態に係る行動推定装置の動作例を表すフローチャート図である。
【発明を実施するための形態】
【0009】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る行動推定システム1は、図1に例示するように、計測点選択装置10と、行動推定装置20とを含んで構成される。ここで計測点選択装置10と、行動推定装置20とはいずれもコンピュータ等の情報処理装置である。また、以下の説明では計測点選択装置10と行動推定装置20とは別体の装置であるものとしているが、一つのコンピュータ装置をそれぞれの装置として機能させることとしても構わない。
【0010】
本実施の形態の行動推定システム1は、計測点選択装置10を用いて、脳波の計測点を選択する計測点選択段階と、行動推定装置20を用いて行動の結果を推定する推定処理段階とで異なる処理を行う。
【0011】
計測点選択段階では、予め選抜した計測対象者(実験に協力した者、以下、実験対象者と呼ぶ)に動画の視聴等の行動を行ってもらいつつ、その脳波データを多数の計測点で計測し、また別途、実験対象者に行動の結果の情報提供を受けて(動画のうち印象に残った場面を申告してもらうなどして)、上記多数の計測点のうち、一部の計測点を、代表的な計測点として選択する。
【0012】
また推定処理段階では、上記実験対象者と同種の行動を行っている計測対象者(以下、推定対象者と呼ぶ)について、上記選択された代表的な計測点での脳波データを計測する。そして当該計測した脳波データに基づいて行動の結果(動画のうち印象に残った場面を特定する情報等)を推定する。すなわち、推定処理段階では、計測点選択段階で計測した脳波データよりも少ない計測点での脳波データのみを対象として処理を行うため、処理の負荷が軽減され、結果としてより多数の推定対象者を対象とした推定が可能となるものである。
【0013】
[各装置の構成]
図1に例示されるように、計測点選択段階で用いられる計測点選択装置10は、制御部11,記憶部12,操作部13,出力部14,入出力部15を含んで構成され、行動推定装置20は、制御部21,記憶部22,操作部23,出力部24,入出力部25を含んで構成される。
【0014】
また本実施の形態のある例では、計測点選択装置10には、多チャンネル脳波計30が接続され、また行動推定装置20には、多チャンネル脳波計30よりもチャンネル数(計測点)の少ない脳波計40が接続される。
【0015】
計測点選択装置10の制御部11は、CPU等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態のある例では、この制御部11は、入出力部15を介して、多チャンネル脳波計30から、所定の行動を行っている実験対象者の脳波の情報を受け入れる。
【0016】
ここで多チャンネル脳波計30は、実験対象者の頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とにおける脳波を計測して出力するものであり、制御部11は、これらN点の計測点における計測結果としての脳波データを受け入れて、当該受け入れた脳波データ(計測結果)を記憶部12に記録する。
【0017】
またこの制御部11は、上記N点の計測点から選択される一対の計測点(2つの計測点の組)で計測した脳波データに関する機能的結合解析と、対応する実験対象者が提供する上記行動の結果に係る情報とに基づいて、N点の計測点のうち少なくとも一対の点を代表点組として選択する処理を実行する。この制御部11の詳しい処理の内容については後に述べる。
【0018】
記憶部12は、メモリデバイスやディスクデバイス等であり、制御部11によって実行されるプログラムを保持する。本実施の形態の例では、このプログラムは、コンピュータ可読かつ、非一時的な記録媒体に格納されて提供され、この記憶部12に格納されたものであってもよい。またこの記憶部12は、制御部11のワークメモリとしても動作し、上記計測結果である脳波データ等を保持する。
【0019】
操作部13は、マウスやキーボード等であり、計測点選択装置10のユーザが行った操作の内容を受け入れて、当該操作の内容を表す情報を、制御部11に出力する。出力部14は、ディスプレイ等であり、制御部11から入力される指示に従って画面の表示などを行う。
【0020】
入出力部15は、インタフェース装置等であり、多チャンネル脳波計30に接続される。またこの入出力部15は、多チャンネル脳波計30から入力される計測結果(脳波データ)を制御部11に出力する。
【0021】
また本実施の形態のある例では、この入出力部15は、実験対象者が提供した行動の結果に係る情報を受け入れる装置(例えば光学スキャナ装置等)に接続され、当該装置が出力する情報を受け入れて、制御部11に出力することとしてもよい。
【0022】
また推定処理段階で用いられる行動推定装置20の制御部21は、CPU等のプログラム制御デバイスであり、記憶部22に格納されたプログラムに従って動作する。本実施の形態のある例では、この制御部21は、上記実験対象者が行った行動と同じ種類の行動を行っている推定対象者の脳波データを、脳波計40から、入出力部25を介して受け入れる。ここで脳波計40は、計測点選択装置10が選択した代表点組を含むn点(nはN>n≧2なる整数)での推定対象者の脳波データを計測して出力するよう、推定対象者に取り付けられているものとする。
【0023】
制御部21は、そして、当該取得した脳波データに基づいて推定対象者の行動の結果を推定する。この制御部21の動作についても、後に詳しく述べる。
【0024】
記憶部22は、メモリデバイスやディスクデバイス等であり、制御部21によって実行されるプログラムを保持する。本実施の形態の例では、このプログラムは、コンピュータ可読かつ、非一時的な記録媒体に格納されて提供され、この記憶部12に格納されたものであってもよい。またこの記憶部22は、制御部21のワークメモリとしても動作し、上記脳波の計測結果の情報等を保持する。
【0025】
操作部23は、マウスやキーボード等であり、行動推定装置20のユーザが行った操作の内容を受け入れて、当該操作の内容を表す情報を、制御部21に出力する。出力部24は、ディスプレイ等であり、制御部21から入力される指示に従って情報の表示などを行う。
【0026】
入出力部25は、インタフェース装置等であり、脳波計40に接続される。またこの入出力部25は、脳波計40から入力される計測結果の情報を制御部21に出力する。
【0027】
[計測点選択装置の機能的構成]
次に、計測点選択段階における計測点選択装置10の制御部11の動作について説明する。この制御部11は、記憶部12に格納されたプログラムを実行することで、図2に例示するように、計測結果受入部31と、計測結果記録部32と、情報受入部33と、分析処理部34と、選択処理部35と、出力処理部36とを機能的に含む構成を実現する。
【0028】
またここでは、実験対象者が行う行動は、動画の視聴であるものとし、実験対象者に視聴させる動画は10分ないし90分程度の長さの動画であるものとする。また、この動画については、所定の時間(例えば1分)単位で当該動画を切り分けて「シーン」として、それぞれ固有のシーン識別子を付与しておくものとする。
【0029】
また、計測点選択段階における計測点選択装置10には、多チャンネル脳波計30が接続されており、この多チャンネル脳波計30は、実験対象者の頭部の所定のN点(NはN>2なる整数)の計測点と、M点(Mは自然数)の参照計測点とに配された電極に接続されている。なお、実験対象者の頭皮と、多チャンネル脳波計30の各電極との間には導電性ジェルを注入し、接触インピーダンスが10kΩ以下になるよう調整して計測を行うものとする。
【0030】
本実施の形態の例では、拡張国際10/20法により決定される30個の計測点を用い、N点の計測点は、両耳の耳介における計測点A1,A2を除く28点(つまりN=28)とし、M点の参照計測点は、両耳の耳介における計測点A1,A2とする(つまりM=2)。
【0031】
この多チャンネル脳波計30は、脳波アンプ及び脳波計測用のPC(パーソナルコンピュータ)を含んで構成されており、各計測点に取り付けられる電極はケーブルを介して脳波アンプに接続されている。そして多チャンネル脳波計30は、M点の参照計測点の少なくとも一つを参照データとして用い、N点の計測点で計測された各計測データ(生データ)から、参照データを差引いて脳波アンプにて増幅し、各計測点での脳波データを得る(差動増幅)。
【0032】
また多チャンネル脳波計30は、別途行われる眼電位計測によって、行動中の実験対象者の眼の動きや瞬目を併せて記録する。多チャンネル脳波計30は、脳波アンプにて差動増幅された各計測点での脳波データを脳波計測用のPCに計測結果の脳波データとして入力する。脳波計測用のPCは、計測結果である脳波データをモニタするとともに、本実施の形態の計測点選択装置10に対して当該計測結果となった脳波データを出力する。
【0033】
この多チャンネル脳波計30は、実験対象者が所定の行動を行っている間、上記各計測点での脳波を計測して得た、計測結果となった脳波データを、逐次的に計測点選択装置10に出力する。
【0034】
計測結果受入部31は、計測点選択装置10の利用者(操作者)から、実験対象者を特定する対象者特定情報の入力を受け入れる。
【0035】
また、この計測結果受入部31は、実験対象者が動画を視聴している間、多チャンネル脳波計30が出力する計測結果の情報(上記N点の各計測点での計測結果である脳波データ。以下、すべての計測点での脳波データのまとまりを、多チャンネル脳波情報と呼ぶ)を逐次的に受け入れて、対象者特定情報とともに計測結果記録部32に出力する。なお、以下の説明では脳波データは、どの計測点での脳波データであるかが識別可能な状態で、計測点選択装置10に入力されるものとする。
【0036】
計測結果記録部32は、対象者特定情報を計測結果受入部31から受け入れるとともに、多チャンネル脳波情報の入力を逐次的に受けて、この多チャンネル脳波情報を、受け入れた対象者特定情報に関連付けて記憶部12に格納する。このとき計測結果記録部32は、多チャンネル脳波情報に関連付けて計測時点を特定する情報(時刻情報)を記録する。ここでの例では、時刻情報は、行動の開始時点(ここでは動画再生の開始時点)を0として、当該行動の開始時点から計測時点までの経過時間をTとする。
【0037】
この計測結果記録部32の動作により、記憶部12には、実験対象者ごとに、N点の計測点での計測結果である脳波データが時系列に格納された状態となる。
【0038】
情報受入部33は、各実験対象者から行動の結果に係る情報を受け入れる。ここでの例では、実験対象者から、少なくとも印象に残った(例えば「記憶している」)と回答されたシーンを特定する情報を受け入れるものとする。また情報受入部33は、実験対象者から、印象に残っていない(例えば「記憶していない」)と回答されたシーンを特定する情報をさらに受け入れてもよい。以下、当該印象に残ったと回答されたシーンを記憶シーンと呼び、記憶シーンを特定するシーン識別子を記憶シーン情報と呼ぶ。また印象に残っていないと回答されたシーンを非記憶シーンと呼び、当該非記憶シーンを特定するシーン識別子を非記憶シーン情報と呼ぶ。
【0039】
具体的に、この回答は次のようにして取得するものとする。すなわちここでは計測点選択装置10の操作者が、実験対象者に対し、実験対象者が動画を視聴した後で、当該視聴した動画のシーンごとに予め選択したキー画像(静止画でよい)を提示する。そして実験対象者に対し、最もよく記憶している(印象に残った)キー画像を少なくとも1つ(例えば5つ)回答してもらうこととする。
【0040】
計測点選択装置10の操作者は、ここで回答されたキー画像に係るシーンを、記憶シーンとして、当該記憶シーンを特定する記憶シーン情報を、計測点選択装置10に入力する。
【0041】
また情報受入部33が、非記憶シーンを特定する情報を受け入れる場合には、計測点選択装置10の操作者は、実験対象者に、先に提示したキー画像から記憶していない(印象に残っていない)キー画像を少なくとも1つ(例えば5つ)回答してもらう。そしてこの場合、計測点選択装置10の操作者は、当該回答されたキー画像に係るシーンを、非記憶シーンとして、当該非記憶シーンを特定する非記憶シーン情報を、計測点選択装置10に入力する。
【0042】
情報受入部33は、対象者特定情報に関連付けて、当該回答に基づいて入力された記憶シーン情報を回答情報として記憶部12に格納する。なお、非記憶シーン情報を受け入れる場合は、情報受入部33は、上記記憶シーン情報とともに非記憶シーン情報を回答情報として、対象者特定情報に関連付けて記憶部12に格納する。
【0043】
分析処理部34は、記憶部12に格納された多チャンネル脳波情報と回答情報とを記憶部12から読み出し、各対象者特定情報に関連付けられた多チャンネル脳波情報を順次、処理対象として選択して次の処理を行う。
【0044】
分析処理部34は、処理対象として選択した多チャンネル脳波情報に含まれる各脳波データに対して前処理を行う。ここで前処理は、まばたき中の脳波データから、まばたきの影響を除去する処理(独立成分分析を用いる処理でよい)など、脳波データの前処理として広く知られた処理を行うものでよい。
【0045】
そして分析処理部34は、前処理した脳波データのうち、N点の計測点での脳波データをそれぞれ、各シーンを視聴していた間の(単位行動あたりの)脳波のデータに分割する。ここでは、シーンは動画の再生開始からの経過時間1分ごとに分割されているものとしているので、ここでは脳波データを、対応して記録されている時刻情報に基づいてシーンごとに分割すればよい。
【0046】
以下では説明を分かりやすくするため、処理対象となった脳波データに係る実験対象者をu(u=u1,u2,…)とし、計測点をk(k=1,2,…N)とし、シーンを識別するシーン識別子をi(i=1,2,…)とする。このようにすると、実験対象者uの計測点kでの脳波データのうち、実験対象者uがシーン識別子iのシーンを視聴していたときの、分割された脳波データをE_u(k,i)と書くこととする。またこの分割して得られた脳波データE_u(k,i)を、区別のため、分割脳波データと呼ぶ。
【0047】
分析処理部34は、実験対象者uに係る分割脳波データE_u(k,i)のそれぞれについて、予め定めたフィルタリングなどの処理、例えばシータ帯域(4から7Hz)のバンドパスフィルタを適用するなどの処理を行う。そして、当該処理後の脳波(ここではシータ帯域の成分)T_u(k,i)を抽出する。以下、ここで抽出された(ここではシータ帯域の成分の)脳波データを、分析対象脳波データと呼ぶ。
【0048】
分析処理部34は、実験対象者uに係る分析対象脳波データT_u(k,i)のうちから、互いに異なる2つの計測点での分析対象脳波データの組{T_u(p,i),T_u(q,i)}(i=1,2,…、p,q=1,2,…N,ただしp≠q)を得る。ここでは分析処理部34は、すべての可能な一対の計測点の組に係る分析対象脳波データの組{T_u(p,i),T_u(q,i)}を得ることとする。
【0049】
分析処理部34は、当該組とした一対の計測点での分析対象脳波データをそれぞれ選択し、当該選択した一対の分析対象脳波データT_u(p,i),T_u(q,i)に対して機能的結合解析を行い、解析結果C_u(p,q,i)を得る。
【0050】
機能的結合解析は、例えば選択した一対の分析対象脳波データT_u(p,i),T_u(q,i)間の位相差に基づく位相同期度を評価するものであり、この位相同期度の具体例として、PLV(Phase Locking Value)、またはPLVを取得する方法から派生した方法で取得されるiPLV(imaginary PLV)、ciPLV(corrected imaginary PLV)などの情報、あるいは、PLI(Phase Lag Index)、またはPLIを取得する方法から派生した方法で取得されるwPLI(weighted PLI)、dwPLI(debiased wPLI)などの情報、あるいは、PPC(Pairwise Phase Consistency)、またはPPCを取得する方法から派生した方法で取得されるwPPC(weighted PPC)などの情報のいずれかの情報等が利用できる。またこの機能的結合解析の処理は、位相同期度の評価に限られず、振幅位相カップリングやグレンジャー因果、移動エントロピー、PSI(Phase Slope Index)、コヒーレンスなどを解析する処理であってもよい。以下の説明では、位相同期度を評価する場合を例とする。
【0051】
また分析処理部34は、処理対象とした対象者特定情報に関連付けられた回答情報から実験対象者uに係る記憶シーン情報(i=Mu1,Mu2,…)を取り出す。そして分析処理部34は、上記機能的結合解析の解析結果C_u(p,q,i)のうち、当該記憶シーン情報に係る解析結果C_u(p,q,Mu1),…,C_u(p,q,Mu2),…を抽出し、共通する計測点の組ごとの解析結果の統計値(例えば平均)CM_u(p,q)を求める。以下では、分析処理部34は統計値として平均を演算するものとし、ここで求めた統計値を、記憶時位相同期度平均CM_u(p,q)と呼ぶ。
【0052】
また分析処理部34は、実験対象者uについての、記憶シーン以外のシーンに係る機能的結合解析の解析結果C_u(p,q,j)(ただしjは、M1,M2,…のいずれでもない)を抽出して、その統計値の一例である非記憶時位相同期度平均CN_u(p,q)を求める。
【0053】
分析処理部34は、実験対象者ごとに上記の処理を行い、各実験対象者についての記憶時位相同期度平均と非記憶時位相同期度平均とを得る。
【0054】
選択処理部35は、2つの計測点の組み合わせ(p,q)ごとに、各実験対象者u(u=u1,u2,…)についての記憶時位相同期度平均CM_u1(p,q),CM_u2(p,q),…と非記憶時位相同期度平均CN_u1(p,q),CN_u2(p,q),…とを比較して、これらの差が統計的に、予め定めた有意水準で有意であると判断される計測点の組み合わせ(p,q)を代表点組として選択する。
【0055】
また本実施の形態の一例において特徴的なことの一つは、選択処理部35が、記憶時位相同期度平均と非記憶時位相同期度平均との差が有意であるとして代表点組を選択する際、記憶時位相同期度平均と非記憶時位相同期度平均とのいずれの値が大きいかを表す判定基準情報を生成して、代表点組を特定する情報(一対の計測点を特定する情報)とともに出力することである。この判定基準情報は、例えば記憶時位相同期度平均が非記憶時位相同期度平均より大きい場合に「+」、記憶時位相同期度平均が非記憶時位相同期度平均よりも小さい場合に「-」といった情報であるとする。
【0056】
このように本実施の形態では、複数の実験対象者に係る位相同期度の統計量を用いた演算を行うことで、個人差の影響を除いて、記憶時とそうでないときとで有意に差のある、より少数の計測点を選択している。
【0057】
出力処理部36は、選択処理部35が選択した計測点の組み合わせを特定する情報(計測点の組み合わせを特定する情報(p,q)を少なくとも1つ以上含む情報)を、代表点組として出力する。一例として出力処理部36は、選択処理部35が選択した代表点組を特定する情報(計測点の組み合わせを表す情報)を、記憶部12に格納してもよい。
【0058】
[分析処理・選択処理の他の例]
また、ここでの説明では、分析処理部34は、実験対象者が、記憶シーンを視聴していた間の脳波データと、記憶シーン以外のシーンを視聴していた間の脳波データとに基づいて、一対の計測点での脳波データの位相同期度を求めていたが、本実施の形態は、この例に限られない。
【0059】
例えば、既に述べたように、実験対象者に対し、記憶シーン情報とともに、非記憶シーン情報(印象に残っていないと実験対象者が回答したシーンの情報)を得ている場合、次のように処理を行ってもよい。
【0060】
この例では分析処理部34は、まず、記憶シーンに関しては上述と同様に処理する。つまり分析処理部34は、処理対象とした対象者特定情報に関連付けられた回答情報から実験対象者uに係る記憶シーン情報(i=Mu1,Mu2,…)を取り出す。そして分析処理部34は、上記機能的結合解析の解析結果C_u(p,q,i)のうち、当該記憶シーン情報に係る解析結果C_u(p,q,Mu1),…,C_u(p,q,Mu2),…を抽出し、共通する計測点の組ごとの解析結果の統計値である記憶時位相同期度平均CM_u(p,q)を求める。
【0061】
また分析処理部34は、各実験対象者uについての、非記憶シーン情報(j=Nu1,Nu2…)に係る機能的結合解析の解析結果C_u(p,q,Nu1),…,C_u(p,q,Nu2),…を抽出し、共通する計測点の組ごとの解析結果の統計値である非記憶時位相同期度平均CN_u(p,q)を求める。
【0062】
そして選択処理部35は、2つの計測点の組み合わせ(p,q)ごとに、各実験対象者u(u=u1,u2,…)についての記憶時位相同期度平均CM_u1(p,q),CM_u2(p,q),…と非記憶時位相同期度平均CN_u1(p,q),CN_u2(p,q),…とを比較して、これらの差が統計的に、予め定めた有意水準で有意であると判断される計測点の組み合わせ(p,q)を代表点組として選択する。
【0063】
[計測点選択装置の動作]
次に、以上の構成に係る計測点選択装置10の動作について説明する。複数の実験対象者u1,u2…のそれぞれの頭部表面の、拡張国際10/20法により決定される30個の計測点(参照計測点であるA1,A2の2点のほか、Fp1,Fp2,F7,F3,Fz,F4,F8,FC5,FC1,FC2,FC6,T7,T8,C3,Cz,C4,CP5,CP1,CP2,CP6,P7,P3,Pz,P4,P8,O1,Oz,O2の28点)に、導電性ジェルを塗布して接触インピーダンスが10kΩ以下になるよう調整した電極を配し、多チャンネル脳波計30に接続する。
【0064】
ここで多チャンネル脳波計30は、例えばドイツのブレイン・プロダクツ社のLiveAmp(登録商標)等を用いることができる。
【0065】
そして各実験対象者に、25分の動画を視聴させつつ、25分間にわたって多チャンネル脳波計30により、上記各計測点での脳波データを取得する。
【0066】
多チャンネル脳波計30は、実験対象者ごとに、参照電極(ここでは両耳の耳介における計測点A1,A2に配した電極として予め定めておく)で計測された脳波データを参照データとして、参照電極以外の28点の計測点での、動画視聴中の実験対象者の脳波データを差動増幅により得る。
【0067】
そして多チャンネル脳波計30は、この差動増幅して得た実験対象者ごとの脳波データの組を、各実験対象者の多チャンネル脳波情報として逐次的に出力する。
【0068】
計測点選択装置10の操作者は、実験対象者を特定する対象者特定情報を入力するとともに、多チャンネル脳波計30が逐次的に出力する、当該対象者特定情報で特定される実験対象者の多チャンネル脳波情報を計測点選択装置10に受け入れさせる。
【0069】
計測点選択装置10は、操作者の指示により図3に例示する処理を行い、対象者特定情報の入力を受けるとともに、多チャンネル脳波情報の入力を逐次的に受けて、この多チャンネル脳波情報を、受け入れた対象者特定情報に関連付けて記憶部12に格納していく(S11)。これにより、記憶部12には、図4に例示するように、実験対象者ごとに、N点の計測点でのそれぞれの脳波データが時系列に格納された状態となる。
【0070】
一方、計測点選択装置10の操作者は、25分の動画の視聴を終了した実験対象者に対し、動画のシーン(ここでは動画を1分ごとに分割してそれぞれ別のシーンとする)ごとに選択されたキー画像を提示して、最もよく記憶している(印象に残った)キー画像5つと、記憶していない(印象に残っていない)キー画像5つとを回答するよう求める。
【0071】
また、計測点選択装置10の操作者は、実験対象者uから回答を得ると、最もよく記憶している(印象に残った)と回答したキー画像に係るシーンを特定する情報Mu1,Mu2,Mu3,Mu4,Mu5と、記憶していない(印象に残っていない)と回答したキー画像に係るシーンを特定する情報Nu1,Nu2,Nu3,Nu4,Nu5とを、それぞれ記憶シーン情報、非記憶シーン情報として、回答した実験対象者を特定する対象者特定情報とともに計測点選択装置10に入力する。
【0072】
計測点選択装置10は、当該記憶シーン情報と非記憶シーン情報とを含む回答情報と、対象者特定情報とを受け入れて、これらを関連付けて記憶部12に格納する(S12)。
【0073】
計測点選択装置10は、すべての実験対象者についての多チャンネル脳波情報と、回答情報とが入力されるまでステップS11,S12を繰り返して実行し、すべての実験対象者についての情報入力が終了したときに、操作者の指示により、以下の処理を開始する。
【0074】
すなわち計測点選択装置10は、記憶部12に格納された多チャンネル脳波情報と回答情報とを記憶部12から読み出し、対象者特定情報によって特定される各実験対象者を順次、対象者として選択して(S13)、以下の処理を実行する。
【0075】
計測点選択装置10は、選択した対象者uの対象者特定情報に関連付けられた多チャンネル脳波情報を読み出し、当該多チャンネル脳波情報に含まれる各脳波データに対して、まばたきの影響を除去する処理などの前処理を行う(S14)。
【0076】
計測点選択装置10は、前処理した脳波データのうち、N点の計測点での脳波データをそれぞれ、動画の視聴開始の時点から1分間ごとの脳波データに分割して、分割脳波データE_u(k,i)を得る(S15)。ここでの例では、動画は1分ごとにシーンとして分割されるものとしているので、この処理は、各シーンを視聴していた間の脳波データに分割する処理に相当する。なお、ここではk(k=1,2,…N)は計測点を表し、iはシーン識別子(i=1,2,…)に対応するものとする。
【0077】
計測点選択装置10は、ステップS15で得た分割脳波データE_u(k,i)のそれぞれについて、シータ帯域(4から7Hz)のバンドパスフィルタを適用し、そのシータ帯域の成分である分析対象脳波データT_u(k,i)を抽出する(S16)。
【0078】
次に、計測点選択装置10は、分析処理を実行する(S17)。この分析処理では、計測点選択装置10は、図5に示すように、互いに異なる一対の計測点の組(p,q)を列挙する(S31)。ここでの例では、計測点(参照計測点を除く)はFp1,Fp2,F7,F3,Fz,F4,F8,FC5,FC1,FC2,FC6,T7,T8,C3,Cz,C4,CP5,CP1,CP2,CP6,P7,P3,Pz,P4,P8,O1,Oz,O2の28点あるので、
(Fp1,Fp2)の組、
(Fp1,F7)の組、

(Fp1,O2)の組、
(Fp2,F7)の組、

(Oz,O2)の組
というように、28点から2点を取り出す組み合わせの数である378通りの組み合わせがある。計測点選択装置10は、この組み合わせを列挙したうえで、対象者uの回答情報に含まれるシーン識別子Mu1,Mu2,Mu3,Mu4,Mu5、Nu1,Nu2,Nu3,Nu4,Nu5ごとに、各組み合わせに係る分析対象脳波データの組
{T_u(Fp1,i),T_u(Fp2,i)},
{T_u(Fp1,i),T_u(F7,i)},…
の378組を得る。そして、各組の分析対象脳波データについて機能的結合解析の解析結果としてのdwPLI値:
C_u(Fp1,Fp2,i),
C_u(Fp1,F7,i),…
を得る(S32)。ただしi=Mu1,Mu2,Mu3,Mu4,Mu5、Nu1,Nu2,Nu3,Nu4,Nu5とする。これにより計測点選択装置10は、対象者uについて記憶シーンの視聴時における分析対象脳波データについての機能的結合解析の解析結果と、非記憶シーンの視聴時における分析対象脳波データについての機能的結合解析の解析結果とを得る。
【0079】
計測点選択装置10は、分析対象脳波データの組ごとに、記憶シーンの視聴時における分析対象脳波データについての機能的結合解析の解析結果であるdwPLI値の平均(記憶時位相同期度平均)
CM_u(Fp1,Fp2),
CM_u(Fp1,F7),…
を得る(S33)。
【0080】
また計測点選択装置10は、分析対象脳波データの組ごとに、非記憶シーンの視聴時における分析対象脳波データについての機能的結合解析の解析結果であるdwPLI値の平均(非記憶時位相同期度平均)
CN_u(Fp1,Fp2),
CN_u(Fp1,F7),…
を得る(S34)。
【0081】
計測点選択装置10は、図3のステップS18に戻り、すべての実験対象者について処理するまで、ステップS13に戻って、これまで未選択の対象者uを新たに選択してステップS14からS17の処理を繰り返し行う。
【0082】
計測点選択装置10は、すべての実験対象者についての記憶時位相同期度平均と非記憶時位相同期度平均とを求めると、ステップS31にて列挙したものと同じ一対の計測点の組み合わせ(p,q)=(Fp1,Fp2),(Fp1,F7),…ごとに、各実験対象者u(u=u1,u2,…)についての記憶時位相同期度平均CM_u1(p,q),CM_u2(p,q),…と非記憶時位相同期度平均CN_u1(p,q),CN_u2(p,q),…とを比較して(S19)、これらの差が統計的に、予め定めた有意水準で有意であるか否かを判断する。
【0083】
そして計測点選択装置10は、上記記憶時位相同期度平均と非記憶時位相同期度平均との差が統計的に予め定めた有意水準で有意であると判断される一対の計測点の組み合わせを、代表点組として選択し(S20)、当該選択した代表点組を出力する(S21)。
【0084】
なお、計測点選択装置10は、このステップS19において代表点組を選択する際、その差が有意であった記憶時位相同期度平均と非記憶時位相同期度平均とのいずれの値が大きいかを表す判定基準情報を生成し、ステップS20にて、代表点組を特定する情報(一対の計測点を特定する情報)とともに出力する。この判定基準情報は、例えば記憶時位相同期度平均が非記憶時位相同期度平均より大きい場合に「+」、記憶時位相同期度平均が非記憶時位相同期度平均よりも小さい場合に「-」といった情報である。
【0085】
具体的に本実施の形態のある例では、計測点選択装置10は、一対の計測点の組み合わせ(p,q)ごとに、各実験対象者u(u=u1,u2,…)についての記憶時位相同期度平均CM_u1(p,q),CM_u2(p,q),…の分布と、非記憶時位相同期度平均CN_u1(p,q),CN_u2(p,q),…の分布との間に統計的に有意な差がないとの帰無仮説を、t検定により検定し、所定の有意水準(例えば5%または1%)で棄却できるか否かを判断する。そして計測点選択装置10は、上記帰無仮説を、所定の有意水準で棄却できた計測点の組み合わせ(p,q)を代表点組として選択する。
【0086】
本実施の形態の一例では、有意水準を5%とした場合には、計測点選択装置10は、
・(FC5,Fp2)(+)
・(O2,Fp2)(-)
・(P7,T7)(+)
・(T7,CP5)(+)
・(CP5,FC6)(+)
・(FC2,FC6)(-)
・(FC6,F4)(-)
・(FC5,FC6)(+)
・(Pz,CP6)(+)
・(CP2,CP6)(+)
・(CP1,FC5)(-)
・(CP1,FC2)(-)
・(C4,Fp2)(+)
の13の組で有意な差があったものとして、これらを代表点組として選択した。ここで(+)または(-)は判定基準情報であり、非記憶時位相同期度平均よりも記憶時位相同期度平均が大きい場合に(+)となり、非記憶時位相同期度平均が、記憶時位相同期度平均よりも大きい場合には(-)となるものとしている。
【0087】
また有意水準を1%とした場合には、計測点選択装置10は、(FC5,Fp2)(+)の組み合わせのみを有意な差があったものとして、この組を代表点組として選択した。
【0088】
つまり本実施の形態は、ここでの例のように動画のシーンを記憶している場合と、記憶していない場合とで脳波の位相同期度に有意差がみられたチャンネル対間には機能的結合が存在すると考えて、これら機能的結合が存在すると判断されたチャンネルの対を、代表点組とするものである。
【0089】
[代表点組の他の例]
またここまでの説明においては、代表点組は、一対の計測点での脳波データの位相同期度に基づいて選択されるため、計測点の対として選択されることとなっているが、本実施の形態はこれに限られない。
【0090】
例えば、3以上の計測点の組み合わせごとの脳波データ間の位相同期度を評価し、記憶シーン視聴中、他の計測点の組み合わせに係る脳波データ間の位相同期度に対して、その位相同期度に有意差のある計測点の組み合わせを見出して、当該見出した組み合わせに係る計測点を代表点組として選択してもよい。
【0091】
[行動推定装置の機能的構成]
次に、行動推定装置20の制御部21の動作について説明する。制御部21は、記憶部22に格納されたプログラムを実行することで、図6に例示するように、脳波情報取得部41と、推定処理部42と、出力処理部43とを機能的に含む構成を実現する。
【0092】
またこの行動推定装置20に接続される脳波計40は、計測点選択装置10が選択した代表点組に含まれる少なくとも一対の計測点間のネットワークに着目して、当該計測点での脳波データを計測するものである。従って、この脳波計40は、多チャンネル脳波計30に比して簡便なものであり、装置コストも計測に要する負担も比較的軽度なものとなる。
【0093】
本実施の形態の一例では、この脳波計40は、行動中の推定対象者の脳波データを逐次的に取得するものであり、推定対象者の頭部表面上の計測点のうち、FC5,Fp2の2点(有意水準1%で計測点選択装置10が選択した計測点)、及び、参照計測点となる両耳の耳介における計測点A1,A2の合計4つの計測点での脳波データを計測する。そして脳波計40は、FC5,Fp2の2点で計測した各脳波データ(生データ)からそれぞれ参照データとなる計測点A1またはA2で計測した脳波データを差引いて増幅して、上記FC5,Fp2の各点での脳波データとして出力する。なお、ここでFC5,Fp2は、いずれも拡張国際10/20法で規定される計測点である。
【0094】
また以下では説明を容易にするため、行動は動画の視聴であるものとし、行動推定装置20は、動画に含まれるシーンが、推定対象者にとって印象に残るものであったか(記憶シーンとなったか)否かを推定するものであるとする。
【0095】
脳波情報取得部41は、行動中の推定対象者の、上記FC5,Fp2の各点での脳波データの入力を、脳波計40から逐次的に受け入れる。なお、以下の説明では脳波データは、どの計測点での脳波データであるかが識別可能な状態で、行動推定装置20に入力されるものとする。
【0096】
推定処理部42は、計測点選択装置10が所定の行動に関して選択した代表点組を特定する情報と、当該代表点組における判定基準情報との入力を受け入れて記憶しておく。そしてこの推定処理部42は、脳波情報取得部41が各脳波データを逐次的に受け入れると、当該脳波データのそれぞれを、所定のタイミングごとに分割して行動の単位ごと(動画視聴の場合は視聴しているシーンごと)の分割脳波データE(k,i)(kは計測点を表し、iは行動の単位を識別する識別子であり、ここでの例ではシーン識別子であってi=1,2,…であるものとする)を得る。例えばこの推定処理部42は、1分ごとに過去1分間で受け入れた各点での脳波データを、それぞれの計測点での分割脳波データとして取り出す。
【0097】
推定処理部42は、取り出した分割脳波データのそれぞれに対して、所定のフィルタリング等の処理(計測点選択装置10で施した処理と同等のもの、ここでは例えばシータ帯域(4から7Hz)のバンドパスフィルタを適用する処理)を行い、各分割脳波データE(k,i)から(ここではそのシータ帯域の成分を抽出して)、分析対象脳波データT(k,i)を得る。
【0098】
推定処理部42は、そして、計測点選択装置10が選択した代表点組を含む少なくとも一対の計測点の組を分析対象として、当該分析対象に係る一対の計測点(p,q)での分析対象脳波データT(p,i)とT(q,i)とに対して機能的結合解析を行い、その解析結果C(p,q,i)を得る。
【0099】
この推定処理部42が行う機能的結合解析は、計測点選択装置10におけるものと同様のものであり、例えば分析対象とした一対の分析対象脳波データ間の位相差に基づく位相同期度を評価するものである。具体的にこの機能的結合解析は、PLV(Phase Locking Value)、及びそれから派生したiPLV(imaginary PLV)、ciPLV(corrected imaginary PLV)など、またはPLI(Phase Lag Index)、及びそれから派生したwPLI(weighted PLI)、dwPLI(debiased wPLI)など、またはPPC(Pairwise Phase Consistency)、及びそれから派生したwPPC(weighted PPC)などの情報のうちいずれかの情報を求める広く知られた方法を採用して行われる。またこの機能的結合解析の処理は、位相同期度の評価に限られず、振幅位相カップリングやグレンジャー因果、移動エントロピー、PSI(Phase Slope Index)、コヒーレンスなどを解析する処理であってもよい。
【0100】
推定処理部42は、代表点組ごとに、各シーン識別子に対応する機能的結合解析の結果C(p,q,i)(例えばdwPLIの値)と対応する判定基準情報とを参照し、シーン識別子i=1,2,…に対応する代表点組(p,q)の解析結果C(p,q,i)のうち、代表点組(p,q)に対応する判定基準情報が示す判定基準を満足するシーン識別子を検索する。
【0101】
具体的に推定処理部42は、判定基準情報が「+」であるときには、例えば代表点組(p,q)に係る解析結果C(p,q,i)の平均CM(p,q)に対し、C(p,q,j)>CM(p,q)であり、かつ、C(p,q,j)-CM(p,q)が所定のしきい値より大きいシーン識別子jを検索する。そして推定処理部42は、そのようなシーン識別子jが見出されたときには、当該見出したシーン識別子で識別されるシーンが、印象に残るシーンであると判断する。
【0102】
またこの場合、推定処理部42は、判定基準情報が「-」である代表点組(p,q)については、当該代表点組(p,q)に係る解析結果C(p,q,i)の平均CM(p,q)に対し、C(p,q,j)<CM(p,q)であり、かつ、CM(p,q)-C(p,q,j)が所定のしきい値より大きいシーン識別子jを検索する。そして推定処理部42は、そのようなシーン識別子jが見出されたときには、当該見出したシーン識別子で識別されるシーンが、印象に残るシーンであると判断する。
【0103】
推定処理部42は、このような処理により、印象に残ると推定されるシーンのシーン識別子を見出す。そして出力処理部43は、推定処理部42が見出したシーン識別子を出力する。
【0104】
[行動推定装置の動作]
次に、行動推定装置20の動作について説明する。本実施の形態の例では予め、脳波データを計測する比較的少数の計測点を、計測点選択装置10により選択させておく。既に述べたように、計測点選択装置10は、所定の行動を行う実験対象者のN箇所の計測点での脳波データを用いて、少なくとも一対の計測点を代表点組として選択する。
【0105】
行動推定装置20の利用者(推定対象者の行動に関する推定を行う作業者)は、計測対象者(推定対象者)の頭部の、上記代表点組を少なくとも一対含む計測点と、参照計測点とに脳波計40の電極を配する。この推定対象者は、この代表点組の選択時に実験対象者が行っていた行動と同じ行動を行うものとする。
【0106】
具体的に以下の例では、既に述べた例と同様、動画を視聴する行動を行うものとし、動画中のシーン(ここでは視聴する動画を1分ごとに分割したものを、それぞれシーンとする)のうち、シーンを記憶したとの行動(印象に残るシーンを視聴したこと)があったか否かを推定して、印象に残るシーンがどれであったかを検出することとする。
【0107】
なお、この行動推定装置20の利用に先立って、計測点選択装置10により代表点組を選択させるにあたり、脳波データを取得した実験対象者が視聴した動画と、この行動推定装置20に入力する脳波データを取得する推定対象者が視聴する動画とは異なっていてよい。
【0108】
行動推定装置20は、脳波計40が計測した脳波データを受け入れる。ここでは脳波計40は、計測点選択装置10が選択した代表点組に含まれる少なくとも一対の計測点間のネットワークに着目して、動画を視聴している推定対象者の当該計測点での脳波データを計測して出力しているものとする。なお以下では、脳波計40は、推定対象者の頭部表面上の計測点のうち、代表点組としてのFC5,Fp2の2点(有意水準1%で計測点選択装置10が選択した計測点)、及び、参照計測点となる両耳の耳介における計測点A1,A2の合計4つの計測点での脳波データを計測するものとする。また上記代表点組(FC5,Fp2)に対応する判定基準情報は「+」であるものとする。
【0109】
行動推定装置20は、脳波計40から脳波データを逐次的に受け入れて、図7に例示する処理を行う。この行動推定装置20は、予め、計測点選択装置10が動画視聴の行動に関して選択した代表点組を特定する情報と、当該代表点組における判定基準情報との入力を受け入れて記憶しておく。
【0110】
行動推定装置20は、脳波計40から逐次的に受け入れた、各計測点での脳波データのそれぞれに対して前処理(計測点選択装置10のステップS14と同じ処理でよい)を行った後、シーンごと(ここでは1分間ごと)の脳波データに分割する。そして行動推定装置20は、シーンごとの分割脳波データE(FC5,i),E(Fp2,i)(iは行動の単位を識別する識別子であり、ここでの例ではシーン識別子であってi=1,2,…であるものとする)を得る(S51)。
【0111】
行動推定装置20は、ステップS51で取り出した分割脳波データのそれぞれに対して、シータ帯域(4から7Hz)のバンドパスフィルタを適用し、各分割脳波データE(FC5,i),E(Fp2,i)シータ帯域の成分を抽出して、分析対象脳波データT(FC5,i),T(Fp2,i)を得る(S52)。
【0112】
そして行動推定装置20は、計測点選択装置10が選択した代表点組に含まれる計測点をそれぞれ分析対象として、分析対象ごと、かつ、シーン識別子ごとに、以下の処理を繰り返す。
【0113】
この繰り返しの処理の過程で、行動推定装置20は、分析対象に係る一対の計測点(FC5,Fp2)での分析対象脳波データT(FC5,i)とT(Fp2,i)とに対して機能的結合解析として例えばdwPLIを求める処理を行い、その解析結果C(FC5,Fp2,i)を得る(S53)。
【0114】
また行動推定装置20は、すべてのシーンについての解析結果Cが得られた後、代表点組ごとに、各シーン識別子に対応するdwPLIの値C(FC5,Fp2,i)と、代表点組に対応する判定基準情報(ここでは「+」)とを参照し、シーン識別子i=1,2,…に対応する代表点組(FC5,Fp2)の解析結果C(FC5,Fp2,i)のうち、代表点組(FC5,Fp2)に対応する判定基準情報「+」が示す判定基準を満足するシーン識別子を検索する(S54)。
【0115】
つまり、ここでは行動推定装置20は、代表点組(FC5,Fp2)に係る解析結果C(FC5,Fp2,i)の平均CM(FC5,Fp2)に対し、C(FC5,Fp2,j)>CM(FC5,Fp2)であり、かつ、C(FC5,Fp2,j)-CM(FC5,Fp2)が所定のしきい値より大きいシーン識別子jを検索する。そして行動推定装置20は、そのようなシーン識別子jが見出されたときには、当該見出したシーン識別子jを出力する(S55)。
【0116】
これにより、行動推定装置20の利用者は、推定対象者の印象に残ると推定されるシーンのシーン識別子を得る。
【0117】
そして複数の互いに異なる推定対象者を対象として上記の処理を繰り返して行い、各推定対象者にとって印象に残ると推定されたシーンの識別子を得て、動画中、どの部分が最も印象に残るシーンとなっているかを分析するなどの処理に供する。
【0118】
本実施の形態によると、行動に関してアンケート調査を行うことなく、客観的な分析を行うことが可能となる。また、多チャンネル脳波計を用いることなく、予め所定の行動時に特徴的な脳波データが検出可能な一対の測定点を選択するため、チャンネル数の少ない簡易な脳波計を用いた行動の推定が可能となっている。
【0119】
また処理を行うチャンネル数が少ないため、比較的負荷の軽い処理により、シーンの記憶に関する推定を行うことができ、従来よりも多数の推定対象者から推定結果を収集可能となる。
【0120】
さらにこのようにして推定された結果を用いると、提示した動画等のコンテンツがどの程度印象に残るものであるかについて客観的な評価を提供でき、より印象的な動画の提供や、より期待感を与え得る動画の提供などといった目的にも資することが可能となる。
【0121】
また、個人で脳波計を用いて測定を行い、上記処理により、自らの記憶に残りやすいシーンを分析することで、各個人に対するコンテンツの推薦等の処理にも利用できる。
【符号の説明】
【0122】
1 行動推定システム、10 計測点選択装置、11 制御部、12 記憶部、13 操作部、14 出力部、15 入出力部、20 行動推定装置、21 制御部、22 記憶部、23 操作部、24 出力部、25 入出力部、30 多チャンネル脳波計、31 計測結果受入部、32 計測結果記録部、33 情報受入部、34 分析処理部、35 選択処理部、36 出力処理部、40 脳波計、41 脳波情報取得部、42 推定処理部、43 出力処理部。

図1
図2
図3
図4
図5
図6
図7