特許 7428337 情報処理方法、情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】情報処理方法、情報処理装置、及びプログラム

(51)【国際特許分類】

   G06F 16/9035 20190101AFI20240130BHJP

【ＦＩ】

G06F16/9035

【請求項の数】 11

(21)【出願番号】P 2023571543

(86)(22)【出願日】2023-06-30

(86)【国際出願番号】 JP2023024399

【審査請求日】2023-11-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】515059979

【氏名又は名称】ＶＩＥ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】茨木 拓也

(72)【発明者】

【氏名】藤井 進也

(72)【発明者】

【氏名】田中 堅大

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】特開２０２２－０４５４９３（ＪＰ，Ａ）

【文献】中国特許出願公開第１１３０９５４２８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１５４３８２４６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ａ６１Ｂ ５／００－ ５／３９８

Ｇ０６Ｎ ３／００－ ３／１２６

(57)【特許請求の範囲】

【請求項1】

情報処理装置に含まれるプロセッサが、
所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される前記所定ユーザの脳波信号を順に取得することと、
コンテンツにより刺激される前記所定ユーザの脳波信号を入力して刺激中の前記コンテンツにより前記所定ユーザの所定感情を惹起させる惹起度を予測する脳波モデルに、前記順に取得される脳波信号を入力して、前記所定コンテンツによる前記所定感情の前記惹起度を予測することと、
前記所定コンテンツの特徴量と、前記脳波モデルにより予測される惹起度との対応関係を再学習データとして、コンテンツの特徴量を入力して前記惹起度を予測するコンテンツモデルを更新することと、
コンテンツリストの中から、前記コンテンツモデルにより予測される前記惹起度に基づいて、前記所定ユーザの前記所定感情を惹起する所定コンテンツを抽出することと、
を実行する情報処理方法。

【請求項2】

前記プロセッサが、
前記コンテンツリスト内の複数の候補コンテンツのそれぞれの特徴量を前記コンテンツモデルに入力して予測される前記惹起度のそれぞれに基づいて、前記複数の候補コンテンツのそれぞれの惹起スコアを算出することをさらに実行し、
前記抽出することは、前記算出される惹起スコアに基づいて、前記複数の候補コンテンツのうち前記所定ユーザの前記所定感情を惹起する所定コンテンツを抽出することと、を含み、
前記順に取得することは、前記抽出される所定コンテンツにより刺激中の前記所定ユーザの脳波信号を順に取得することを含む、
請求項１に記載の情報処理方法。

【請求項3】

前記算出することは、前記更新されたコンテンツモデルに基づいて、前記惹起スコアを再算出することを含み、
前記抽出することは、前記再算出される惹起スコアに基づいて、前記複数の候補コンテンツのうち所定コンテンツを再抽出することを含み、
前記プロセッサが、前記再算出すること、前記再抽出すること、及び前記更新することを繰り返すことと、をさらに実行する、
請求項２に記載の情報処理方法。

【請求項4】

前記抽出することは、所定の値以上の前記惹起スコアを備える前記所定コンテンツ及び所定の値以下の前記惹起スコアを備える前記所定コンテンツの少なくともいずれかを抽出することを含む、請求項２又は３に記載の情報処理方法。

【請求項5】

前記算出することは、前記コンテンツモデルの学習の際の教師データに含まれる、前記所定ユーザの前記所定感情を惹起させるコンテンツと、前記コンテンツリスト内の候補コンテンツとの類似度にさらに基づいて、前記惹起スコアを算出することを含む、請求項２に記載の情報処理方法。

【請求項6】

前記コンテンツモデルは、前記所定感情を惹起させるコンテンツとして前記所定ユーザが選択した少なくとも１つの選択コンテンツの特徴量と、前記少なくとも１つの選択コンテンツにより刺激された前記所定ユーザによる、前記所定感情に関する評価との対応関係、及び、前記所定ユーザが選択していない少なくとも１つの非選択コンテンツと、前記少なくとも１つの非選択コンテンツにより刺激された前記所定ユーザによる、前記所定感情に関する評価との対応関係に基づいて生成される、請求項１～３のいずれか一項に記載の情報処理方法。

【請求項7】

前記脳波モデルは、前記少なくとも１つの選択コンテンツにより刺激される前記所定ユーザの脳波信号と、前記少なくとも１つの選択コンテンツに対応する前記所定感情に関するラベルとの対応関係、及び、前記少なくとも１つの非選択コンテンツにより刺激される前記所定ユーザの脳波信号と、前記少なくとも１つの非選択コンテンツに対応する前記所定感情に関するラベルとの対応関係に基づいて、生成される、請求項６に記載の情報処理方法。

【請求項8】

前記プロセッサが、前記更新されたコンテンツモデルに基づいて、前記所定ユーザの前記所定感情を惹起させるコンテンツの特徴量を特定することと、
前記特定される特徴量に基づいて、前記所定ユーザに刺激する所定コンテンツを生成することと、をさらに実行する、請求項１～３のいずれか一項に記載の情報処理方法。

【請求項9】

前記プロセッサが、前記生成されるコンテンツを前記コンテンツリストに含めることをさらに実行する請求項８に記載の情報処理方法。

【請求項10】

プロセッサを含む情報処理装置であって、
前記プロセッサが、
所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される前記所定ユーザの脳波信号を順に取得することと、
コンテンツにより刺激される前記所定ユーザの脳波信号を入力して刺激中の前記コンテンツにより前記所定ユーザの所定感情を惹起させる惹起度を予測する脳波モデルに、前記順に取得される脳波信号を入力して、前記所定コンテンツによる前記所定感情の前記惹起度を予測することと、
前記所定コンテンツの特徴量と、前記脳波モデルにより予測される惹起度との対応関係を再学習データとして、コンテンツの特徴量を入力して前記惹起度を予測するコンテンツモデルを更新することと、
コンテンツリストの中から、前記コンテンツモデルにより予測される前記惹起度に基づいて、前記所定ユーザの前記所定感情を惹起する所定コンテンツを抽出することと、
を実行する情報処理装置。

【請求項11】

情報処理装置に含まれるプロセッサに、
所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される前記所定ユーザの脳波信号を順に取得することと、
コンテンツにより刺激される前記所定ユーザの脳波信号を入力して刺激中の前記コンテンツにより前記所定ユーザの所定感情を惹起させる惹起度を予測する脳波モデルに、前記順に取得される脳波信号を入力して、前記所定コンテンツによる前記所定感情の前記惹起度を予測することと、
前記所定コンテンツの特徴量と、前記脳波モデルにより予測される惹起度との対応関係を再学習データとして、コンテンツの特徴量を入力して前記惹起度を予測するコンテンツモデルを更新することと、
コンテンツリストの中から、前記コンテンツモデルにより予測される前記惹起度に基づいて、前記所定ユーザの前記所定感情を惹起する所定コンテンツを抽出することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

従来、脳波信号からユーザの感情を推定し、その感情に合わせた音楽を再生することで、ユーザの感情をコントロールして自分で楽しい音楽を聴くようにすることができる技術が知られている（例えば非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ehrlich SK, Agres KR, Guan C, Cheng G (2019), “A closed-loop, music-based brain-computer interface for emotion mediation”, [online], March 18, 2019, PLOS ONE, [令和５年６月３０日検索]，インターネット＜URL:https://doi.org/10.1371/journal.pone.0213516＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

どの音楽にどのような感情の調整効果があるのかは個人に依存するものであるため、従来技術では、ユーザ個人に合わせて適切な音楽を再生し、そのユーザの所定感情を調整することができなった。

【0005】

そこで、開示技術の一態様は、ユーザの所定感情を惹起するコンテンツを高精度に抽出することが可能な情報処理方法、情報処理装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

開示技術の一態様に係る情報処理方法は、情報処理装置に含まれるプロセッサが、所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される所定ユーザの脳波信号を順に取得することと、コンテンツにより刺激される所定ユーザの脳波信号を入力して刺激中のコンテンツにより所定ユーザの所定感情を惹起させる惹起度を予測する脳波モデルに、順に取得される脳波信号を入力して、所定コンテンツによる所定感情の惹起度を予測することと、所定コンテンツの特徴量と、脳波モデルにより予測される惹起度との対応関係を再学習データとして、コンテンツの特徴量を入力して惹起度を予測するコンテンツモデルを更新することと、コンテンツリストの中から、コンテンツモデルにより予測される惹起度に基づいて、所定ユーザの所定感情を惹起する所定コンテンツを抽出することと、を実行する。

【0007】

開示技術の一態様に係るプロセッサを含む情報処理装置は、プロセッサが、所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される所定ユーザの脳波信号を順に取得することと、コンテンツにより刺激される所定ユーザの脳波信号を入力して刺激中のコンテンツにより所定ユーザの所定感情を惹起させる惹起度を予測する脳波モデルに、順に取得される脳波信号を入力して、所定コンテンツによる所定感情の惹起度を予測することと、所定コンテンツの特徴量と、脳波モデルにより予測される惹起度との対応関係を再学習データとして、コンテンツの特徴量を入力して惹起度を予測するコンテンツモデルを更新することと、コンテンツリストの中から、コンテンツモデルにより予測される惹起度に基づいて、所定ユーザの所定感情を惹起する所定コンテンツを抽出することと、を実行する。

【0008】

開示技術の一態様に係るプログラムは、情報処理装置に含まれるプロセッサに、所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される所定ユーザの脳波信号を順に取得することと、コンテンツにより刺激される所定ユーザの脳波信号を入力して刺激中のコンテンツにより所定ユーザの所定感情を惹起させる惹起度を予測する脳波モデルに、順に取得される脳波信号を入力して、所定コンテンツによる所定感情の惹起度を予測することと、所定コンテンツの特徴量と、脳波モデルにより予測される惹起度との対応関係を再学習データとして、コンテンツの特徴量を入力して惹起度を予測するコンテンツモデルを更新することと、コンテンツリストの中から、コンテンツモデルにより予測される惹起度に基づいて、所定ユーザの所定感情を惹起する所定コンテンツを抽出することと、を実行させる。

【発明の効果】

【0009】

本発明によれば、ユーザの所定感情を惹起するコンテンツを高精度に抽出することが可能な情報処理方法、情報処理装置、及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理システム１の概要例を示す図である。

【図2】実施形態に係るイヤホンセット１０の一例を示す図である。

【図3】実施形態に係るイヤホン１００Ｒの断面の概略の一例を示す図である。

【図4】実施形態に係る情報処理装置３０の一例を示すブロック図である。

【図5A】コンテンツモデルの概略を示す図である。

【図5B】脳波モデルの概略を示す図である。

【図6】実施形態に係る情報処理装置５０の一例を示すブロック図である。

【図7】情報処理システム１における処理の例を示すフローチャートである。

【図8】情報処理システム１における処理の例を示すフローチャートである。

【図9】情報処理システム１における処理の例を示すフローチャートである。

【図10】情報処理システム１における処理の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。すなわち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0012】

［実施形態］
以下、実施形態におけるシステムの概要を、図面を用いて説明する。
＜システムの概要＞
まず、図１を用いて、実施形態に係る情報処理システム１の概要例を説明する。情報処理システム１では、例えば、脳波を測定するユーザは、脳波測定デバイスとして、外耳道に生体電極が設けられるイヤホンセット１０を装着する。
図１に示す例では、首掛け式のイヤホンセット１０であるが、外耳道から脳波信号をセンシング可能であれば、いずれのイヤホンを用いてもよい。例えば、リファレンス信号を耳たぶから取得するようなイヤホンセット、その他の位置（外耳道の他の位置）からリファレンス信号やアース信号を取得するようなイヤホン、又は完全ワイヤレスのイヤホンなどが利用可能である。また、脳波測定デバイスは、イヤホンタイプに限らず、例えばヘッドホンタイプであり、イヤーマフ部分に生体電極を設けるような構成でもよい。また、脳波測定デバイスは、耳以外の頭部から脳波を測定するデバイスでもよい。

【0013】

図１に示す例の場合、イヤホンセット１０は、外耳道から脳波信号を取得し、ネットワークＮを介して脳波信号を情報処理装置３０又は情報処理装置５０に送信する。ネットワークＮは、有線又は無線のネットワークを含み、Bluetooth（登録商標）などの近距離無線通信が用いられてもよい。

【0014】

また、イヤホンセット１０は、脳波信号に所定の処理を実行し、サーバとしての役割を担う情報処理装置３０、又は、ユーザが利用する情報処理装置５０に送信してもよい。所定の処理は、例えば、増幅処理、サンプリング、フィルタリング、差分演算などの処理のうち少なくとも１つを含む。

【0015】

情報処理装置３０は、例えばサーバであり、脳波測定デバイスにより測定される脳波信号を順に取得して各処理を実行する。情報処理装置３０は、例えば、所定コンテンツにより刺激される所定ユーザの脳波信号を順に取得し、順に取得される脳波信号を脳波モデルに入力して、所定コンテンツにおける、所定感情を惹起させる惹起度を予測し、所定コンテンツの特徴量と、惹起度との対応関係を再学習データとしてコンテンツモデルを更新し、コンテンツリストの中から、コンテンツモデルにより予測される惹起度に基づいて、所定ユーザの所定感情を惹起するコンテンツを抽出することができる。これにより、ユーザの所定感情を惹起するコンテンツを高精度に抽出することができる。

【0016】

ここで、コンテンツは、ユーザ、特にユーザの五感に対して刺激を与えることができるものであればよく、例えば、音声若しくは音楽、写真若しくは映像、匂いを発する物であってもよい。なお、以下では、コンテンツを音楽として説明するが、コンテンツはこれに限られない。

【0017】

また、コンテンツによりユーザを刺激することは、例えば、ユーザに対してコンテンツを利用させることを含む。コンテンツが音楽である場合、コンテンツによりユーザを刺激することは、例えば、ユーザに当該コンテンツを聴取させることを含む。なお、コンテンツによりユーザを刺激する方法は、これに限られない。

【0018】

また、所定感情は、任意の感情であればよく、例えば、喜び、怒り、悲しみ、楽しさ、愛しさ、切なさ、寂しさ、懐かしさ等であってもよい。

【0019】

情報処理装置５０は、例えば、ユーザが保持する携帯端末などの処理端末であり、イヤホンセット１０から脳波信号を順に取得する。情報処理装置５０は、例えば、イヤホンセット１０を用いて、ユーザに対してコンテンツを再生し、コンテンツにより刺激されているユーザの脳波信号を順に取得してもよい。

【0020】

また、情報処理装置５０は、コンテンツにより刺激されたユーザから、所定感情が惹起されたかどうかに関する評価を取得することができる。

【0021】

情報処理装置３０及び情報処理装置５０における処理の詳細については、後述する。

【0022】

＜イヤホンセットの構成＞
図２～３を用いて、実施形態におけるイヤホンセット１０の概要について説明する。なお、イヤホンセット１０は、図２～３に示す例に限られず、外耳道から脳波をセンシングすることが可能であり、外部装置に出力可能であれば、いずれのイヤホンでも本開示の技術に適用することができる。

【0023】

図２は、実施形態に係るイヤホンセット１０の一例を示す図である。図２に示すイヤホンセット１０は、一対のイヤホン１００Ｒ、１００Ｌと、首掛け部１１０とを有する。各イヤホン１００Ｒ、１００Ｌは、首掛け部１１０と信号通信可能なケーブルを用いて接続されるが、無線通信を用いて接続されてもよい。以下、左右を区別する必要がない場合はＲＬを省略する。

【0024】

首掛け部１１０は、首の後方に沿う中央部材と、首の両サイドに沿って湾曲した形状を有する棒状部材（アーム）１１２Ｒ、１１２Ｌとを有する。中央部材の背中側の首に接触する表面には、脳波信号をセンシングする電極１２２、１２４が設けられる。電極１２２、１２４それぞれは、アース接続される電極と、リファレンス電極とである。これにより、後述するように、イヤホンのイヤーチップに設けられる弾性電極と距離を離すことができ、精度よく脳波信号を取得することが可能になる。また、首掛け部１１０は、脳波信号を処理する処理部や外部と通信を行う通信装置を有してもよいが、これらの処理部や通信部はイヤホン１００に設けられてもよい。

【0025】

また、首掛け部１１０の両サイドの棒状部材１１２Ｒ、１１２Ｌは、その先端側が、付け根側（中央部材側）よりも重くなっており、これにより電極１２２、１２４は、装着者の首に適切に圧着するようになる。例えば、棒状部材１１２Ｒ、１１２Ｌの先端側には重りが設けられる。なお、電極１２２、１２４の位置はこの位置に限られない。

【0026】

図３は、実施形態に係るイヤホン１００Ｒの断面の概略の一例を示す図である。図３に示すイヤホン１００Ｒは、例えば、スピーカ１０２とノズル１０４との間に弾性部材１０８（例えばウレタン）を設けてもよい。この弾性部材１０８を設けることにより、スピーカ１０２の振動がイヤーチップ１０６の弾性電極に伝わりにくくなり、イヤーチップ１０６の弾性電極とスピーカ１０２とが音について干渉することを防ぐことができる。

【0027】

さらに、弾性電極を含むイヤーチップ１０６は、音導口に位置しているが、弾性電極自身の弾性により、音振動による干渉を防ぐことが可能である。また、ハウジングには弾性部材を採用することで、この弾性部材により、音振動をイヤーチップ１０６の弾性電極に伝えにくく、音振動による干渉を防ぐことが可能である。

【0028】

イヤホン１００は、オーディオ・サウンド・プロセッサを含み、このオーディオ・サウンド・プロセッサを使用して、脳波信号に相当する所定の周波数（例えば５０Ｈｚ）以下の音信号をカットしてもよい。特にオーディオ・サウンド・プロセッサは、脳波信号として特徴が出やすい周波数帯域の３０Ｈｚ以下の音信号をカットするが、ベース音を損なわないようにするため、７０Ｈｚ周辺の周波数の音信号を増幅してもよい。

【0029】

これにより、音信号と脳波信号とが干渉することを防ぐことができる。また、オーディオ・サウンド・プロセッサは、脳波信号のセンシングがなされている場合にのみ、所定の周波数をカットするようにすればよい。

【0030】

また、イヤーチップ１０６は、外耳道からセンシングする脳波信号を、ノズル１０４に設けられる電極の接点に伝導させる。脳波信号は、イヤーチップ１０６から接点を介してイヤホン１００内部の生体センサ（不図示）に伝えられる。生体センサは、順に取得する脳波信号を、ケーブルを介して首掛け部１１０に設けられる処理装置に出力したり、外部の装置に送信したりする。また、イヤーチップ１０６と、生体センサやオーディオ・サウンド・プロセッサを含むハウジングとは、絶縁されていてもよい。なお、上述したように、脳波測定デバイスは、イヤホンセット１０に限られない。

【0031】

＜サーバの構成例＞
図４は、実施形態に係る情報処理装置３０の一例を示すブロック図である。情報処理装置３０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置３０は、脳波信号又は脳波情報を処理し、例えば、所定コンテンツによる所定感情の前記惹起度を予測する。

【0032】

情報処理装置３０は、サーバ３０とも表記する。なお、情報処理装置３０は、必ずしもサーバでなくてもよく、汎用コンピュータでもよい。

【0033】

サーバ３０は、例えば、１つ又は複数のプロセッサ（ＣＰＵ：Central Processing Unit））３１０、１つ又は複数のネットワーク通信インタフェース３２０、メモリ３３０、ユーザインタフェース３５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス３７０を含む。

【0034】

サーバ３０は、例えば、場合によりユーザインタフェース３５０を含んでもよい。ユーザインタフェース３５０は、例えば、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）であってもよい。

【0035】

メモリ３３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ３３０は、プログラムを記録したコンピュータ読取可能な非一時的な記録媒体でもよい。

【0036】

また、メモリ３３０の他の例として、プロセッサ３１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施例において、メモリ３３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

【0037】

１つ又は複数のプロセッサ３１０は、メモリ３３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ３１０は、メモリ３３０に格納されているプログラムを実行することで、脳波制御部３１１、脳波取得部３１２、第１学習部３１３、第２学習部３１４、算出部３１５、抽出部３１６、更新部３１７、生成部３１８、出力部３１９を構成してもよい。脳波制御部３１１は、順に取得される脳波信号を制御したり、処理したりし、以下の各処理を制御する。

【0038】

脳波取得部３１２は、所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される所定ユーザの脳波信号を順に取得する。所定コンテンツは、例えば、後述する抽出部３１６によって抽出される所定コンテンツであってもよく、また、後述する選択コンテンツ及び非選択コンテンツであってもよい。

【0039】

脳波取得部３１２は、例えば、所定ユーザの耳に装着された脳波測定デバイスから、所定ユーザの外耳道において測定される脳波信号を順に取得する。なお、脳波測定デバイスは、イヤホンセット１０に限定されない。脳波信号は、例えば、対象となるユーザの外耳道脳波（In-Ear EEG）の特徴データ（単位時間あたりの周波数ごとのパワーベクトル）を示す脳波信号でもよい。

【0040】

第１学習部３１３は、コンテンツの特徴量を入力して所定ユーザの所定感情を惹起させる惹起度を予測する、コンテンツモデルを生成する。コンテンツモデルは、コンテンツの特徴量を入力して、予測される惹起度を出力する学習モデルである。以下、コンテンツモデルが予測する惹起度を、第１惹起度という。

【0041】

コンテンツが音楽である場合、コンテンツの特徴量は、例えば、１０秒間の音を１２８次元で表現する特徴量であってもよい。

【0042】

また、第１惹起度は、例えば、コンテンツが所定ユーザの所定感情を惹起させる尤度若しくは確率であってもよい。尤度若しくは確率は、例えば、０～１の値であってもよい。

【0043】

第１学習部３１３は、例えば、所定感情を惹起させるコンテンツとして所定ユーザが選択した少なくとも１つの選択コンテンツの特徴量と、少なくとも１つの選択コンテンツにより刺激された所定ユーザによる、所定感情に関する評価との対応関係、及び、所定ユーザが選択していない少なくとも１つの非選択コンテンツと、少なくとも１つの非選択コンテンツにより刺激された所定ユーザによる、所定感情に関する評価との対応関係に基づいて学習して、コンテンツモデルを生成することができる。

【0044】

具体的には、例えば、まず、所定ユーザが、所定感情を惹起させるコンテンツとして、３つのコンテンツを選択する。また、例えば情報処理システム１が、３つの非選択コンテンツを抽出する。このとき、情報処理システム１は、例えば、コンテンツの特徴量に基づいて、選択コンテンツの特徴量とは異なる特徴量を備えるコンテンツを非選択コンテンツとして抽出してもよい。続いて、所定ユーザに対し、３つの選択コンテンツ及び３つの非選択コンテンツを刺激、例えば聴取させる。

【0045】

そして、所定ユーザから、コンテンツによって所定感情が惹起されたかどうかについての評価を取得する。例えば、所定ユーザに所定アンケートを回答させて、評価してもよい。なお、各コンテンツの刺激後にアンケートを回答させてもよく、複数のコンテンツの刺激後にアンケートを回答させてもよい。ここで、コンテンツが音楽である場合、評価は、所定ユーザの心拍を解析する心拍変動解析による評価であってもよく、また、ＶＡＳ（Visual Analog Scale）を用いた主観評価であってもよい。

【0046】

その後、第１学習部３１３が、３つの選択コンテンツ及び３つの非選択コンテンツの特徴量と、それぞれの評価との対応関係に基づいて、コンテンツモデルを生成する。

【0047】

図５Ａは、コンテンツモデルの概略を示す図である。コンテンツモデルは、例えば、選択コンテンツ若しくは非選択コンテンツ（５０１）と、所定感情に関する評価（５０２）との対応関係を学習して生成される。

【0048】

また、第１学習部３１３は、所定コンテンツの特徴量と、後述する脳波モデルにより予測される惹起度との対応関係を再学習データとして再学習して、コンテンツモデルを更新することができる。すなわち、第１学習部３１３は、所定コンテンツの特徴量と、後述する脳波モデルにより予測される惹起度との対応関係を教師データとして、コンテンツモデルの再学習に利用する。再学習処理の詳細については後述する。

【0049】

第２学習部３１４は、コンテンツにより刺激される所定ユーザの脳波信号を入力して刺激中のコンテンツにより所定ユーザの所定感情を惹起させる惹起度を予測する、脳波モデルを生成する。脳波モデルは、脳波信号を入力して、予測される惹起度を出力する脳波モデルである。以下、脳波モデルが出力する惹起度を、第２惹起度という。

【0050】

第２惹起度は、例えば、コンテンツが所定ユーザの所定感情を惹起させる尤度若しくは確率であってもよい。尤度若しくは確率は、例えば、０～１の値であってもよい。

【0051】

ここで、コンテンツにより刺激される所定ユーザの脳波信号は、例えば、イヤホンセット１０から順に取得される、コンテンツを刺激中の所定ユーザの脳波信号である。

【0052】

第２学習部３１４は、例えば、少なくとも１つの選択コンテンツにより刺激される所定ユーザの脳波信号と、少なくとも１つの選択コンテンツに対応する所定感情に関するラベルとの対応関係、及び、少なくとも１つの非選択コンテンツにより刺激される所定ユーザの脳波信号と、少なくとも１つの非選択コンテンツに対応する所定感情に関するラベルとの対応関係に基づいて、脳波モデルを生成することができる。

【0053】

ここで、選択コンテンツは、所定感情を惹起させるコンテンツとして所定ユーザが選択したコンテンツであるから、いわば正解ラベルに対応するコンテンツであり、尤度としての第２惹起度は「１」といえる。一方、非選択コンテンツは、所定ユーザが選択していないコンテンツであるから、いわば不正解ラベルに対応するコンテンツであり、尤度としての第２惹起度は「０」といえる。そこで、第２学習部３１４は、例えば、選択コンテンツにより刺激される所定ユーザの脳波信号と、正解ラベル、例えば尤度「１」との対応関係、及び、非選択コンテンツにより刺激される所定ユーザの脳波信号と、不正解ラベル、例えば尤度「０」との対応関係に基づいて学習して、脳波モデルを生成する。

【0054】

具体的には、例えば、まず、所定ユーザが所定感情を惹起させるコンテンツとして、３つのコンテンツを選択する。また、例えば情報処理システム１が、３つの非選択コンテンツを抽出する。続いて、所定ユーザに対し、３つの選択コンテンツ及び３つの非選択コンテンツを刺激、例えば聴取させる。

【0055】

そして、脳波取得部３１２が、各コンテンツを刺激中の所定ユーザの脳波信号を順に取得する。その後、第２学習部３１４が、３つの選択コンテンツ及び３つの非選択コンテンツの刺激中の脳波信号と、それぞれのラベルとの対応関係に基づいて、脳波モデルを生成する。

【0056】

図５Ｂは、脳波モデルの概略を示す図である。脳波モデルは、例えば、選択コンテンツの脳波若しくは非選択コンテンツの脳波（５０３）と、所定感情に関するラベル（５０４）との対応関係を学習して生成される。

【0057】

算出部３１５は、コンテンツリスト内の複数の候補コンテンツのそれぞれの特徴量をコンテンツモデルに入力して予測される惹起度のそれぞれに基づいて、複数の候補コンテンツのそれぞれの惹起スコアを算出する。

【0058】

惹起スコアは、情報処理システム１を通じて評価及び算出される、コンテンツが所定ユーザの所定感情を惹起する度合いに応じたスコアである。なお、惹起スコアは、第１惹起度と同じ値であってもよいが、好ましくは、後述するように、コンテンツモデルの学習の際の教師データに含まれる、所定ユーザの所定感情を惹起させるコンテンツと、コンテンツリスト内の候補コンテンツとの類似度にさらに基づいて算出される。

【0059】

算出部３１５は、コンテンツリスト内の候補コンテンツのそれぞれと、コンテンツモデルの学習の際の教師データに含まれる、所定ユーザの所定感情を惹起させるコンテンツとの類似度にさらに基づいて、惹起スコアを算出することができる。これにより、情報処理装置３０は、コンテンツモデル及び脳波モデルの両方を考慮して惹起スコアを算出することができ、後述する再学習処理を通じた繰り返し処理により、コンテンツモデルの精度を向上させることができる。なお、繰り返し処理の詳細については後述する。

【0060】

ここで、コンテンツモデルの学習の際の教師データに含まれる所定ユーザの所定感情を惹起させるコンテンツは、例えば、選択コンテンツであってもよい。具体的には、算出部３１５は、例えば、コンテンツリスト内の候補コンテンツのそれぞれと、ユーザが最初に選択した選択コンテンツ、例えば３つの選択コンテンツとの類似度に基づいて、惹起スコアを算出してもよい。

【0061】

また、コンテンツモデルの学習の際の教師データに含まれる所定ユーザの所定感情を惹起させるコンテンツは、例えば、後述する更新されたコンテンツリストの上位のコンテンツであってもよい。具体的には、算出部３１５は、例えば、コンテンツリスト内の候補コンテンツのそれぞれと、コンテンツリスト内の上位の所定の数のコンテンツとの類似度に基づいて、惹起スコアを算出してもよい。

【0062】

ここで、コンテンツリストでは、例えば、コンテンツが、所定ユーザの所定感情を惹起させる度合いの順を示す情報と対応付けられている。所定ユーザの所定感情を惹起させる度合いは、第１惹起度であってもよく、事前に、例えば更新される前のコンテンツリストに基づいて算出部３１５によって算出された惹起スコアであってもよい。

【0063】

算出部３１５は、例えば、０～１の値を備える尤度としての第１惹起度、並びに、所定ユーザの所定感情を惹起させるコンテンツ及びコンテンツリスト内の候補コンテンツとの相関係数としての類似度に対して、所定の演算処理、例えば、加算処理を施して、惹起スコアを算出することができる。

【0064】

また、算出部３１５は、後述する繰り返し処理を通じて、惹起スコアの算出を繰り返すことができる。

【0065】

抽出部３１６は、コンテンツリストの中から、第１惹起度に基づいて、所定ユーザの所定感情を惹起するコンテンツを抽出する。

【0066】

また、抽出部３１６は、算出される惹起スコアに基づいて、複数の候補コンテンツのうち、所定ユーザの所定感情を惹起する所定コンテンツを抽出する。

【0067】

このとき、抽出部３１６は、所定の値以上の第１惹起度若しくは惹起スコアを備える所定コンテンツ及び所定の値以下の第１惹起度若しくは惹起スコアを備える所定コンテンツの少なくともいずれかを抽出することができる。これにより、情報処理装置３０は、所定感情を惹起させる所定コンテンツ及び所定感情を惹起させない所定コンテンツの少なくともいずれかを抽出して、例えば、効率的に、再学習処理を実行することができ、また、所定ユーザの所定感情を惹起させるコンテンツを用いて効果的に所定ユーザに刺激することができる。

【0068】

また、抽出部３１６は、後述する繰り返し処理を通じて再算出される惹起スコアに基づいて、複数の候補コンテンツのうち所定コンテンツを再抽出することができる。また、抽出部３１６は、後述する繰り返し処理を通じて、所定コンテンツの抽出を繰り返すことができる。ここで、再抽出される所定コンテンツは、任意のコンテンツであればよく、過去にユーザに刺激したコンテンツであってもよいし、ユーザに刺激させたことがないコンテンツであってもよい。

【0069】

更新部３１７は、惹起スコアに基づいて、コンテンツリストを更新する。

【0070】

更新部３１７は、例えば、惹起スコアの順に、コンテンツリストに含まれるコンテンツの順番を入れ替えて、コンテンツリストを更新することができる。これにより、情報処理システム１は、コンテンツを、所定ユーザの所定感情を惹起させる順と対応付けて管理することができる。

【0071】

更新部３１７は、後述する繰り返し処理を通じて、コンテンツリストの更新を繰り返すことができる。

【0072】

生成部３１８は、コンテンツモデルに基づいて、所定のユーザの所定感情を惹起させるコンテンツの特徴量を特定し、当該特徴量に基づいて、所定ユーザに刺激する所定コンテンツを生成する。

【0073】

また、生成部３１８は、更新されたコンテンツモデルに基づいて、所定コンテンツを生成してもよい。

【0074】

出力部３１９は、コンテンツリストを出力する。

【0075】

出力部３１９は、例えば、惹起スコアの順とコンテンツとが対応付けられたコンテンツリストを出力することができる。

【0076】

出力部３１９は、例えば、情報処理装置５０に、コンテンツリストを出力することができる。

【0077】

また、出力部３１９は、生成部３１８によって生成されるコンテンツを含むコンテンツリストを出力してもよい。

【0078】

以上の処理により、情報処理装置３０は、脳波モデルの出力をコンテンツモデルの再学習データとして用いてコンテンツモデルを更新し、所定ユーザの所定感情を惹起する所定コンテンツを抽出することができる。これにより、情報処理装置３０は、所定ユーザの所定感情を惹起するコンテンツを高精度に抽出することできる。

【0079】

＜処理端末の構成例＞
図６は、実施形態に係る情報処理装置５０の一例を示すブロック図である。情報処理装置５０は、例えば、上述のとおり、医療機器、又は携帯端末（スマートフォンなど）、コンピュータ、タブレット端末などを含む。情報処理装置５０は、処理端末５０とも表記する。

【0080】

処理端末５０は、例えば、１つ又は複数のプロセッサ（例、ＣＰＵ）５１０、１つ又は複数のネットワーク通信インタフェース５２０、メモリ５３０、ユーザインタフェース５５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス５７０を含む。

【0081】

ユーザインタフェース５５０は、例えば、ディスプレイ５５１及び入力装置５５２（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）を含む。また、ユーザインタフェース５５０は、タッチパネルでもよい。

【0082】

メモリ５３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ５３０は、プログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体でもよい。

【0083】

また、メモリ５３０の他の例は、プロセッサ５１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施例において、メモリ５３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

【0084】

１つ又は複数のプロセッサ５１０は、メモリ５３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ５１０は、メモリ５３０に格納されているプログラムを実行することで、アプリケーションの制御部（以下「アプリ制御部」とも称す。）５１１を構成してもよい。アプリ制御部５１１は、脳波信号を処理するアプリケーションであり、例えば、選択部５１２、評価取得部５１３、及び出力部５１４を含む。

【0085】

選択部５１２は、所定ユーザの操作に基づいて、コンテンツリスト内のコンテンツを選択コンテンツとして選択する。

【0086】

評価取得部５１３は、所定ユーザから、コンテンツによって所定感情が惹起されたかどうかについての評価を取得する。例えば、処理端末５０が所定アンケートの回答を受け付けるための画面を表示し、評価取得部５１３が、当該画面における所定ユーザの操作に基づいて、所定ユーザの回答を取得してもよい。コンテンツが音楽である場合、評価取得部５１３は、所定ユーザの心拍を解析する心拍変動解析による評価、又は、ＶＡＳ（Visual Analog Scale）を用いた主観評価の結果を取得してもよい。

【0087】

出力部５１４は、評価取得部５１３が取得した、コンテンツによって所定感情が惹起されたかどうかについての評価の結果を、情報処理装置３０に出力する。

【0088】

以上の処理により、情報処理装置５０は、選択コンテンツ及び非選択コンテンツによって所定感情が惹起されたかどうかについての評価を情報処理装置３０に出力することができ、情報処理装置３０は、当該評価に基づいてコンテンツを生成することができる。

【0089】

＜動作＞
次に、実施形態に係る動作について説明する。図７は、情報処理システム１における処理の例を示すフローチャートである。図７に示すフローチャートは、実施形態に係る情報処理システム１におけるコンテンツモデルの生成処理の例を示す。

【0090】

選択部５１２が、所定ユーザの操作に基づいて、コンテンツリスト内のコンテンツを選択コンテンツとして選択する（Ｓ７０２）。評価取得部５１３が、選択コンテンツ及び非選択コンテンツにおける、コンテンツによって所定感情が惹起されたかどうかについての評価を取得する（Ｓ７０４）。出力部５１４が、評価結果を情報処理装置３０に出力する（Ｓ７０６）。

【0091】

第１学習部３１３が、選択コンテンツの特徴量と所定感情に関する評価との対応関係、及び、非選択コンテンツの特徴量と所定感情に関する評価との対応関係に基づいて、コンテンツモデルを生成する（Ｓ７０８）。

【0092】

図８は、情報処理システム１における処理の例を示すフローチャートである。図８に示すフローチャートは、実施形態に係る情報処理システム１における脳波モデルの生成処理の例を示す。

【0093】

例えばイヤホンセット１０が、コンテンツを用いて所定ユーザを刺激する（Ｓ８０２）。脳波取得部３１２が、選択コンテンツ及び非選択コンテンツのそれぞれにより刺激される所定ユーザの脳波信号を順に取得する（Ｓ８０４）。第２学習部３１４が、選択コンテンツにより刺激される所定ユーザの脳波信号と、選択コンテンツに対応する所定感情に関するラベルとの対応関係、及び、非選択コンテンツにより刺激される所定ユーザの脳波信号と、非選択コンテンツに対応する所定感情に関するラベルとの対応関係に基づいて、脳波モデルを生成する（Ｓ８０６）。

【0094】

図９は、情報処理システム１における処理の例を示すフローチャートである。図９に示すフローチャートは、実施形態に係る情報処理システム１におけるコンテンツモデルの再学習処理の例を示す。

【0095】

抽出部３１６が、コンテンツリストから、惹起スコアに基づいて、所定コンテンツを抽出する（Ｓ９０２）。情報処理装置３０が、所定コンテンツにより所定ユーザを刺激、例えば、所定コンテンツを再生して（Ｓ９０４）、所定ユーザの脳波信号を順に取得する（Ｓ９０６）。情報処理装置３０が、取得される脳波信号を脳波モデルに入力し（Ｓ９０８）、惹起度を予測する（Ｓ９１０）。

【0096】

そして、情報処理装置３０（特に第１学習部３１３）が、抽出された所定コンテンツと、脳波モデルにより予測された惹起度との対応関係を再学習データとして再学習し（Ｓ９１２）、コンテンツモデルを更新する（Ｓ９１４）。

【0097】

図１０は、情報処理システム１における処理の例を示すフローチャートである。図１０に示すフローチャートは、実施形態に係る情報処理システム１におけるコンテンツリストの更新処理の例を示す。

【0098】

まず、情報処理装置３０が、コンテンツリストに含まれるコンテンツそれぞれの特徴量をコンテンツモデルに入力し（Ｓ１００２）、コンテンツそれぞれの惹起度を予測する（Ｓ１００４）。また、情報処理装置３０が、コンテンツリストに含まれるコンテンツそれぞれと、選択コンテンツとの類似度を算出する（Ｓ１００６）。情報処理装置３０（特に算出部３１５）が、予測される惹起度と、類似度とに基づいて、惹起スコアを算出する（Ｓ１００８）。情報処理装置３０が、コンテンツリストを更新する（Ｓ１０１０）。

【0099】

そして、情報処理装置３０は、コンテンツモデルの更新処理及びコンテンツリストの更新処理を繰り返す繰り返し処理を行う。これにより、情報処理システム１は、コンテンツモデルの精度を向上させることができ、また、更新されたコンテンツリストに基づいて、所定ユーザの所定感情を惹起するコンテンツを高精度に抽出することができる。

【0100】

なお、繰り返し処理では、コンテンツモデルの更新処理及びコンテンツリストの更新処理が一度ずつ交互に行われてもよい。これにより、情報処理システム１は、シンプルな繰り返し処理により、より高精度に、所定感情を惹起するコンテンツを抽出することができる。

【0101】

また、繰り返し処理では、例えば、コンテンツリストの更新処理を複数回行った後に、コンテンツモデルの更新処理を行ってもよく、また、コンテンツモデルの更新処理を複数回行った後に、コンテンツリストの更新処理を行ってもよい。これにより、情報処理システム１は、計算量や必要とされる精度に応じて、柔軟に、繰り返し処理を実行することができる。

【0102】

また、情報処理装置３０は、更新されたコンテンツモデルに基づいて、所定感情を惹起させるコンテンツの特徴量を特定し、所定ユーザに刺激する所定コンテンツを生成することができる。これにより、情報処理装置３０は、所定ユーザの所定感情を惹起する所定コンテンツを新たに生み出すことができる。

【0103】

また、情報処理装置３０は、当該生成された所定コンテンツをコンテンツリストに含めることができる。これにより、情報処理装置３０は、当該生成された所定コンテンツを所定ユーザに利用、例えば、聴取させることができる。

【0104】

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

【0105】

また、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」又は装置が有する機能が２つ以上の物理的手段、装置、又はソフトウェアにより実現されても、２つ以上の「部」又は装置の機能が１つの物理的手段、装置、又はソフトウェアにより実現されてもよい。

【符号の説明】

【0106】

１ 情報処理システム
１０ イヤホンセット
３０、５０ 情報処理装置
１００ イヤホン
１０２ スピーカ
１０４ ノズル
１０６ イヤーチップ
３１０ プロセッサ
３１１ 脳波制御部
３１２ 脳波取得部
３１３ 第１学習部
３１４ 第２学習部
３１５ 算出部
３１６ 抽出部
３１７ 更新部
３１８ 生成部
３１９ 出力部
３３０ メモリ
５１０ プロセッサ
５１１ アプリ制御部
５１２ 選択部
５１３ 評価取得部
５１４ 出力部
５３０ メモリ

【要約】

情報処理方法は、情報処理装置に含まれるプロセッサが、所定ユーザに装着された脳波測定デバイスから、所定コンテンツにより刺激される所定ユーザの脳波信号を順に取得することと、コンテンツにより刺激される所定ユーザの脳波信号を入力して刺激中のコンテンツにより所定ユーザの所定感情を惹起させる惹起度を予測する脳波モデルに、順に取得される脳波信号を入力して、所定コンテンツによる所定感情の惹起度を予測することと、所定コンテンツの特徴量と、脳波モデルにより予測される惹起度との対応関係を再学習データとして、コンテンツの特徴量を入力して惹起度を予測するコンテンツモデルを更新することと、コンテンツリストの中から、コンテンツモデルにより予測される惹起度に基づいて、所定ユーザの所定感情を惹起する所定コンテンツを抽出することと、を実行する。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】