知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024047533
(43)【公開日】2024-04-05
(54)【発明の名称】脳情報の分析によるレコメンデーション
(51)【国際特許分類】
G06N 3/08 20230101AFI20240329BHJP
【ＦＩ】
G06N3/08
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023094147
(22)【出願日】2023-06-07
(62)【分割の表示】P 2022152658の分割
【原出願日】2022-09-26
(71)【出願人】
【識別番号】516153775
【氏名又は名称】株式会社Ｃｒｅａｔｏｒ’ｓ ＮＥＸＴ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】窪田 望
(57)【要約】
【課題】脳に関するデータを用いて、ユーザの好みに応じたコンテンツをより適切に選択又は生成可能にする仕組みを提供する。
【解決手段】情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、ユーザに対するコンテンツの出力中に、ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、第１データと第２データとを含む学習データを、ニューラルネットワークを用いて第１データ及び第２データに基づくユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、学習の結果を出力すること、を実行する。
【選択図】図６
【解決手段】情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、ユーザに対するコンテンツの出力中に、ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、第１データと第２データとを含む学習データを、ニューラルネットワークを用いて第１データ及び第２データに基づくユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、学習の結果を出力すること、を実行する。
【選択図】図６
【特許請求の範囲】
【請求項1】
情報処理装置に含まれる１又は複数のプロセッサが、
ユーザに対するコンテンツの出力中に、前記ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、
前記第１データと前記第２データとを含む学習データを、ニューラルネットワークを用いて前記第１データ及び前記第２データに基づく前記ユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、
前記学習の結果を出力すること、
を実行する情報処理方法。
ユーザに対するコンテンツの出力中に、前記ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、
前記第１データと前記第２データとを含む学習データを、ニューラルネットワークを用いて前記第１データ及び前記第２データに基づく前記ユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、
前記学習の結果を出力すること、
を実行する情報処理方法。
【請求項2】
前記プロセッサが、
前記ユーザの感情又は状態に含まれるユーザの快適さを示す指標値であって、前記学習により予測される前記指標値と、前記コンテンツとを関連付けること、
をさらに実行する請求項１に記載の情報処理方法。
前記ユーザの感情又は状態に含まれるユーザの快適さを示す指標値であって、前記学習により予測される前記指標値と、前記コンテンツとを関連付けること、
をさらに実行する請求項１に記載の情報処理方法。
【請求項3】
前記プロセッサが、
前記ユーザの快適さを示す指標値に基づいて、複数のコンテンツの中から少なくとも１つのコンテンツを選択すること、
選択された前記少なくとも１つのコンテンツを出力すること、
をさらに実行する請求項２に記載の情報処理方法。
前記ユーザの快適さを示す指標値に基づいて、複数のコンテンツの中から少なくとも１つのコンテンツを選択すること、
選択された前記少なくとも１つのコンテンツを出力すること、
をさらに実行する請求項２に記載の情報処理方法。
【請求項4】
前記プロセッサが、
デジタルデータを生成する生成器により所定のデジタルデータを生成すること、
前記所定のデジタルデータを用いて刺激された前記ユーザの前記第１データ及び前記第２データを、前記学習モデルを用いる識別器に入力し、前記所定のデジタルデータの識別結果を取得すること、
前記識別結果が不快を示す場合、前記生成器にデジタルデータを生成する指示を行い、前記識別結果が快適を示す場合、前記デジタルデータが前記ユーザにとって快適であることを示す情報を出力すること、
をさらに実行する請求項１に記載の情報処理方法。
デジタルデータを生成する生成器により所定のデジタルデータを生成すること、
前記所定のデジタルデータを用いて刺激された前記ユーザの前記第１データ及び前記第２データを、前記学習モデルを用いる識別器に入力し、前記所定のデジタルデータの識別結果を取得すること、
前記識別結果が不快を示す場合、前記生成器にデジタルデータを生成する指示を行い、前記識別結果が快適を示す場合、前記デジタルデータが前記ユーザにとって快適であることを示す情報を出力すること、
をさらに実行する請求項１に記載の情報処理方法。
【請求項5】
前記識別結果が快適か不快かを判定することは、判定タイミングに関する所定条件を満たす場合に行われることを含む、請求項４に記載の情報処理方法。
【請求項6】
前記デジタルデータは、仮想空間に関するデータ、ロボット制御に関するデータ、自動運転に関するデータ、及び家電デバイスに関するデータのうちの少なくとも１つを含む、請求項５に記載の情報処理方法。
【請求項7】
情報処理装置に含まれる１又は複数のプロセッサに、
ユーザに対するコンテンツの出力中に、前記ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、
前記第１データと前記第２データとを含む学習データを、ニューラルネットワークを用いて前記第１データ及び前記第２データに基づく前記ユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、
前記学習の結果を出力すること、
を実行させる、プログラム。
ユーザに対するコンテンツの出力中に、前記ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、
前記第１データと前記第２データとを含む学習データを、ニューラルネットワークを用いて前記第１データ及び前記第２データに基づく前記ユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、
前記学習の結果を出力すること、
を実行させる、プログラム。
【請求項8】
１又は複数のプロセッサを含む情報処理装置であって、
前記１又は複数のプロセッサが、
ユーザに対するコンテンツの出力中に、前記ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、
前記第１データと前記第２データとを含む学習データを、ニューラルネットワークを用いて前記第１データ及び前記第２データに基づく前記ユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、
前記学習の結果を出力すること、
を実行する、情報処理装置。
前記１又は複数のプロセッサが、
ユーザに対するコンテンツの出力中に、前記ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、
前記第１データと前記第２データとを含む学習データを、ニューラルネットワークを用いて前記第１データ及び前記第２データに基づく前記ユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、
前記学習の結果を出力すること、
を実行する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脳情報の分析によるレコメンデーションを提供可能な情報処理方法、プログラム及び情報処理装置に関する。
【背景技術】
【0002】
従来、脳波信号からユーザの感情を推定し、その感情に合わせた音楽を再生することで、ユーザの感情をコントロールして自分で楽しい音楽を聴くようにすることができる技術が知られている（例えば非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Ehrlich SK, Agres KR, Guan C, Cheng G (2019), "A closed-loop, music-based brain-computer interface for emotion mediation", [online], March 18, 2019, PLOS ONE, [令和４年９月２２日検索]，インターネット＜URL:https://doi.org/10.1371/journal.pone.0213516＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術において、ユーザ個人によって異なる脳波信号からユーザの感情を推定するのは容易ではなく、ユーザの感情を適切に推定して、ユーザの好みに合わせたコンテンツを提供することは容易ではなかった。
【0005】
また、従来技術では、脳波信号からユーザの感情を推定したとしても、ユーザに対して出力されているコンテンツの好みを判定するだけであり、コンテンツ自体をユーザの好みに合わせて生成することはできなかった。
【0006】
そこで、本発明の目的の１つは、脳に関するデータを用いて、ユーザの好みに応じたコンテンツをより適切に選択又は生成可能にする仕組みを提供する。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、ユーザに対するコンテンツの出力中に、前記ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得すること、前記第１データと前記第２データとを含む学習データを、ニューラルネットワークを用いて前記第１データ及び前記第２データに基づく前記ユーザの感情又は状態を学習する学習モデルに入力して学習を行うこと、前記学習の結果を出力すること、を実行する。
【発明の効果】
【0008】
本発明によれば、脳に関するデータを用いて、ユーザの好みに応じたコンテンツをより適切に選択又は生成可能にする仕組みを提供する。
【図面の簡単な説明】
【0009】
【図1】各実施形態に係るシステム構成の一例を示す図である。
【図2】各実施形態に係るサーバの情報処理装置の物理的構成の一例を示す図である。
【図3】第１実施形態に係る情報処理装置の処理ブロックの一例を示す図である。
【図4】第１実施形態に係るユーザの状態を示す図である。
【図5】第１実施形態に係る関連データの一例を示す図である。
【図6】第１実施形態に係る情報処理装置の処理の一例を示すフローチャートである。
【図7】第２実施形態に係る情報処理装置の処理ブロックの一例を示す図である。
【図8】第２実施形態に係る情報処理装置の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0011】
＜システム構成＞
図１は、各実施形態に係るシステム構成の一例を示す図である。図１に示す例では、サーバ１０と、各生体情報測定器２０Ａ、２０Ｂ、２０Ｃ、２０Ｄとが、ネットワークを介してデータ送受信可能なように接続される。各生体情報測定器を個別に区別しない場合は生体情報測定器２０とも表記する。
図１は、各実施形態に係るシステム構成の一例を示す図である。図１に示す例では、サーバ１０と、各生体情報測定器２０Ａ、２０Ｂ、２０Ｃ、２０Ｄとが、ネットワークを介してデータ送受信可能なように接続される。各生体情報測定器を個別に区別しない場合は生体情報測定器２０とも表記する。
【0012】
サーバ１０は、データを収集、分析可能な情報処理装置であり、１つ又は複数の情報処理装置から構成されてもよい。生体情報測定器２０は、脳活動、心拍、脈拍、血流などの生体情報を測定する測定器である。例えば、生体情報測定器２０として脳波計が用いられる場合、脳波計は、脳活動をセンシングする侵襲型又は非侵襲型の電極を有する測定器である。脳波計は、ヘッドマウント型やイヤホン型など電極を有するものであれば、いずれのデバイスでもよい。生体情報測定器２０は、この脳波計を含み、脳情報を解析、送受信可能な装置でもよい。また、生体情報測定器２０は、以下に説明する単分子計測可能な脳情報測定器でもよい。
【0013】
ここで、生体情報の一例として脳活動のデータを用いる場合、単分子計測で得られた電波波形を機械学習して、神経伝達物質であるドーパミン、ノルアドレナリン、セロトニンの単分子波形を検出する研究がなされている。例えば、"Time-resolved neurotransmitter detection in mouse brain tissue using an artificial intelligence-nanogap"（ Yuki Komoto,Takahito Ohshiro, Takeshi Yoshida, Etsuko Tarusawa, Takeshi Yagi, Takashi Washio, & Masateru Taniguchi, "Time-resolved neurotransmitter detection in mouse brain tissue using an artificial intelligence-nanogap", [online], July 9, 2020, <https://www.nature.com/articles/s41598-020-68236-3>）という論文によれば、単分子計測で得られた電波波形を機械学習し、ドーパミン、ノルアドレナリン、セロトニンの単分子波形を学習した分類器により未知試料のシグナルを識別する識別手法により、３種の神経伝達物質を識別する。
【0014】
上記の単分子計測可能な脳情報測定器によれば、一般的に平常心やリラックスの度合いを示すセロトニンと、脳の覚醒度合いを示し、集中力や判断力を高める際の興奮作用を示すノルアドレナリンとを分けて測定することが可能である。また、上記の単分子計測可能な脳情報測定器以外にも、ユーザの血液等からセロトニンやノルアドレナリンを測定してもよい。
【0015】
＜ハードウェア構成＞
図２は、各実施形態に係るサーバの情報処理装置１０の物理的構成の一例を示す図である。サーバ１０は、演算部に相当する１又は複数のＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。
図２は、各実施形態に係るサーバの情報処理装置１０の物理的構成の一例を示す図である。サーバ１０は、演算部に相当する１又は複数のＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。
【0016】
各実施形態では、情報処理装置１０が一台の情報処理装置で構成される場合について説明するが、情報処理装置１０は、複数のコンピュータ又は複数の演算部が組み合わされて実現されてもよい。また、図２で示す構成は一例であり、情報処理装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【0017】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、生体情報からユーザの感情又は状態（例えば快適度（又は不快度））を推定する学習モデルを用いて学習を行うプログラム（学習プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
【0018】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、脳活動に関するデータ、コンテンツと脳情報に基づくユーザの不快度に関する指標との対応関係を示す関連データなどのデータを記憶してもよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【0019】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば学習プログラムや、書き換えが行われないデータを記憶してよい。
【0020】
通信部１０ｄは、情報処理装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。
【0021】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【0022】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆが演算結果を表示することは、ＸＡＩ（eXplainable AI：説明可能なＡＩ）に貢献し得る。表示部１０ｆは、例えば、学習結果などを表示してもよい。
【0023】
学習プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な非一時的な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。情報処理装置１０では、ＣＰＵ１０ａが学習プログラムを実行することにより、後述する図３や図７を用いて説明する様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、情報処理装置１０は、ＧＰＵ（Graphical Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。
【0024】
［第１実施形態］
以下、上述したシステム１を利用する第１実施形態について説明する。第１実施形態では、生体情報測定器２０として脳情報測定器が用いられ、測定されるデータは、セロトニンに関する第１データと、ノルアドレナリンに関する第２データとを含む。また、セロトニン及びノルアドレナリンは、脳内の神経伝達物物質であり、脳内の活動をより適切に表すことが可能である。
以下、上述したシステム１を利用する第１実施形態について説明する。第１実施形態では、生体情報測定器２０として脳情報測定器が用いられ、測定されるデータは、セロトニンに関する第１データと、ノルアドレナリンに関する第２データとを含む。また、セロトニン及びノルアドレナリンは、脳内の神経伝達物物質であり、脳内の活動をより適切に表すことが可能である。
【0025】
第１実施形態では、セロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得して、第１データと第２データとを含む学習データを用いて、ユーザの感情又は状態を推定する。ユーザの感情又は状態は、例えば、ユーザが快適さ又は心地よさを感じているか否かを含む。例えば、第１データにより、リラックスしているか又は平常心を保てているかを分析可能であり、第２データにより、脳が覚醒状態になるかを分析可能である。第１実施形態においては、平常かつ覚醒状態を、ユーザは快適又は心地よいと定義する。
【0026】
また、第１実施形態において、ユーザに対してコンテンツが出力されることにより、ユーザの脳が刺激される。コンテンツは、例えば、音楽などの音、動画像や静止画像を含む画像、におい、触感などを含む。コンテンツによるユーザの脳を刺激中に、生体情報測定器２０により第１データと第２データとを測定する。測定された第１データと第２データとを学習済みの学習モデルに入力することで、ユーザの感情又は状態を推定することが可能になる。学習済みの学習モデルは、第１データと第２データとを訓練データとし、ユーザの感情又は状態を推定する学習モデルを機械学習した結果の学習モデルを含む。
【0027】
これにより、第１実施形態によれば、脳神経物質を用いて脳活動を推定するため、より適切にユーザの脳状態、すなわちユーザの感情又は状態を推定することができる。また、第１実施形態では、推定されたユーザの感情又は状態に基づいて、ユーザにコンテンツを提供することなども可能である。
【0028】
＜処理構成例＞
図３は、第１実施形態に係る情報処理装置１０の処理ブロックの一例を示す図である。情報処理装置１０は、取得部１１、学習部１２、出力部１３、関連付け部１４、選択部１５、及び記憶部１６を備える。例えば、図３に示す学習部１２、関連付け部１４、選択部１５は、例えばＣＰＵ１０ａなどにより実行されて実現され、取得部１１及び出力部１３は、例えば通信部１０ｄなどにより実現され、記憶部１６は、ＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃなどにより実現され得る。情報処理装置１０は、量子コンピュータなどで構成されてもよい。
図３は、第１実施形態に係る情報処理装置１０の処理ブロックの一例を示す図である。情報処理装置１０は、取得部１１、学習部１２、出力部１３、関連付け部１４、選択部１５、及び記憶部１６を備える。例えば、図３に示す学習部１２、関連付け部１４、選択部１５は、例えばＣＰＵ１０ａなどにより実行されて実現され、取得部１１及び出力部１３は、例えば通信部１０ｄなどにより実現され、記憶部１６は、ＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃなどにより実現され得る。情報処理装置１０は、量子コンピュータなどで構成されてもよい。
【0029】
取得部１１は、ユーザに対してコンテンツが出力されている際に、ユーザに装着された生体情報測定器２０により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得する。例えば、生体情報測定器２０は、単分子計測で得られた電波波形を用いて学習済みの分類器（学習モデル）により分類されたセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得する。
【0030】
学習部１２は、第１データと第２データとを含む学習データを、ニューラルネットワークを用いる学習モデル１２ａに入力し、ユーザの感情又は状態を学習する。例えば、学習部１２は、第１データと第２データとを用いて平常かつ覚醒状態を表す指標値を出力するよう学習する。学習部１２において行われる学習は、第１データと第２データとを測定中にユーザにより快適さや心地よさ、不快などを示す感情のアノテーションをしてもらい、ユーザの感情がラベル付けされた訓練データを用いる教師あり学習を含んでもよい。
【0031】
図４は、第１実施形態に係るユーザの状態を示す図である。図４に示す例では、第１データが大きい場合、リラックス度が高く、第２データが大きい場合、覚醒度が高いため、図４に示す第１象限をユーザが快適であると定義する。
【0032】
他方、図４に示す例では、第１データが小さい場合、リラックス度が低く、第２データが小さい場合、覚醒度が低いため、図４に示す第３象限をユーザが不快であると定義する。第１データ及び第２データの大きさについては、それぞれに設定される閾値を用いて閾値以上であれば大きい、閾値未満であれば小さいと判定されてもよい。それぞれの閾値は、感情のラベル付きの訓練データを用いて学習されることにより設定されてもよい。なお、第１象限以外をユーザが不快と感じていると定義してもよい。
【0033】
図３に戻り、学習モデル１２ａは、ニューラルネットワークを含む学習モデルであり、例えば、系列データ解析モデルであり、具体例としては、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＤＮＮ（Deep Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、双方向ＬＳＴＭ、ＤＱＮ（Deep Q-Network）等のいずれかでもよい。
【0034】
また、学習モデル１２ａは、学習済みモデルを枝刈り（Pruning）、量子化（Quantization）、蒸留（Distillation）又は転移（Transfer）して得られるモデルを含む。なお、これらは一例に過ぎず、学習部１２は、他の学習モデルを用いて機械学習を行ってもよい。
【0035】
学習部１２において用いられる損失関数は、第１データ及び第２データに基づくユーザの不快度が小さくなるように定義する関数を含む。例えば、損失関数は、第１データ及び第２データにより求められるユーザの快適さを示す指標値と、第１象限に該当する理想の指標値又はアノテーションの結果との誤差が小さくなるような関数が定義される。
【0036】
ここで、ユーザの快適さは、第１データと第２データとを用いて定義可能である。第１データでは、セロトニンに関するデータであるため、ユーザのリラックス度（平常さ）が計測可能であり、第２データは、ノルアドレナリンに関するデータであるため、ユーザの覚醒度が計測可能である。例えば、損失関数は、第１データと第２データに基づく平常かつ覚醒状態を示す指標値が大きくなるように（理想の指標値との差分が小さくなるように）設定される。
【0037】
また、学習部１２は、任意のコンテンツ出力時のユーザの感情又は状態を学習してもよい。例えば、学習部１２は、様々な音楽を聴いているユーザの第１データ及び第２データを学習し、そのユーザはどんな音楽に快適さを感じるかを学習する。具体的には、学習部１２は、どの音楽を聴いているときに、ユーザの第１データ及び第２データが、図４に示す第１象限に含まれるのかを学習する。上述したとおり、第１データ及び第２データが第１象限に分類されれば、ユーザはその音楽に対して快適さを感じていると推定される。他方、第１データ及び第２データが第３象限（又は第２、第４象限）に分類されれば、ユーザはその音楽に対して不快さを感じていると推定される。学習部１２は、損失関数の出力値を最小化できるように誤差逆伝搬法を用いて学習モデル１２ａのバイアスと重みとを調整する。
【0038】
また、学習部１２は、ユーザごとに学習モデル１２ａを使い分けてもよい。例えば、学習部１２は、システム１にログインした際のユーザ情報によりユーザを特定し、このユーザに対応する学習モデル１２ａを用いて学習を行う。これにより、ユーザ個人の学習モデル１２ａを利用することで、ユーザの好みに合わせて学習を行うことが可能になる。
【0039】
出力部１３は、学習部１２により学習の結果を出力する。例えば、出力部１３は、学習済みの学習モデル１２ａを出力してもよいし、学習モデル１２ａにより推定された快適さの指標値、又は学習により分類された感情又は状態を示す情報を出力してもよい。
【0040】
以上の処理により、脳に関するデータを用いて、ユーザの好みに応じたコンテンツをより適切に選択又は生成可能にする仕組みを提供することができる。例えば、脳に関するデータを用いて、ユーザの好みに応じたコンテンツをより適切に選択又は生成可能にする学習モデルを生成することができる。具体的には、セロトニンとノルアドレナリンとに関するデータを用いて学習された学習モデルを使用するため、より適切にユーザの感情又は状態を推定することが可能になる。したがって、この学習モデルを用いることにより、ユーザの状態に、より適切に応じたコンテンツの提供が可能になる。
【0041】
関連付け部１４は、学習部１２の学習により予測されたユーザの快適さ（又は不快度）を示す指標値と、その時にユーザに出力されていたコンテンツとを関連付ける。例えば、関連付け部１４は、学習の結果の予測値に含まれる快適さを示す指標値が所定値よりも大きい、すなわち、ユーザが快適さを感じている場合、コンテンツを特定するための情報と、指標値とを関連付ける。これにより、ユーザの脳活動の情報により快適を示した指標値と、コンテンツとを関連付けることで、例えば、快適さを示す指標値順にコンテンツリストを作成したりすることができる。
【0042】
図５は、第１実施形態に係る関連データの一例を示す図である。図５に示す例では、関連データは、コンテンツ識別情報（例えばデータＡなど）と、指標値（例えばＳ１など）とを関連付けたデータである。図５に示す関連データは一例であって、ユーザが快適を感じたコンテンツと、その時の指標値とが関連付けられていればよい。
【0043】
また、関連付け部１４は、ユーザが快適を感じるコンテンツのデータセットが記憶部１６に記憶されている場合、このコンテンツをデータセットに含めるようにしてもよい。これにより、ユーザの脳活動の情報により快適を示すコンテンツを集めたデータセットを生成することが可能になる。
【0044】
図３に戻り、選択部１５は、学習部１２の学習結果に含まれるユーザの快適さを示す指標値又は分類結果に基づいて、複数のコンテンツの中から少なくとも１つのコンテンツを選択してもよい。例えば、選択部１５は、指標値又は分類結果が不快を示す場合、関連付け部１４により関連付けられた、ユーザが快適さを感じるコンテンツリストの中から、１つのコンテンツを選択する。具体的には、選択部１５は、指標値が大きい順（快適さの順）コンテンツを選択したり、ランダムに選択したりしてもよい。
【0045】
この場合、出力部１３は、選択部１５により選択された少なくとも１つのコンテンツを出力してもよい。出力部１３は、コンテンツの内容に応じて出力デバイスを選択し、選択された出力デバイスにコンテンツを出力する。例えば、出力部１３は、コンテンツが音楽である場合、出力デバイスとしてスピーカを選択し、音楽をスピーカから出力させるようにする。また、出力部１３は、コンテンツが静止画像である場合、出力デバイスとして表示部１０ｆを選択し、静止画像を表示部１０ｆから出力させるようにする。
【0046】
これにより、ユーザが現在感じている状態をセロトニン及びノルアドレナリンから推定し、ユーザの感情又は状態をより良い方にコントロールすることが可能になる。
【0047】
記憶部１６は、上述した学習に関するデータを記憶する。例えば、記憶部１６は、学習モデルに用いられるニューラルネットワークの情報、ハイパーパラメータなどを記憶する。また、記憶部１６は、取得された第１データや第２データを含む生体情報１６ａや、学習済みの学習モデルや、図５に示す関連データ１６ｂや、ユーザが快適さを感じるコンテンツリストなどを記憶してもよい。
【0048】
【0049】
ステップＳ１０２において、取得部１１は、ユーザに装着された脳情報測定器により取得される信号に基づくセロトニンに関する第１データと、ノルアドレナリンに関する第２データとを取得する。例えば、第１データは、セロトニンの分泌量を示し、第２データは、ノルアドレナリンの分泌量を示す。
【0050】
ステップＳ１０４において、学習部１２は、ユーザに対するコンテンツの出力時に取得された第１データと第２データとを含む学習データを、ニューラルネットワークを用いる学習モデル１２ａに入力して学習を行う。ここで、学習モデル１２ａは、第１データ及び第２データに基づくユーザの感情又は状態を学習する学習モデルである。
【0051】
ステップＳ１０６において、出力部１３は、学習部１２による学習結果を出力する。学習結果には、ユーザの感情又は状態を示す指標値を含んでもよい。また、出力部１３は、学習済みのモデルを出力してもよい。
【0052】
第１実施形態によれば、神経伝達物質を利用することで、脳内活動をより適切に推定することが可能になり、脳内活動をより適切に推定する学習モデルを生成することが可能になる。
【0053】
また、第１実施形態において、上述した"Time-resolved neurotransmitter detection in mouse brain tissue using an artificial intelligence-nanogap"の技術によれば、神経伝達物質としてドーパミンを検出することも可能であるため、取得部１１は、ドーパミンを第３データとして取得するようにしてもよい。この場合、第１データ～第３データの３次元空間において、快適さ又は心地よさを感じる領域を特定し、学習部１２は、第１データ～第３データを用いて、ユーザの感情又は状態を学習するようにしてもよい。
【0054】
なお、取得部１１は、単分子計測で得られた電波波形を取得し、学習部１２において、"Time-resolved neurotransmitter detection in mouse brain tissue using an artificial intelligence-nanogap"に記載されているＰＵＣ（Positive and Unlabeled Classification）の機械学習を用いてドーパミン、ノルアドレナリン、セロトニンを検出してもよい。学習部１２は、さらに、検出された少なくともセロトニンとノルアドレナリンとを用いて、上述したユーザの感情又は状態を学習してもよい。
【0055】
［第２実施形態］
次に、上記システム１を利用する第２実施形態について説明する。第２実施形態では、生体情報測定器２０により測定される生体情報を用いて、現在ユーザに出力されているデジタルデータを、ユーザがより快適に感じるように生成し直す。第２実施形態で用いられる生体情報は、第１実施形態で用いられたセロトニンに関する第１データ及びノルアドレナリンに関する第２データや、脳波、血流、脈拍、心拍、体温などのデータのうち、少なくとも１つを含む。
次に、上記システム１を利用する第２実施形態について説明する。第２実施形態では、生体情報測定器２０により測定される生体情報を用いて、現在ユーザに出力されているデジタルデータを、ユーザがより快適に感じるように生成し直す。第２実施形態で用いられる生体情報は、第１実施形態で用いられたセロトニンに関する第１データ及びノルアドレナリンに関する第２データや、脳波、血流、脈拍、心拍、体温などのデータのうち、少なくとも１つを含む。
【0056】
第２実施形態では、ＧＡＮｓ（Generative adversarial networks）と呼ばれる敵対的生成ネットワークの仕組みを用いる。ＧＡＮｓの生成器（generator）として、デジタルデータを生成する生成モデルが用いられ、識別器（discriminator）として、第１実施形態で説明したユーザの感情又は状態を推定する学習モデルが用いられる。
【0057】
例えば、第２実施形態では、識別器として、ユーザの感情又は状態が快適さを示していれば「真」と判定し、ユーザが不快さを示していれば「偽」と判定する。これにより、第２実施形態によれば、ユーザが快適さを感じるようになるまで、デジタルデータを生成し直すことが可能になる。
【0058】
＜処理構成＞
図７は、第２実施形態に係る情報処理装置３０の処理ブロックの一例を示す図である。情報処理装置３０は、取得部３０２、生成部３０４、判定部３１０、出力部３１２、及びデータベース（ＤＢ）３１４を備える。情報処理装置３０は、量子コンピュータなどで構成されてもよい。
図７は、第２実施形態に係る情報処理装置３０の処理ブロックの一例を示す図である。情報処理装置３０は、取得部３０２、生成部３０４、判定部３１０、出力部３１２、及びデータベース（ＤＢ）３１４を備える。情報処理装置３０は、量子コンピュータなどで構成されてもよい。
【0059】
取得部３０２及び出力部３１２は、例えば図２に示す通信部１０ｄにより実現されうる。生成部３０４及び判定部３１０は、例えば図２に示すＣＰＵ１０ａにより実現されうる。ＤＢ３１４は、例えば図２に示すＲＯＭ１０ｃ及び／又はＲＡＭ１０ｂにより実現されうる。
【0060】
取得部３０２は、生体情報測定器２０により測定された生体情報を取得する。生体情報は、例えば、ドーパミン、セロトニン、ノルアドレナリンの神経伝達物質や、脳波、脈拍、心拍、体温、血流などの情報のうち、少なくとも１つを含む。また、取得部３０２は、所定のデジタルデータを用いて刺激されたユーザの生体情報を取得する。取得部３０２は、取得した生体情報を識別器３０８に出力する。
【0061】
生成部３０４は、例えば、敵対的生成ネットワーク（ＧＡＮｓ）を実行することにより所定のデジタルデータを生成する。具体例として、生成部３０４は、生成器３０６と識別器３０８とを含む敵対的生成ネットワーク（ＧＡＮｓ）を用いて、デジタル空間や画像、音楽、ロボットや家電デバイスなどの制御信号などを生成する。
【0062】
生成器３０６は、入力されたノイズ等を用いてデジタルデータを生成する。ノイズは乱数でもよい。例えば、生成器３０６は、ＧＡＮｓのいずれかの所定の構造を有するニューラルネットワークが用いられてもよい。生成器３０６は、生成したデジタルデータを識別器３０８に出力する。
【0063】
識別器３０８は、取得部３０２から、デジタルデータが出力又は提供されているユーザの生体情報を取得する。識別器３０８は、生成器３０６により生成されたデジタルデータに対し、取得した生体情報を用いてユーザの感情又は状態を推定する。識別器３０８は、学習し、推定されたユーザの感情又は状態が快適さを示す場合、デジタルデータに対して「真」と識別する。他方、識別器３０８は、学習し、推定されたユーザの感情又は状態が不快を示す場合、デジタルデータに対して「偽」と識別する。感情又は状態が快適さ又は不快を示す判定は、学習の結果が感情の分類結果を示す場合は分類結果に基づいて判定し、学習の結果が感情又は状態の指標値を示す場合は閾値と指標値との比較に基づいて判定する。
【0064】
判定部３１０は、識別器３０８の識別結果が「偽」（不快）を示す場合、生成器３０６にデジタルデータを生成し直すように指示を行い、識別器３０８の識別結果が「真」（快適）を示す場合、その旨を出力部３１２に出力する。判定部３１０は、識別結果の内容にかかわらず、識別結果を出力部３１２に出力してもよい。
【0065】
生成部３０４は、識別器３０８による真贋の判別結果により、生成器３０６と識別器３０８とのパラメータを更新してもよい。例えば、生成部３０４は、識別器３０８が、ユーザの感情又は状態をより適切に推定できるように、誤差逆伝搬法（バックプロパゲーション）を用いて識別器３０８のパラメータを更新してもよい。また、生成部３０４は、識別器３０８が、生成器３０６によって生成されたデジタルデータを真であると識別するように、誤差逆伝搬法を用いて生成器３０６のパラメータを更新してもよい。生成部３０４は、最終的に生成されたデジタルデータを出力部３１２に出力する。
【0066】
出力部３１２は、識別結果が「真」（快適）を示す場合、デジタルデータがユーザにとって快適であることを示す情報を出力する。例えば、出力部３１２は、快適さを示す音声や画像やマークなどのいずれか１つをユーザに対して出力し、ユーザが自身の状態を把握できるようにする。
【0067】
また、出力部３１２は、最終的にユーザが快適さを感じたデジタルデータを、ユーザに対して出力してもよい。以上の処理により、ユーザが快適さを感じるようになるまで、デジタルデータを生成し直すことが可能になる。
【0068】
また、判定部３１０は、識別結果の判定、又は生成器３０６にデジタルデータの生成指示を行うことは、判定タイミングに関する所定条件を満たす場合に行われることを含んでもよい。例えば、生成器３０６により新たに生成されたデジタルデータをユーザに出力してから直ぐに新たなデジタルデータを生成すると、ユーザは、１つのデジタルデータに対して感情を感じる時間的余裕がない。よって、判定部３１０は、識別結果が「真」又は「偽」のどちらかを判定してから所定時間経過後に、識別器３０８から取得した識別結果を判定してもよい。
【0069】
また、判定部３１０は、所定時間に取得した複数の識別結果を用いて、デジタルデータが「真」か「偽」を判定してもよい。例えば、判定部３１０は、所定時間の間に取得した識別結果のうち、数が多い方や、「真」を示す指標値の最大絶対値、「偽」を示す指標値の最大絶対値のうちの大きい方を採用してもよい。
【0070】
以上の処理により、１つのデジタルデータに対してユーザが感じる時間を与えることができる。また、デジタルデータが不必要に切り替わることでユーザにあせりや不安感や疑念を与えずにすむ。また、情報処理装置３０の処理負荷を軽減させることも可能である。
【0071】
また、生成されるデジタルデータは、仮想空間に関するデータ、ロボット制御に関するデータ、自動運転に関するデータ、及び家電デバイスに関するデータのうちの少なくとも１つを含んでもよい。
【0072】
仮想空間に関するデータは、例えばメタバース空間や、メタバース空間に使用されるデータを含む。例えば、生成器３０６がメタバース空間を生成する場合、ユーザがメタバース空間から刺激を受け、識別器３０８によりユーザの感情又は状態を推定し、ユーザが快適さを感じるまで、生成器３０６はメタバース空間を生成することができるようになる。
【0073】
ロボット制御に関するデータは、例えば人の動きをアシストするロボットや、介護ロボットなどを含む。ロボットの動きによるサービス提供を受けるユーザは、ロボットの動きに対して快適か不快かの感情を抱く。ユーザが不快と感じたロボットの動きは、生成器３０６によりユーザが快適と感じるような制御データが生成し直される。これにより、ユーザが快適さを感じるまで、生成器３０６はロボットへの制御データを生成することができるようになる。
【0074】
自動運転に関するデータは、例えば自動運転車の速度データや自動運転中に車内で出力するコンテンツを含む。例えば、生成器３０６が自動運転中に車内に表示する動画像を生成する場合、自動運転車に乗車するユーザがその動画像に快適さを感じるかを識別器３０８により推定する。これにより、ユーザが快適さを感じるまで、生成器３０６は自動運転車の車内に表示する動画像を生成することができる。
【0075】
家電デバイスに関するデータは、例えばエアコンの温度制御データを含む。例えば、生成器３０６がエアコンの温度制御データを生成する場合、エアコンがある室内にいるユーザがその室温に快適さを感じるかを識別器３０８により推定する。これにより、ユーザが快適さを感じるまで、生成器３０６はエアコンの温度を自動調整することができる。
【0076】
ＤＢ３１４は、生成器３０６や識別器３０８で処理されるデータを記憶する。例えば、ＤＢ３１４は、ユーザごとに生成されるデジタルコンテンツを記憶してもよい。
【0077】
【0078】
ステップＳ２０２において、情報処理装置３０の生成器３０６は、所定のデジタルデータを生成する。
【0079】
ステップＳ２０４において、情報処理装置３０の識別器３０８は、所定のデジタルデータを用いて刺激されたユーザの生体情報を、ユーザの感情又は状態を学習する学習モデルを用いる識別器に入力し、所定のデジタルデータに対するユーザの感情又は状態を含む識別結果を取得する。
【0080】
ステップＳ２０６において、情報処理装置３０の判定部３１０は、識別結果が快適さを示すか否かを判定する。例えば識別結果が快適さ（「真」）を示せば（ステップＳ２０６－ＹＥＳ）、処理はステップＳ２１０に進み、識別結果が不快（「偽」）を示せば（ステップＳ２０６－ＮＯ）、処理はステップＳ２０８に進む。
【0081】
ステップＳ２０８において、情報処理装置３０の判定部３１０は、生成器３０６にデジタルデータを生成する指示を行う。その後、処理はステップＳ２０２に戻る。
【0082】
ステップＳ２１０で、情報処理装置３０の出力部３１２は、デジタルデータがユーザにとって快適であることを示す情報を出力する。
【0083】
以上の処理により、第２実施形態によれば、脳に関するデータを含む生体情報を用いて、ユーザの好みに応じたコンテンツをより適切に生成可能にする仕組みを提供することができる。また、第２実施形態によれば、ユーザが快適さを感じるようになるまで、デジタルデータを生成し直すことが可能になる。
【0084】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0085】
１０…情報処理装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…学習部、１２ａ…学習モデル、１３…出力部、１４…関連付け部、１５…選択部、１６…記憶部、１６ａ…生体情報、１６ｂ…関連データ、３０２…取得部、３０４…生成部、３０６…生成器、３０８…識別器、３１０…判定部、３１２…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】