ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022153233
(43)【公開日】2022-10-12
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221004BHJP
A61B 5/16 20060101ALI20221004BHJP
G06N 20/00 20190101ALI20221004BHJP
【ＦＩ】
G06Q50/10
A61B5/16 120
G06N20/00
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021132938
(22)【出願日】2021-08-17
(31)【優先権主張番号】P 2021056032
(32)【優先日】2021-03-29
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】佐塚 直也
(72)【発明者】
【氏名】勝又 航生
【テーマコード（参考）】
4C038
5L049
【Ｆターム（参考）】
4C038PP03
5L049CC11
5L049DD01
(57)【要約】
【課題】お互いの相性をより正確に判断することを可能にする情報処理システムを提供する。
【解決手段】本開示の一側面に係る情報処理システムは、推定部と、表示部とを備えている。推定部は、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定する。表示部は、情動情報を表示面に表示する。
【選択図】図２
【解決手段】本開示の一側面に係る情報処理システムは、推定部と、表示部とを備えている。推定部は、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定する。表示部は、情動情報を表示面に表示する。
【選択図】図２
【特許請求の範囲】
【請求項1】
センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて前記対象生体の情動情報を推定する推定部と、
前記情動情報を表示面に表示する表示部と
を備えた
情報処理システム。
前記情動情報を表示面に表示する表示部と
を備えた
情報処理システム。
【請求項2】
前記センサによるセンシング期間における非音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報および前記コンテキストを表示する
請求項１に記載の情報処理システム。
前記表示部は、前記情動情報および前記コンテキストを表示する
請求項１に記載の情報処理システム。
【請求項3】
前記表示部の表示を視認するユーザの顔の動画を、前記表示面に隣接して設けられたレンズを介して取得する撮像部を更に備え、
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
請求項２に記載の情報処理システム。
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
請求項２に記載の情報処理システム。
【請求項4】
前記センサによるセンシング期間における音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報および前記コンテキストを表示する
請求項１に記載の情報処理システム。
前記表示部は、前記情動情報および前記コンテキストを表示する
請求項１に記載の情報処理システム。
【請求項5】
前記情動情報は、前記対象生体の覚醒度および快不快の少なくとも一方である
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項6】
前記コンテキストは、前記対象生体の動作および会話の少なくとも一方についての情報である
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項7】
前記情動情報に基づいて振動する振動部を更に備えた
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項8】
第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて前記第１対象生体の情動情報を推定する第１推定部と、
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報とを表示面に一緒に表示する表示部と
を備えた
情報処理システム。
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報とを表示面に一緒に表示する表示部と
を備えた
情報処理システム。
【請求項9】
前記第１センサおよび前記第２センサによるセンシング期間における非音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られたコンテキストとを前記表示面に一緒に表示する
請求項８に記載の情報処理システム。
前記表示部は、前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られたコンテキストとを前記表示面に一緒に表示する
請求項８に記載の情報処理システム。
【請求項10】
前記第１対象生体は、前記表示部の表示を視認するユーザであり、
前記第２対象生体は、コミュニケーション相手である
請求項８に記載の情報処理システム。
前記第２対象生体は、コミュニケーション相手である
請求項８に記載の情報処理システム。
【請求項11】
前記ユーザの顔の動画を、前記表示面に隣接して設けられたレンズを介して取得する撮像部を更に備え、
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
請求項１０に記載の情報処理システム。
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
請求項１０に記載の情報処理システム。
【請求項12】
前記第１センサおよび前記第２センサによるセンシング期間における音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報を表示するとともに、前記音声のコンテキストをグラフィカルに表示する
請求項８に記載の情報処理システム。
前記表示部は、前記情動情報を表示するとともに、前記音声のコンテキストをグラフィカルに表示する
請求項８に記載の情報処理システム。
【請求項13】
前記第１推定部で得られた情動情報は、前記第１対象生体の覚醒度および快不快のいずれか１つであり、
前記第２推定部で得られた情動情報は、前記第２対象生体の覚醒度および快不快のいずれか１つである
請求項８に記載の情報処理システム。
前記第２推定部で得られた情動情報は、前記第２対象生体の覚醒度および快不快のいずれか１つである
請求項８に記載の情報処理システム。
【請求項14】
前記コンテキストは、前記第１対象生体の動作および会話の少なくとも一方、ならびに前記第２対象生体の動作および会話の少なくとも一方の中で、少なくとも１つについての情報である
請求項８に記載の情報処理システム。
請求項８に記載の情報処理システム。
【請求項15】
センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて前記対象生体の情動情報を推定する推定部と、
前記センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記推定部で得られた前記情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
前記センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記推定部で得られた前記情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
【請求項16】
前記コンテキストは、非音声の情報であり、
当該情報処理システムは、前記情動情報および前記コンテキストを表示面に一緒に表示する表示部を更に備えた
請求項１５に記載の情報処理システム。
当該情報処理システムは、前記情動情報および前記コンテキストを表示面に一緒に表示する表示部を更に備えた
請求項１５に記載の情報処理システム。
【請求項17】
前記コンテキストは、音声の情報であり、
当該情報処理システムは、
当該情報処理システムは、前記情動情報を表示するとともに、前記コンテキストをグラフィカルに表示する表示部を更に備えた
を更に備えた
請求項１５に記載の情報処理システム。
当該情報処理システムは、
当該情報処理システムは、前記情動情報を表示するとともに、前記コンテキストをグラフィカルに表示する表示部を更に備えた
を更に備えた
請求項１５に記載の情報処理システム。
【請求項18】
第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて前記第１対象生体の情動情報を推定する第１推定部と、
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１センサおよび前記第２センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１センサおよび前記第２センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
【請求項19】
当該情報処理システムは、前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記コンテキストとを表示面に一緒に表示する表示部を更に備えた
請求項１８に記載の情報処理システム。
請求項１８に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システムに関する。
【背景技術】
【0002】
複数人が人間関係を構築する際には、お互いが観測可能な情報から相手の人柄や相手との関係構築に必要な要素を類推する。しかし、その類推が不確実であるため、自分に合った人との人間関係の構築は一般に難しい。また、その類推の不確実性により、人間関係構築の機会損失が起こっている。
【0003】
人の行動履歴、趣向情報および属性情報に基づいて、お互いの相性を判断することが、例えば、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－３５３４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、人の行動履歴、趣向情報および属性情報は、お互いの相性を正確に判断するのに適した情報とは言えない。従って、お互いの相性をより正確に判断することを可能にする情報処理システムを提供することが望ましい。
【課題を解決するための手段】
【0006】
本開示の第１の側面に係る情報処理システムは、推定部と、表示部とを備えている。推定部は、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定する。表示部は、情動情報を表示面に表示する。
【0007】
本開示の第２の側面に係る情報処理システムは、第１推定部と、第２推定部と、表示部とを備えている。第１推定部は、第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて第１対象生体の情動情報を推定する。第２推定部は、第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて第２対象生体の情動情報を推定する。表示部は、第１推定部で得られた情動情報と、第２推定部で得られた情動情報とを表示面に一緒に表示する。
【0008】
本開示の第３の側面に係る情報処理システムは、推定部と、取得部と、関連付け部とを備えている。推定部は、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定する。取得部は、センサによるセンシング期間におけるコンテキストを取得する。関連付け部は、推定部で得られた情動情報と、取得部で得られたコンテキストとを互いに関連付ける。
【0009】
本開示の第４の側面に係る情報処理システムは、第１推定部と、第２推定部と、取得部と、関連付け部とを備えている。第１推定部は、第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて第１対象生体の情動情報を推定する。第２推定部は、第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて第２対象生体の情動情報を推定する。取得部は、第１センサおよび第２センサによるセンシング期間におけるコンテキストを取得する。関連付け部は、第１推定部で得られた情動情報と、第２推定部で得られた情動情報と、取得部で得られたコンテキストとを互いに関連付ける。
【0010】
本開示の第１の側面に係る情報処理システムでは、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報が推定され、表示面に表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。
【0011】
本開示の第２の側面に係る情報処理システムでは、第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて第１対象生体の情動情報が推定される。さらに、第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて第２対象生体の情動情報が推定される。そして、第１推定部で得られた情動情報と、第２推定部で得られた情動情報とが表示面に一緒に表示される。これにより、例えば、第１対象生体がユーザ自身であり、第２対象生体がコミュニケーション相手である場合には、ユーザは、双方の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、双方の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。
【0012】
本開示の第３の側面に係る情報処理システムでは、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報が推定される。さらに、センサによるセンシング期間におけるコンテキストが取得される。そして、推定部で得られた情動情報と、取得部で得られたコンテキストとが互いに関連付けられる。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。
【0013】
本開示の第４の側面に係る情報処理システムでは、第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて第１対象生体の情動情報が推定される。さらに、第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて第２対象生体の情動情報が推定される。さらに、第１センサおよび第２センサによるセンシング期間におけるコンテキストが取得される。そして、第１推定部で得られた情動情報と、第２推定部で得られた情動情報と、取得部で得られたコンテキストとが互いに関連付けられる。これにより、例えば、第１対象生体がユーザ自身であり、第２対象生体がコミュニケーション相手である場合には、ユーザは、双方の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、双方の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。
【図面の簡単な説明】
【0014】
【図1】本開示の第１の実施の形態に係る情報処理システムの概略構成の一例を表す図である。
【図5】本開示の第２の実施の形態に係る情報処理システムの概略構成の一例を表す図である。
【図8】本開示の第３の実施の形態に係る情報処理装置の概略構成の一例を表す図である。
【図12】低難易度の問題に対する反応時間の時系列データの一例を表す図である。
【図13】高難易度の問題に対する反応時間の時系列データの一例を表す図である。
【図14】低難易度の問題を解いているときのユーザの脳波（α波）の観測データに対してＦＦＴ(Fast Fourier Transform）を行うことにより得られるパワースペクトラム密度の一例を表す図である。
【図15】高難易度の問題を解いているときのユーザの脳波（α波）の観測データに対してＦＦＴ(Fast Fourier Transform）を行うことにより得られるパワースペクトラム密度の一例を表す図である。
【図16】反応時間のばらつきの課題差と、低周波数帯の脳波のパワーのピーク値の課題差との関係の一例を表す図である。
【図17】反応時間のばらつきの課題差と、正解率の課題差との関係の一例を表す図である。
【図18】覚醒度の課題差と、低周波数帯の脳波のパワーのピーク値の課題差との関係の一例を表す図である。
【図19】覚醒度の課題差と、正解率の課題差との関係の一例を表す図である。
【図20】反応時間のばらつきと、正解率との関係の一例を表す図である。
【図21】覚醒度と、正解率との関係の一例を表す図である。
【図22】センサが搭載されたヘッドマウントディスプレイの一例を表す図である。
【図23】センサが搭載されたヘッドバンドの一例を表す図である。
【図24】センサが搭載されたヘッドフォンの一例を表す図である。
【図25】センサが搭載されたイヤフォンの一例を表す図である。
【図26】センサが搭載された時計の一例を表す図である。
【図27】センサが搭載された眼鏡の一例を表す図である。
【図28】脈波のｐｎｎ５０の課題差と、正解率との関係の一例を表す図である。
【図29】脈波のｐｎｎ５０のばらつきの課題差と、正解率との関係の一例を表す図である。
【図30】低周波数帯の脈波のｐｎｎ５０のパワーの課題差と、正解率との関係の一例を表す図である。
【図31】脈波のｒｍｓｓｄの課題差と、正解率との関係の一例を表す図である。
【図32】脈波のｒｍｓｓｄのばらつきの課題差と、正解率との関係の一例を表す図である。
【図33】低周波数帯の脈波のｒｍｓｓｄのパワーの課題差と、正解率との関係の一例を表す図である。
【図34】精神性発汗のＳＣＲの個数のばらつきの課題差と、正解率との関係の一例を表す図である。
【図35】精神性発汗のＳＣＲの個数の課題差と、正解率との関係の一例を表す図である。
【図36】反応時間の中央値の課題差と、正解率との関係の一例を表す図である。
【図37】覚醒度と、正解率との関係の一例を表す図である。
【発明を実施するための形態】
【0015】
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。
【0016】
＜１．覚醒度について＞
人の覚醒度は、人の集中力に大きく関係している。人は、集中しているとき、集中の対象に対して高い興味・関心を有している。そのため、人の覚醒度を知ることで、人の客観的な興味・関心の度合い（情動）を推定することが可能である。人の覚醒度は、コミュニケーション相手と会話をしている最中の、自身もしくはコミュニケーション相手（以下、「対象生体」と称する。）から得られた生体情報もしくは動作情報に基づいて導出することが可能である。
人の覚醒度は、人の集中力に大きく関係している。人は、集中しているとき、集中の対象に対して高い興味・関心を有している。そのため、人の覚醒度を知ることで、人の客観的な興味・関心の度合い（情動）を推定することが可能である。人の覚醒度は、コミュニケーション相手と会話をしている最中の、自身もしくはコミュニケーション相手（以下、「対象生体」と称する。）から得られた生体情報もしくは動作情報に基づいて導出することが可能である。
【0017】
対象生体の覚醒度を導出可能な生体情報としては、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位、眼電、もしくは唾液に含まれる特定成分についての情報が挙げられる。
【0018】
（脳波）
脳波に含まれるα波は安静時などのリラックスしたときに増大し、脳波に含まれるβ波は能動的な活発な思考をしているときや集中しているときに増大することが知れられている。そこで、例えば、脳波に含まれるα波の周波数帯域のパワースペクトル面積が所定の閾値ｔｈ１よりも小さく、かつ、脳波に含まれるβ波の周波数帯域のパワースペクトル面積が所定の閾値ｔｈ２よりも大きいとき、対象生体の覚醒度が高いと推定することが可能である。
脳波に含まれるα波は安静時などのリラックスしたときに増大し、脳波に含まれるβ波は能動的な活発な思考をしているときや集中しているときに増大することが知れられている。そこで、例えば、脳波に含まれるα波の周波数帯域のパワースペクトル面積が所定の閾値ｔｈ１よりも小さく、かつ、脳波に含まれるβ波の周波数帯域のパワースペクトル面積が所定の閾値ｔｈ２よりも大きいとき、対象生体の覚醒度が高いと推定することが可能である。
【0019】
また、脳波を用いて対象生体の覚醒度を推定する際に、閾値ｔｈ１，ｔｈ２の代わりに、機械学習などの推定モデルを用いることも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの脳波のパワースペクトルを教示データとして学習させたモデルである。この推定モデルは、例えば、脳波のパワースペクトルが入力されると、入力された脳波のパワースペクトルに基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0020】
また、脳波を時間軸において複数のセグメントに分割し、分割したセグメントごとにパワースペクトルを導出し、導出したパワースペクトルごとに、α波の周波数帯域のパワースペクトル面積を導出してもよい。このとき、例えば、導出したパワースペクトル面積が所定の閾値ｔｈａよりも小さいとき、対象生体の覚醒度が高いと推定することが可能である。
【0021】
また、例えば、導出したパワースペクトル面積に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときのパワースペクトル面積を教示データとして学習させたモデルである。この推定モデルは、例えば、パワースペクトル面積が入力されると、入力されたパワースペクトル面積に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0022】
（発汗）
精神性発汗は、ストレスや緊張、不安などの精神的・心理的な問題が原因で、交感神経緊張時に、エクリン腺から放出される発汗である。例えば、発汗計プローブを手掌や足底に装着し，種々の負荷刺激で誘発される手掌または足底の発汗（精神性発汗）を測定することで、交感神経性発汗反応（ＳＳｗＲ）を信号電圧として取得することができる。この信号電圧において、所定の高周波成分や所定の低周波成分の数値が所定の閾値よりも高いとき、対象生体の覚醒度が高いと推定することが可能である。
精神性発汗は、ストレスや緊張、不安などの精神的・心理的な問題が原因で、交感神経緊張時に、エクリン腺から放出される発汗である。例えば、発汗計プローブを手掌や足底に装着し，種々の負荷刺激で誘発される手掌または足底の発汗（精神性発汗）を測定することで、交感神経性発汗反応（ＳＳｗＲ）を信号電圧として取得することができる。この信号電圧において、所定の高周波成分や所定の低周波成分の数値が所定の閾値よりも高いとき、対象生体の覚醒度が高いと推定することが可能である。
【0023】
また、例えば、この信号電圧に含まれる所定の高周波成分もしくは所定の低周波成分に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの信号電圧に含まれる所定の高周波成分もしくは所定の低周波成分を教示データとして学習させたモデルである。この推定モデルは、例えば、所定の高周波成分もしくは所定の低周波成分が入力されると、入力された所定の高周波成分もしくは所定の低周波成分に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0024】
（脈波、心電図、血流）
心拍数が高いとき、一般的に、覚醒度が高いと言われている。心拍数は、脈波、心電図もしくは血流速度から導出することが可能である。そこで、例えば、脈波、心電図もしくは血流速度から心拍数を導出し、導出した心拍数が所定の閾値よりも大きいとき、対象生体の覚醒度が高いと推定することが可能である。
心拍数が高いとき、一般的に、覚醒度が高いと言われている。心拍数は、脈波、心電図もしくは血流速度から導出することが可能である。そこで、例えば、脈波、心電図もしくは血流速度から心拍数を導出し、導出した心拍数が所定の閾値よりも大きいとき、対象生体の覚醒度が高いと推定することが可能である。
【0025】
また、例えば、脈波、心電図もしくは血流速度から導出した心拍数に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの心拍数を教示データとして学習させたモデルである。この推定モデルは、例えば、脈波、心電図もしくは血流速度から導出した心拍数が入力されると、入力された心拍数に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0026】
また、心拍変動（ＨＲＶ）が小さいとき、一般的に、副交感神経が劣位となり、覚醒度が高いと言われている。そこで、例えば、脈波、心電図もしくは血流速度から心拍変動（ＨＲＶ）を導出し、導出した心拍変動（ＨＲＶ）が所定の閾値よりも小さいとき、対象生体の覚醒度が高いと推定することも可能である。
【0027】
また、例えば、脈波、心電図もしくは血流速度から導出した心拍変動（ＨＲＶ）に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの心拍変動（ＨＲＶ）を教示データとして学習させたモデルである。この推定モデルは、例えば、脈波、心電図もしくは血流速度から導出した心拍変動（ＨＲＶ）が入力されると、入力された心拍変動（ＨＲＶ）に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0028】
（皮膚温度）
皮膚温度が高いとき、一般的に、覚醒度が高いと言われている。皮膚温度は、例えば、サーモグラフィで計測することが可能である。そこで、例えば、サーモグラフィで計測した皮膚温度が所定の閾値よりも高いとき、対象生体の覚醒度が高いと推定することも可能である。
皮膚温度が高いとき、一般的に、覚醒度が高いと言われている。皮膚温度は、例えば、サーモグラフィで計測することが可能である。そこで、例えば、サーモグラフィで計測した皮膚温度が所定の閾値よりも高いとき、対象生体の覚醒度が高いと推定することも可能である。
【0029】
また、例えば、皮膚温度に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの皮膚温度を教示データとして学習させたモデルである。この推定モデルは、例えば、皮膚温度が入力されると、入力された皮膚温度に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0030】
（表情筋電位）
考え事をしている時に眉をしかめる皺眉筋が高い活動を示すことが知られている。また、幸福な想像をしている時には大頬骨筋が余り変化しないことが知られている。このように、顔の部位に応じて、情動や覚醒度を推定することが可能である。そこで、例えば、所定の部位の表情筋電位を計測し、その計測値が所定の閾値よりも高いとき、対象生体の覚醒度の高低を推定することが可能である。
考え事をしている時に眉をしかめる皺眉筋が高い活動を示すことが知られている。また、幸福な想像をしている時には大頬骨筋が余り変化しないことが知られている。このように、顔の部位に応じて、情動や覚醒度を推定することが可能である。そこで、例えば、所定の部位の表情筋電位を計測し、その計測値が所定の閾値よりも高いとき、対象生体の覚醒度の高低を推定することが可能である。
【0031】
また、例えば、表情筋電位に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの表情筋電位を教示データとして学習させたモデルである。この推定モデルは、例えば、表情筋電位が入力されると、入力された表情筋電位に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0032】
（眼電）
眼球の角膜側が正に帯電し、網膜側が負に帯電することを利用して眼球運動を測定する方法が知られている。この計測方法を用いて得られた計測値が眼電図である。例えば、取得した眼電図から眼球運動を推定し、推定した眼球運動が所定の傾向にあるとき、対象生体の覚醒度の高低を推定することが可能である。
眼球の角膜側が正に帯電し、網膜側が負に帯電することを利用して眼球運動を測定する方法が知られている。この計測方法を用いて得られた計測値が眼電図である。例えば、取得した眼電図から眼球運動を推定し、推定した眼球運動が所定の傾向にあるとき、対象生体の覚醒度の高低を推定することが可能である。
【0033】
また、例えば、眼電図に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの眼電図を教示データとして学習させたモデルである。この推定モデルは、例えば、眼電図が入力されると、入力された眼電図に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0034】
（唾液）
唾液には、ストレスホルモンの一種であるコルチゾールが含まれている。ストレスを受けると、唾液に含まれるコルチゾールの量が増加することが知られている。そこで、例えば、唾液に含まれるコルチゾールの量が所定の閾値よりも高いとき、対象生体の覚醒度が高いと推定することが可能である。
唾液には、ストレスホルモンの一種であるコルチゾールが含まれている。ストレスを受けると、唾液に含まれるコルチゾールの量が増加することが知られている。そこで、例えば、唾液に含まれるコルチゾールの量が所定の閾値よりも高いとき、対象生体の覚醒度が高いと推定することが可能である。
【0035】
また、例えば、唾液に含まれるコルチゾールの量に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの唾液に含まれるコルチゾールの量を教示データとして学習させたモデルである。この推定モデルは、例えば、唾液に含まれるコルチゾールの量が入力されると、入力されたコルチゾールの量に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0036】
一方、対象生体の覚醒度を導出可能な動作情報としては、例えば、顔の表情、音声、瞬き、呼吸、もしくは行動の反応時間についての情報が挙げられる。
【0037】
（顔の表情）
考え事をしている時に眉をしかめたり、幸福な想像をしている時に大頬骨筋が余り変化しないことが知られている。このように、顔の表情に応じて、情動や覚醒度を推定することが可能である。そこで、例えば、カメラで顔を撮影し、それにより得られた動画データに基づいて顔の表情を推定し、推定により得られた顔の表情に応じて、対象生体の覚醒度の高低を推定することが可能である。
考え事をしている時に眉をしかめたり、幸福な想像をしている時に大頬骨筋が余り変化しないことが知られている。このように、顔の表情に応じて、情動や覚醒度を推定することが可能である。そこで、例えば、カメラで顔を撮影し、それにより得られた動画データに基づいて顔の表情を推定し、推定により得られた顔の表情に応じて、対象生体の覚醒度の高低を推定することが可能である。
【0038】
また、例えば、顔の表情が撮影された動画データに基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの顔の表情が撮影された動画データを教示データとして学習させたモデルである。この推定モデルは、例えば、顔の表情が撮影された動画データが入力されると、入力された動画データに基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0039】
（音声）
音声は、顔の表情と同様に、情動や覚醒度に応じて変化することが知られている。そこで、例えば、マイクで音声データを取得し、それにより得られた音声データに基づいて、対象生体の覚醒度の高低を推定することが可能である。
音声は、顔の表情と同様に、情動や覚醒度に応じて変化することが知られている。そこで、例えば、マイクで音声データを取得し、それにより得られた音声データに基づいて、対象生体の覚醒度の高低を推定することが可能である。
【0040】
また、例えば、音声データに基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの音声データを教示データとして学習させたモデルである。この推定モデルは、例えば、音声データが入力されると、入力された音声データに基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0041】
（瞬き）
瞬きは、顔の表情と同様に、情動や覚醒度に応じて変化することが知られている。そこで、例えば、カメラで瞬きを撮影し、それにより得られた動画データに基づいて瞬きの頻度を計測し、計測により得られた瞬きの頻度に応じて、対象生体の覚醒度の高低を推定することが可能である。また、例えば、眼電図から瞬きの頻度を計測し、計測により得られた瞬きの頻度に応じて、対象生体の覚醒度の高低を推定することも可能である。
瞬きは、顔の表情と同様に、情動や覚醒度に応じて変化することが知られている。そこで、例えば、カメラで瞬きを撮影し、それにより得られた動画データに基づいて瞬きの頻度を計測し、計測により得られた瞬きの頻度に応じて、対象生体の覚醒度の高低を推定することが可能である。また、例えば、眼電図から瞬きの頻度を計測し、計測により得られた瞬きの頻度に応じて、対象生体の覚醒度の高低を推定することも可能である。
【0042】
また、例えば、瞬きが撮影された動画データ、もしくは、眼電図に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの瞬きが撮影された動画データ、もしくは、眼電図を教示データとして学習させたモデルである。この推定モデルは、例えば、瞬きが撮影された動画データ、もしくは、眼電図が入力されると、入力された動画データ、もしくは、眼電図に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0043】
（呼吸）
呼吸は、顔の表情と同様に、情動や覚醒度に応じて変化することが知られている。そこで、例えば、呼吸量もしくは呼吸速度を計測し、それにより得られた計測データに基づいて、対象生体の覚醒度の高低を推定することが可能である。
呼吸は、顔の表情と同様に、情動や覚醒度に応じて変化することが知られている。そこで、例えば、呼吸量もしくは呼吸速度を計測し、それにより得られた計測データに基づいて、対象生体の覚醒度の高低を推定することが可能である。
【0044】
また、例えば、呼吸量もしくは呼吸速度に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの呼吸量もしくは呼吸速度を教示データとして学習させたモデルである。この推定モデルは、例えば、呼吸量もしくは呼吸速度が入力されると、入力された呼吸量もしくは呼吸速度に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0045】
（行動の反応時間）
人が複数のタスクを順次処理する際の処理時間（反応時間）や、処理時間（反応時間）のばらつきは、その人の覚醒度に因ることが知られている。そこで、例えば、処理時間（反応時間）や、処理時間（反応時間）のばらつきを計測し、それにより得られた計測データに基づいて、対象生体の覚醒度の高低を推定することが可能である。
人が複数のタスクを順次処理する際の処理時間（反応時間）や、処理時間（反応時間）のばらつきは、その人の覚醒度に因ることが知られている。そこで、例えば、処理時間（反応時間）や、処理時間（反応時間）のばらつきを計測し、それにより得られた計測データに基づいて、対象生体の覚醒度の高低を推定することが可能である。
【0046】
図１２、図１３は、ユーザが多数の問題を連続して解いたときの、ユーザが回答に要した時間（反応時間）をグラフで表したものである。図１２には、難易度が相対的に低い問題を解いたときのグラフが表されており、図１３には、難易度が相対的に高い問題を解いたときのグラフが表されている。図１４は、ユーザが多数の低難易度の問題を連続して解いたときの、ユーザの脳波（α波）の観測データに対してＦＦＴ(Fast Fourier Transform）を行うことにより得られるパワースペクトラム密度である。図１５は、ユーザが多数の高難易度の問題を連続して解いたときの、ユーザの脳波（α波）の観測データに対してＦＦＴを行うことにより得られるパワースペクトラム密度である。図１４、図１５には、２０秒程度のセグメントで脳波（α波）を計測し、２００秒程度の解析窓でＦＦＴを行うことにより得られたグラフが表されている。
【0047】
図１２、図１３から、高難易度の問題を解いたときの方が、低難易度の問題を解いたときと比べて、反応時間が長くなるだけでなく、反応時間のばらつきも大きくなることがわかる。図１４、図１５から、高難易度の問題を解いたときの方が、低難易度の問題を解いたときと比べて、０．０１Ｈｚ付近の脳波（α波）のパワーが大きく、０．０２～０．０４付近の脳波（α波）のパワーが小さくなることがわかる。本明細書では、０．０１Ｈｚ付近の脳波（α波）のパワーを適宜、「遅い（低周波数帯の）脳波（α波）の揺らぎ」と称する。
【0048】
図１６は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、ユーザの反応時間のばらつき（75%percentile-25%percentile）の課題差Δｔｖ[ｓ]と、高難易度の問題を解いたときと、低難易度の問題を解いたときの、ユーザの遅い脳波（α波）のパワーのピーク値の課題差ΔＰ[（ｍＶ2/Ｈｚ）2/Ｈｚ]との関係の一例を表したものである。課題差Δｔｖ[ｓ]は、高難易度の問題を解いたときの、ユーザの反応時間のばらつきから、低難易度の問題を解いたときの、ユーザの反応時間のばらつきを減算することにより得られるベクトル量である。課題差ΔＰは、高難易度の問題を解いたときの、ユーザの遅い脳波（α波）のパワーのピーク値から、低難易度の問題を解いたときの、ユーザの遅い脳波（α波）のパワーのピーク値を減算することにより得られるベクトル量である。なお、反応時間のばらつきの種類は、75%percentile-25%percentileに限られるものではなく、例えば、標準偏差であってもよい。
【0049】
図１７は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、ユーザの反応時間のばらつき（75%percentile-25%percentile）の課題差Δｔｖ[ｓ]と、高難易度の問題を解いたときと、低難易度の問題を解いたときの、問題の正解率の課題差ΔＲ[％]との関係の一例を表したものである。課題差ΔＲは、高難易度の問題を解いたときの正解率から、低難易度の問題を解いたときの正解率を減算することにより得られるベクトル量である。なお、反応時間のばらつきの種類は、75%percentile-25%percentileに限られるものではなく、例えば、標準偏差であってもよい。
【0050】
図１６、図１７には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図１６において、回帰式は、ΔＰ＝ａ１×Δｔｖ＋ｂ１で表されており、図１７において、回帰式は、ΔＲ＝ａ２×Δｔｖ＋ｂ２で表されている。
【0051】
反応時間のばらつきの課題差Δｔｖが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、反応時間のばらつきの差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、問題を解く時間のばらつきの課題差が他のユーザと比べて小さくなる傾向があると言える。一方、反応時間のばらつきの課題差Δｔｖが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、反応時間のばらつきの差分が大きいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、問題を解く時間のばらつきの課題差が他のユーザと比べて大きくなる傾向があると言える。
【0052】
図１６から、反応時間のばらつきの課題差Δｔｖが小さいとき、遅い脳波（α波）のパワーのピーク値の課題差ΔＰが大きくなり、反応時間のばらつきの課題差Δｔｖが大きいとき、遅い脳波（α波）のパワーのピーク値の課題差ΔＰが小さくなることがわかる。このことから、難しい問題でも、簡単な問題と同じ程度の反応時間で回答できる人は、遅い脳波（α波）のパワーのピーク値の課題差ΔＰが大きくなる傾向を有することがわかる。逆に、難しい問題で反応時間のばらつきが大きくなる人は、遅い脳波（α波）のパワーのピーク値の課題差ΔＰが、問題の難易度に依らず、あまり変化しない傾向を有することがわかる。
【0053】
図１７から、反応時間のばらつきの課題差Δｔｖが大きいとき、問題の正解率の課題差ΔＲが小さくなり、反応時間のばらつきの課題差Δｔｖが小さいとき、問題の正解率の課題差ΔＲが大きくなることがわかる。このことから、難しい問題で反応時間のばらつきが大きくなる人は、正解率の課題差ΔＲが小さくなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。逆に、難しい問題でも反応時間のばらつきが小さい人は、正解率の課題差ΔＲが大きくなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。
【0054】
以上のことから、反応時間のばらつきの課題差Δｔｖが大きいときは、ユーザの認知容量（cognitive resource）が所定の基準よりも低くなっていると推察することが可能となる。また、反応時間のばらつきの課題差Δｔｖが小さいときは、ユーザの認知容量が所定の基準よりも高くなっていると推察することが可能となる。ユーザの認知容量が所定の基準よりも低くなっている場合、ユーザにとって問題の難易度が高すぎる可能性がある。一方、ユーザの認知容量が所定の基準よりも高くなっている場合、ユーザにとって問題の難易度が低すぎる可能性がある。
【0055】
図１８は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、ユーザの覚醒度の課題差Δｋ[％]と、高難易度の問題を解いたときと、低難易度の問題を解いたときの、ユーザの遅い脳波（α波）のパワーのピーク値の課題差ΔＰ[（ｍＶ2/Ｈｚ）2/Ｈｚ]との関係の一例を表したものである。図１９は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、ユーザの覚醒度の課題差Δｋ[％]と、高難易度の問題を解いたときと、低難易度の問題を解いたときの、問題の正解率の課題差ΔＲ[％]との関係の一例を表したものである。課題差Δｋ[％]は、高難易度の問題を解いたときのユーザの覚醒度から、低難易度の問題を解いたときのユーザの覚醒度を減算することにより得られるベクトル量である。覚醒度は、例えば、上述の、脳波を用いて覚醒度を推定する推定モデルを利用することにより得られる。
【0056】
図１８、図１９には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図１８において、回帰式は、ΔＰ＝ａ３×Δｋ＋ｂ３で表されており、図１９において、回帰式は、ΔＲ＝ａ４×Δｋ＋ｂ４で表されている。
【0057】
図１６～図１９から、反応時間のばらつきの課題差Δｔｖと、覚醒度の課題差Δｋとが対応関係にあることがわかる。従って、反応時間のばらつきの課題差Δｔｖを計測することにより、覚醒度の課題差Δｋを推定することが可能であることがわかる。
【0058】
図２０は、高難易度の問題を解いたときのユーザの反応時間のばらつき（75%percentile-25%percentile）ｔｖ[ｓ]と、高難易度の問題を解いたときの、問題の正解率Ｒ[％]との関係の一例を表したものである。図２０には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図２０において、回帰式は、Ｒ＝ａ５×ｔｖ＋ｂ５で表されている。
【0059】
図２１は、高難易度の問題を解いたときのユーザの覚醒度ｋ[％]と、高難易度の問題を解いたときの問題の正解率のＲ[％]との関係の一例を表したものである。図２１には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図２１において、回帰式は、Ｒ＝ａ６×ｋ＋ｂ６で表されている。
【0060】
【0061】
＜２．快・不快について＞
人の快・不快は、人の覚醒度と同様、人の集中力に大きく関係している。人は、集中しているとき、集中の対象に対して高い興味・関心を有している。そのため、人の快・不快を知ることで、人の客観的な興味・関心の度合い（情動）を推定することが可能である。人の快・不快は、コミュニケーション相手と会話をしている最中の、自身もしくはコミュニケーション相手（以下、「対象生体」と称する。）から得られた生体情報もしくは動作情報に基づいて導出することが可能である。
人の快・不快は、人の覚醒度と同様、人の集中力に大きく関係している。人は、集中しているとき、集中の対象に対して高い興味・関心を有している。そのため、人の快・不快を知ることで、人の客観的な興味・関心の度合い（情動）を推定することが可能である。人の快・不快は、コミュニケーション相手と会話をしている最中の、自身もしくはコミュニケーション相手（以下、「対象生体」と称する。）から得られた生体情報もしくは動作情報に基づいて導出することが可能である。
【0062】
対象生体の快・不快を導出可能な生体情報としては、例えば、脳波、発汗についての情報が挙げられる。また、対象生体の快・不快を導出可能な動作情報としては、例えば、顔の表情が挙げられる。
【0063】
（脳波）
脳波に含まれるα波の、前頭部の左右差から人の快・不快を推定可能であることが知られている。そこで、例えば、前頭部の左側で得られる脳波に含まれるα波（以下、「左側α波」と称する。）と、前頭部の右側で得られる脳波に含まれるα波（以下、「右側α波」と称する。）とを対比したとする。そのとき、左側α波が右側α波よりも低いとき、対象生体は快を感じており、左側α波が右側α波よりも高いとき、対象生体は不快を感じていると推定することが可能である。
脳波に含まれるα波の、前頭部の左右差から人の快・不快を推定可能であることが知られている。そこで、例えば、前頭部の左側で得られる脳波に含まれるα波（以下、「左側α波」と称する。）と、前頭部の右側で得られる脳波に含まれるα波（以下、「右側α波」と称する。）とを対比したとする。そのとき、左側α波が右側α波よりも低いとき、対象生体は快を感じており、左側α波が右側α波よりも高いとき、対象生体は不快を感じていると推定することが可能である。
【0064】
また、脳波を用いて対象生体の快・不快を推定する際に、脳波に含まれるα波の、前頭部の左右差を導出する代わりに、機械学習などの推定モデルを用いることも可能である。この推定モデルは、例えば、対象生体が明らかに快を感じているときの脳波に含まれるα波もしくはβ波を教示データとして学習させたモデルである。この推定モデルは、例えば、脳波に含まれるα波もしくはβ波が入力されると、入力されたα波もしくはβ波に基づいて対象生体の快・不快を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0065】
（発汗）
精神性発汗は、ストレスや緊張、不安などの精神的・心理的な問題が原因で、交感神経緊張時に、エクリン腺から放出される発汗である。例えば、発汗計プローブを手掌や足底に装着し，種々の負荷刺激で誘発される手掌または足底の発汗（精神性発汗）を測定することで、交感神経性発汗反応（ＳＳｗＲ）を信号電圧として取得することができる。この信号電圧において、左手から得られた所定の高周波成分や所定の低周波成分の数値が右手から得られた所定の高周波成分や所定の低周波成分の数値よりも高いとき、対象生体は快を感じていると推定することが可能である。また、上記信号電圧において、左手から得られた所定の高周波成分や所定の低周波成分の数値が右手から得られた所定の高周波成分や所定の低周波成分の数値よりも低いとき、対象生体は不快を感じていると推定することが可能である。また、この信号電圧において、左手から得られた振幅値が右手から得られた振幅値よりも高いとき、対象生体は快を感じていると推定することが可能である。また、上記信号電圧において、左手から得られた振幅値が右手から得られた振幅値よりも低いとき、対象生体は不快を感じていると推定することが可能である。
精神性発汗は、ストレスや緊張、不安などの精神的・心理的な問題が原因で、交感神経緊張時に、エクリン腺から放出される発汗である。例えば、発汗計プローブを手掌や足底に装着し，種々の負荷刺激で誘発される手掌または足底の発汗（精神性発汗）を測定することで、交感神経性発汗反応（ＳＳｗＲ）を信号電圧として取得することができる。この信号電圧において、左手から得られた所定の高周波成分や所定の低周波成分の数値が右手から得られた所定の高周波成分や所定の低周波成分の数値よりも高いとき、対象生体は快を感じていると推定することが可能である。また、上記信号電圧において、左手から得られた所定の高周波成分や所定の低周波成分の数値が右手から得られた所定の高周波成分や所定の低周波成分の数値よりも低いとき、対象生体は不快を感じていると推定することが可能である。また、この信号電圧において、左手から得られた振幅値が右手から得られた振幅値よりも高いとき、対象生体は快を感じていると推定することが可能である。また、上記信号電圧において、左手から得られた振幅値が右手から得られた振幅値よりも低いとき、対象生体は不快を感じていると推定することが可能である。
【0066】
また、例えば、この信号電圧に含まれる所定の高周波成分もしくは所定の低周波成分に基づいて対象生体の覚醒度を推定する推定モデルを用いて、対象生体の覚醒度を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの信号電圧に含まれる所定の高周波成分もしくは所定の低周波成分を教示データとして学習させたモデルである。この推定モデルは、例えば、所定の高周波成分もしくは所定の低周波成分が入力されると、入力された所定の高周波成分もしくは所定の低周波成分に基づいて対象生体の覚醒度を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0067】
（顔の表情）
不快な気持ちの時に眉をしかめたり、快の気持ちの時に大頬骨筋が余り変化しないことが知られている。このように、顔の表情に応じて、快・不快を推定することが可能である。そこで、例えば、カメラで顔を撮影し、それにより得られた動画データに基づいて顔の表情を推定し、推定により得られた顔の表情に応じて、対象生体の快・不快を推定することが可能である。
不快な気持ちの時に眉をしかめたり、快の気持ちの時に大頬骨筋が余り変化しないことが知られている。このように、顔の表情に応じて、快・不快を推定することが可能である。そこで、例えば、カメラで顔を撮影し、それにより得られた動画データに基づいて顔の表情を推定し、推定により得られた顔の表情に応じて、対象生体の快・不快を推定することが可能である。
【0068】
また、例えば、顔の表情が撮影された動画データに基づいて対象生体の快・不快を推定する推定モデルを用いて、対象生体の快・不快を推定することも可能である。この推定モデルは、例えば、明らかに覚醒度が高いときの顔の表情が撮影された動画データを教示データとして学習させたモデルである。この推定モデルは、例えば、顔の表情が撮影された動画データが入力されると、入力された動画データに基づいて対象生体の快・不快を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
【0069】
・脳波の周波数成分については、例えば、下記の文献に記載されている。
Wang, Xiao-Wei, Dan Nie, and Bao-Liang Lu. "EEG-based emotion recognition using frequency domain features and support vector machines." International conference on neural information processing. Springer, Berlin, Heidelberg, 2011.
・脳波を用いた推定モデルについては、例えば、下記の文献に記載されている。
特願2020-203058
・発汗については、例えば、下記の文献に記載されている。
Jing Zhai, A. B. Barreto, C. Chin and Chao Li, "Realization of stress detection using psychophysiological signals for improvement of human-computer interactions," Proceedings. IEEE SoutheastCon, 2005., Ft. Lauderdale, FL, USA, 2005, pp. 415-420, doi: 10.1109/SECON.2005.1423280.
Boucsein, Wolfram. Electrodermal activity. Springer Science & Business Media, 2012.
・心拍数については、例えば、下記の文献に記載されている。
Veltman, J. A., and A. W. K. Gaillard. "Physiological indices of workload in a simulated flight task." Biological psychology 42.3 (1996): 323-342.
・心拍変動間隔については、例えば、下記の文献に記載されている。
Appelhans, Bradley M., and Linda J. Luecken. "Heart rate variability as an index of regulated emotional responding." Review of general psychology 10.3 (2006): 229-240.
・唾液コルチゾール量については、例えば、下記の文献に記載されている。
Lam, Suman, et al. "Emotion regulation and cortisol reactivity to a social-evaluative speech task." Psychoneuroendocrinology 34.9 (2009): 1355-1362.
・顔の表情については、例えば、下記の文献に記載されている。
Lyons, Michael J., Julien Budynek, and Shigeru Akamatsu. "Automatic classification of single facial images." IEEE transactions on pattern analysis and machine intelligence 21.12 (1999): 1357-1362.
・表情筋については、例えば、下記の文献に記載されている。
Ekman, Paul. "Facial action coding system." (1977).
・瞬き頻度については、例えば、下記の文献に記載されている。
Chen, Siyuan, and Julien Epps. "Automatic classification of eye activity for cognitive load measurement with emotion interference." Computer methods and programs in biomedicine 110.2 (2013): 111-124.
・呼吸量/呼吸速度については、例えば、下記の文献に記載されている。
Zhang Q., Chen X., Zhan Q., Yang T., Xia S. Respiration-based emotion recognition with deep learning. Comput. Ind. 2017;92-93:84-90. doi: 10.1016/j.compind.2017.04.005.
・皮膚表面温度については、例えば、下記の文献に記載されている。
Nakanishi R., Imai-Matsumura K. Facial skin temperature decreases in infants with joyful expression. Infant Behav. Dev. 2008;31:137-144. doi: 10.1016/j.infbeh.2007.09.001.
・マルチモーダルについては、例えば、下記の文献に記載されている。
Choi J.-S., Bang J., Heo H., Park K. Evaluation of Fear Using Nonintrusive Measurement of Multimodal Sensors. Sensors. 2015;15:17507-17533. doi: 10.3390/s150717507.
Wang, Xiao-Wei, Dan Nie, and Bao-Liang Lu. "EEG-based emotion recognition using frequency domain features and support vector machines." International conference on neural information processing. Springer, Berlin, Heidelberg, 2011.
・脳波を用いた推定モデルについては、例えば、下記の文献に記載されている。
特願2020-203058
・発汗については、例えば、下記の文献に記載されている。
Jing Zhai, A. B. Barreto, C. Chin and Chao Li, "Realization of stress detection using psychophysiological signals for improvement of human-computer interactions," Proceedings. IEEE SoutheastCon, 2005., Ft. Lauderdale, FL, USA, 2005, pp. 415-420, doi: 10.1109/SECON.2005.1423280.
Boucsein, Wolfram. Electrodermal activity. Springer Science & Business Media, 2012.
・心拍数については、例えば、下記の文献に記載されている。
Veltman, J. A., and A. W. K. Gaillard. "Physiological indices of workload in a simulated flight task." Biological psychology 42.3 (1996): 323-342.
・心拍変動間隔については、例えば、下記の文献に記載されている。
Appelhans, Bradley M., and Linda J. Luecken. "Heart rate variability as an index of regulated emotional responding." Review of general psychology 10.3 (2006): 229-240.
・唾液コルチゾール量については、例えば、下記の文献に記載されている。
Lam, Suman, et al. "Emotion regulation and cortisol reactivity to a social-evaluative speech task." Psychoneuroendocrinology 34.9 (2009): 1355-1362.
・顔の表情については、例えば、下記の文献に記載されている。
Lyons, Michael J., Julien Budynek, and Shigeru Akamatsu. "Automatic classification of single facial images." IEEE transactions on pattern analysis and machine intelligence 21.12 (1999): 1357-1362.
・表情筋については、例えば、下記の文献に記載されている。
Ekman, Paul. "Facial action coding system." (1977).
・瞬き頻度については、例えば、下記の文献に記載されている。
Chen, Siyuan, and Julien Epps. "Automatic classification of eye activity for cognitive load measurement with emotion interference." Computer methods and programs in biomedicine 110.2 (2013): 111-124.
・呼吸量/呼吸速度については、例えば、下記の文献に記載されている。
Zhang Q., Chen X., Zhan Q., Yang T., Xia S. Respiration-based emotion recognition with deep learning. Comput. Ind. 2017;92-93:84-90. doi: 10.1016/j.compind.2017.04.005.
・皮膚表面温度については、例えば、下記の文献に記載されている。
Nakanishi R., Imai-Matsumura K. Facial skin temperature decreases in infants with joyful expression. Infant Behav. Dev. 2008;31:137-144. doi: 10.1016/j.infbeh.2007.09.001.
・マルチモーダルについては、例えば、下記の文献に記載されている。
Choi J.-S., Bang J., Heo H., Park K. Evaluation of Fear Using Nonintrusive Measurement of Multimodal Sensors. Sensors. 2015;15:17507-17533. doi: 10.3390/s150717507.
【0070】
以下に、上述した覚醒度や快・不快の導出アルゴリズムを利用した情報処理システムの実施形態について説明する。
【0071】
＜３．第１の実施の形態＞
[構成]
本開示の第１の実施の形態に係る情報処理システム１００について説明する。図１は、情報処理システム１００の概略構成例を表したものである。情報処理システム１００は、対象生体から得られた生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定するシステムである。本実施の形態では、対象生体は、人である。なお、情報処理システム１００において、対象生体は、人に限られるものではない。
[構成]
本開示の第１の実施の形態に係る情報処理システム１００について説明する。図１は、情報処理システム１００の概略構成例を表したものである。情報処理システム１００は、対象生体から得られた生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定するシステムである。本実施の形態では、対象生体は、人である。なお、情報処理システム１００において、対象生体は、人に限られるものではない。
【0072】
情報処理システム１００は、複数の電子機器１０を備えている。複数の電子機器１０は、ネットワーク３０を介して互いにデータの送受信が可能となるように接続されている。情報処理システム１００は、さらに、複数の生体センサ２０を備えている。複数の生体センサ２０は、電子機器１０ごとに１つずつ割り当てられており、各生体センサ２０は電子機器１０に接続されている。ネットワーク３０は、無線方式または有線方式の通信手段であり、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆通信網、専用線等である。
【0073】
生体センサ２０は、例えば、対象生体に接触するタイプのセンサであってもよいし、対象生体に非接触のセンサであってもよい。生体センサ２０は、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位、眼電、および唾液に含まれる特定成分のうち、少なくとも１つについての情報（生体情報）を取得するセンサである。生体センサ２０は、例えば、顔の表情、音声、瞬き、呼吸、もしくは行動の反応時間のうち、少なくとも１つについての情報（動作情報）を取得するセンサであってもよい。生体センサ２０は、例えば、脳波、発汗のうち、少なくとも１つについての情報（生体情報）を取得するセンサであってもよい。生体センサ２０は、例えば、顔の表情についての情報（動作情報）を取得するセンサであってもよい。生体センサ２０は、例えば、上述の生体情報および上述の動作情報の少なくとも１つの情報を取得するセンサであってもよい。生体センサ２０は、取得した情報（上述の生体情報および上述の行動情報の少なくとも１つの情報）を電子機器１０に出力する。
【0074】
電子機器１０は、例えば、図２に示したように、カメラ１１、マイク１２、センサ入力受付部１３、ユーザ入力受付部１４，信号処理部１５、記憶部１６、映像信号生成部１７ａ、音声信号生成部１７ｂ、映像表示部１８ａおよびスピーカ１８ｂを備えている。カメラ１１が本開示の「撮像部」の一具体例に相当する。信号処理部１５が本開示の「推定部」「第１推定部」「第２推定部」「取得部」「関連付け部」の一具体例に相当する。記憶部１６が本開示の「記憶部」の一具体例に相当する。映像表示部１８ａが本開示の「表示部」の一具体例に相当する。
【0075】
カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを含んで構成されている。カメラ１１は、信号処理部１５の制御に従って撮像を行い、撮像により得られた画像データを信号処理部１５に出力する。カメラ１１は、電子機器１０の表示を視認するユーザ（対象生体）の顔の動画を、表示面１０ａに隣接して設けられたカメラレンズ１１ｂを介して取得する。カメラレンズ１１ｂは、例えば、表示面１０ａ上端辺の中央付近に配置されている。マイク１２は、例えば、音声を検出するマイクロフォンなどを含んで構成されている。マイク１２は、信号処理部１５の制御に従って音声検出を行い、音声検出により得られた音声データを信号処理部１５に出力する。
【0076】
センサ入力受付部１３は、生体センサ２０からの入力を受け付け、信号処理部１５に出力する。生体センサ２０からの入力としては、上述の生体情報および上述の行動情報の少なくとも１つである。センサ入力受付部１３は、例えば、生体センサ２０と通信を行うことの可能なインターフェースで構成されている。ユーザ入力受付部１４は、ユーザからの入力を受け付け、信号処理部１５に出力する。ユーザからの入力としては、例えば、対象生体の属性情報（例えば氏名など）や、情動推定開始指示が挙げられる。ユーザ入力受付部１４は、例えば、キーボードやマウス、タッチパネルなどの入力インターフェースで構成されている。
【0077】
記憶部１６は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリ、または、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリなどの不揮発性メモリである。記憶部１６には、対象生体の情動を推定する情報処理プログラム１６ａが記憶されている。さらに、記憶部１６には、生体情報処理プログラム１６ａによる処理により得られる識別子１６ｂ、情動情報１６ｃおよびコンテキスト１６ｄが記憶される。情報処理プログラム１６ａにおける処理内容については、後に詳述する。
【0078】
識別子１６ｂは、対象生体を識別するための数値データであり、例えば、対象生体ごとに付与される識別番号となっている。識別子１６ｂは、例えば、対象生体から、対象生体の属性情報が入力されたタイミングで生成される。情動情報１６ｃは、生体センサ２０からの入力（検出信号）に基づいて導出される情動についての情報である。情動情報１６ｃは、例えば、図３に示したように、時間の経過とともに変化する覚醒度および快不快の少なくとも一方についての数値データである。
【0079】
コンテキスト１６ｄは、対象生体の動作および会話の少なくとも一方についての情報である。コンテキスト１６ｄは、例えば、ネットワーク３０に接続された複数の電子機器１０の各々のユーザのうち、少なくとも一人の動作および会話の少なくとも一方についての情報である。コンテキスト１６ｄは、例えば、図３に示したように、対象生体の視線についての情報、または、対象生体の音声についての情報である。対象生体の視線についての情報は、カメラ１１によって得られた画像データから導出することが可能であり、カメラ１１による撮像期間（センシング期間）における非音声のコンテキストに該当する。対象生体の音声についての情報は、マイク１２によって得られた音声データから導出することが可能であり、マイク１２による音声検出期間（センシング期間）における音声のコンテキストに該当する。
【0080】
映像信号生成部１７ａは、信号処理部１５から入力された画像データを表示するための映像信号を生成し、映像表示部１８ａに出力する。映像表示部１８ａは、映像信号生成部１７ａから入力された映像信号に基づいて映像を表示する。映像表示部１８ａは、対象生体の情動情報１６ｃ（上述の覚醒度および上述の快不快の少なくとも一方）を表示する。音声信号生成部１７ｂは、信号処理部１５から入力された音声データを出力するための音声信号を生成し、スピーカ１８ｂに出力する。スピーカ１８ｂは、音声信号生成部１７ｂから入力された音声信号に基づいて音声を出力する。
【0081】
信号処理部１５は、例えば、プロセッサによって構成されている。信号処理部１５は、記憶部１６に記憶された情報処理プログラム１６ａを実行する。信号処理部１５の機能は、例えば、信号処理部１５によって情報処理プログラム１６ａが実行されることによって実現される。信号処理部１５は、対象生体の情動推定に必要な一連の処理を実行する。
【0082】
信号処理部１５は、生体センサ２０によって得られた対象生体の上述の生体情報および上述の動作情報の少なくとも１つに基づいて、対象生体の情動情報１６ｃ（上述の覚醒度および上述の快不快の少なくとも一方）を推定する。信号処理部１５は、推定により得られた情動情報１６ｃを記憶部１６に格納する。信号処理部１５は、対象生体の識別子１６ｂを生成し、生成した識別子１６ｂと、推定により得られた情動情報１６ｃとを互いに関連付けて記憶部１６に格納する。
【0083】
例えば、Ａさん、Ｂさん、Ｃさんのそれぞれが、ネットワーク３０に接続された電子機器１０を利用しているとする。このとき、Ｃさんが利用する電子機器１０（信号処理部１５）は、Ａさんが利用する電子機器１０から、Ａさんの情動情報１６ｃと、Ａさんの識別子１６ｂとを取得する。さらに、Ｃさんが利用する電子機器１０（信号処理部１５）は、Ｂさんが利用する電子機器１０から、Ｂさんの情動情報１６ｃと、Ｂさんの識別子１６ｂとを取得する。さらに、Ｃさんが利用する電子機器１０（信号処理部１５）は、Ｃさんが利用する電子機器１０に接続された生体センサ２０を用いて、Ｃさんの情動情報１６ｃを取得するとともに、Ｃさんの識別子１６ｂを取得する。
【0084】
Ｃさんが利用する電子機器１０において、信号処理部１５は、例えば、Ａさんの情動情報１６ｃ、Ｂさんの情動情報１６ｃおよびＣさんの情動情報１６ｃをグラフィカルな情動情報に変換する。信号処理部１５は、例えば、Ａさんの情動情報１６ｃ、Ｂさんの情動情報１６ｃおよびＣさんの情動情報１６ｃを、横軸を時間とし、縦軸を情動情報とするグラフで表現した画像データを生成する。Ｃさんが利用する電子機器１０において、映像表示部１８ａは、信号処理部１５で生成された、グラフィカルな情動情報を含む画像データに基づく映像信号を生成し、映像表示部１８ａに出力する。映像表示部１８ａは、例えば、図３に示したように、Ａさん、ＢさんおよびＣさんのそれぞれの情動情報１６ｃを表示面１０ａに一緒に表示する。
【0085】
信号処理部１５は、例えば、カメラ１１で得られた画像データ（動画データ）に基づいて、カメラ１１による撮像期間（センシング期間）における非音声のコンテキスト１６ｄを取得する。信号処理部１５は、例えば、カメラ１１で得られた画像データ（動画データ）に基づいて、対象生体の視線についての情報を取得する。信号処理部１５は、対象生体の識別子１６ｂと、取得した非音声のコンテキスト１６ｄ（例えば、対象生体の視線についての情報）と互いに関連付けて記憶部１６に格納する。
【0086】
信号処理部１５は、例えば、動画データａ１に基づいて、動画データａ１に含まれる対象生体の眼球の向きから、表示面１０ａにおける、対象生体の注視位置を検出する。その結果、対象生体の注視位置が表示面１０ａにおける、他の電子機器１０のユーザが写る動画の表示窓内にあるとき、信号処理部１５は、対象生体が他の電子機器１０のユーザを注視していることを意味するデータを、対象生体の視線データとして生成する。信号処理部１５は、生成した対象生体の視線データを、非音声のコンテキスト１６ｄとして、対象生体の識別子１６ｂと一緒に記憶部１６に格納する。
【0087】
例えば、Ａさん、Ｂさん、Ｃさんのそれぞれが、ネットワーク３０に接続された電子機器１０を利用しているとする。このとき、Ａさんが利用する電子機器１０において、カメラ１１は、Ａさんの顔の動画データ（以下、「動画データａ１」と称する。）を取得し、信号処理部１５に出力する。信号処理部１５は、動画データａ１に基づいて、動画データａ１に含まれるＡさんの眼球の向きから、表示面１０ａにおける、Ａさんの注視位置を検出する。その結果、Ａさんの注視位置が表示面１０ａにおける、Ｂさんが写る動画の表示窓１０ａ－２内にあるとき、信号処理部１５は、ＡさんがＢさんを注視していることを意味するデータを、Ａさんの視線データとして生成する。また、Ａさんの注視位置が表示面１０ａにおける、Ｃさんが写る動画の表示窓１０ａ－３内にあるとき、信号処理部１５は、ＡさんがＣさんを注視していることを意味するデータを、Ａさんの視線データとして生成する。信号処理部１５は、生成したＡさんの視線データを、非音声のコンテキスト１６ｄとして、Ａさんの識別子１６ｂと一緒に記憶部１６に格納する。信号処理部１５は、さらに、Ａさんの識別子１６ｂと、非音声のコンテキスト１６ｄとを、通信部１９およびネットワーク３０を介して、ＢさんおよびＣさんの電子機器１０に送信する。
【0088】
また、Ｂさんが利用する電子機器１０において、カメラ１１は、Ｂさんの顔の動画データ（以下、「動画データａ２」と称する。）を取得し、信号処理部１５に出力する。信号処理部１５は、動画データａ２に基づいて、動画データａ２に含まれるＢさんの眼球の向きから、表示面１０ａにおける、Ｂさんの注視位置を検出する。その結果、Ｂさんの注視位置が表示面１０ａにおける、Ａさんが写る動画の表示窓１０ａ－１内にあるとき、信号処理部１５は、ＢさんがＡさんを注視していることを意味するデータを、Ｂさんの視線データとして生成する。また、Ｂさんの注視位置が表示面１０ａにおける、Ｃさんが写る動画の表示窓１０ａ－３内にあるとき、信号処理部１５は、ＢさんがＣさんを注視していることを意味するデータを、Ｂさんの視線データとして生成する。信号処理部１５は、生成したＢさんの視線データを、非音声のコンテキスト１６ｄとして、Ｂさんの識別子１６ｂと一緒に記憶部１６に格納する。信号処理部１５は、さらに、Ｂさんの識別子１６ｂと、非音声のコンテキスト１６ｄとを、通信部１９およびネットワーク３０を介して、ＡさんおよびＣさんの電子機器１０に送信する。
【0089】
また、Ｃさんが利用する電子機器１０において、カメラ１１は、Ｃさんの顔の動画データ（以下、「動画データａ３」と称する。）を取得し、信号処理部１５に出力する。信号処理部１５は、動画データａ３に基づいて、動画データａ３に含まれるＣさんの眼球の向きから、表示面１０ａにおける、Ｃさんの注視位置を検出する。その結果、Ｃさんの注視位置が表示面１０ａにおける、Ａさんが写る動画の表示窓１０ａ－１内にあるとき、信号処理部１５は、ＣさんがＡさんを注視していることを意味するデータを、Ｃさんの視線データとして生成する。また、Ｃさんの注視位置が表示面１０ａにおける、Ｂさんが写る動画の表示窓１０ａ－２内にあるとき、信号処理部１５は、ＣさんがＢさんを注視していることを意味するデータを、Ｃさんの視線データとして生成する。信号処理部１５は、生成したＣさんの視線データを、非音声のコンテキスト１６ｄとして、Ｃさんの識別子１６ｂと一緒に記憶部１６に格納する。信号処理部１５は、さらに、Ｃさんの識別子１６ｂと、非音声のコンテキスト１６ｄとを、通信部１９およびネットワーク３０を介して、ＡさんおよびＢさんの電子機器１０に送信する。
【0090】
Ｃさんが利用する電子機器１０において、信号処理部１５は、Ａさんが利用する電子機器１０から、Ａさんの識別子１６ｂと、Ａさんの非音声のコンテキスト１６ｄとを取得する。Ｃさんが利用する電子機器１０において、信号処理部１５は、さらに、Ｂさんが利用する電子機器１０から、Ｂさんの識別子１６ｂと、Ｂさんの非音声のコンテキスト１６ｄとを取得する。信号処理部１５は、Ａさんの識別子１６ｂと、Ａさんの非音声のコンテキスト１６ｄと、Ｂさんの識別子１６ｂと、Ｂさんの非音声のコンテキスト１６ｄとを記憶部１６に格納する。Ｃさんが利用する電子機器１０において、信号処理部１５は、Ａさん、ＢさんおよびＣさんの非音声のコンテキスト１６ｄを、例えば図３に示したようなグラフィカルなデータに変換する。Ｃさんが利用する電子機器１０において、映像信号生成部１７ａは、Ａさん、ＢさんおよびＣさんのそれぞれの情動情報１６ｃと、Ａさん、ＢさんおよびＣさんのグラフィカルな非音声のコンテキスト１６ｄとを含む画像データに基づく映像信号を生成し、映像表示部１８ａに出力する。映像表示部１８ａは、例えば、図３に示したように、Ａさん、ＢさんおよびＣさんのそれぞれの情動情報１６ｃと、Ａさん、ＢさんおよびＣさんのグラフィカルな非音声のコンテキスト１６ｄを表示面１０ａに一緒に表示する。図３には、非音声のコンテキスト１６ｄ（視線データ）のグラフィカル表示として、コミュニケーション相手を注視している期間を着色して表現した棒グラフが例示されている。
【0091】
信号処理部１５は、例えば、マイク１２で得られた音声データに基づいて、マイク１２による音声検出期間（センシング期間）における音声のコンテキスト１６ｄを取得する。信号処理部１５は、例えば、マイク１２で得られた音声データに基づいて、対象生体の音声についての情報を取得する。信号処理部１５は、対象生体の識別子１６ｂと、取得した音声のコンテキスト１６ｄ（例えば、対象生体の音声についての情報）と互いに関連付けて記憶部１６に格納する。
【0092】
例えば、Ａさん、Ｂさん、Ｃさんのそれぞれが、ネットワーク３０に接続された電子機器１０を利用しているとする。このとき、Ａさんが利用する電子機器１０において、マイク１２は、Ａさんの音声データ（以下、「音声データａ２」と称する。）を取得し、信号処理部１５に出力する。信号処理部１５は、取得したＡさんの音声データａ２を、音声のコンテキスト１６ｄとして、Ａさんの識別子１６ｂと一緒に記憶部１６に格納する。信号処理部１５は、さらに、Ａさんの識別子１６ｂと、音声のコンテキスト１６ｄとを、通信部１９およびネットワーク３０を介して、ＢさんおよびＣさんの電子機器１０に送信する。
【0093】
また、Ｂさんが利用する電子機器１０において、マイク１２は、Ｂさんの音声データ（以下、「音声データｂ２」と称する。）を取得し、信号処理部１５に出力する。信号処理部１５は、取得したＢさんの音声データｂ２を、音声のコンテキスト１６ｄとして、Ｂさんの識別子１６ｂと一緒に記憶部１６に格納する。信号処理部１５は、さらに、Ｂさんの識別子１６ｂと、音声のコンテキスト１６ｄとを、通信部１９およびネットワーク３０を介して、ＡさんおよびＣさんの電子機器１０に送信する。
【0094】
また、Ｃさんが利用する電子機器１０において、マイク１２は、Ｃさんの音声データ（以下、「音声データｃ２」と称する。）を取得し、信号処理部１５に出力する。信号処理部１５は、取得したＣさんの音声データｃ２を、音声のコンテキスト１６ｄとして、Ｃさんの識別子１６ｂと一緒に記憶部１６に格納する。信号処理部１５は、さらに、Ｃさんの識別子１６ｂと、音声のコンテキスト１６ｄとを、通信部１９およびネットワーク３０を介して、ＡさんおよびＢさんの電子機器１０に送信する。
【0095】
Ｃさんが利用する電子機器１０において、信号処理部１５は、Ａさんが利用する電子機器１０から、Ａさんの識別子１６ｂと、Ａさんの音声のコンテキスト１６ｄとを取得する。Ｃさんが利用する電子機器１０において、信号処理部１５は、さらに、Ｂさんが利用する電子機器１０から、Ｂさんの識別子１６ｂと、Ｂさんの音声のコンテキスト１６ｄとを取得する。信号処理部１５は、Ａさんの識別子１６ｂと、Ａさんの音声のコンテキスト１６ｄと、Ｂさんの識別子１６ｂと、Ｂさんの音声のコンテキスト１６ｄとを記憶部１６に格納する。Ｃさんが利用する電子機器１０において、信号処理部１５は、Ａさん、ＢさんおよびＣさんの音声のコンテキスト１６ｄを、例えば図３に示したようなグラフィカルなデータに変換する。Ｃさんが利用する電子機器１０において、映像信号生成部１７ａは、Ａさん、ＢさんおよびＣさんのそれぞれの情動情報１６ｃと、Ａさん、ＢさんおよびＣさんのグラフィカルな音声のコンテキスト１６ｄとを含む画像データに基づく映像信号を生成し、映像表示部１８ａに出力する。映像表示部１８ａは、例えば、図３に示したように、Ａさん、ＢさんおよびＣさんのそれぞれの情動情報１６ｃと、Ａさん、ＢさんおよびＣさんのグラフィカルな音声のコンテキスト１６ｄを表示面１０ａに一緒に表示する。図３には、音声のコンテキスト１６ｄ（音声データ）のグラフィカル表示として、発話している期間を着色して表現した棒グラフが例示されている。
【0096】
Ｃさんが利用する電子機器１０において、信号処理部１５は、音声のコンテキスト１６ｄ（音声データ）と、非音声のコンテキスト１６ｄ（視線データ）と、情動情報１６ｃとに基づいて、Ｃさんへのメッセージ１０ｂを生成してもよい。例えば、音声のコンテキスト１６ｄ（音声データ）において、Ｃさんが発話しているときに、非音声のコンテキスト１６ｄ（視線データ）において、ＡさんがＣさんを注視しており、さらに、Ａさんの情動情報１６ｃが高い値となっているとする。このとき、Ａさんは、Ｃさんに何らかの興味、関心を有していると考えられる。そこで、信号処理部１５は、例えば、メッセージ１０ｂとして、例えば、「Ａさんがあなたを見ています。Ａさんを見て話してみてください」というテキストデータを生成してもよい。
【0097】
なお、Ｃさんが利用する電子機器１０において、信号処理部１５は、非音声のコンテキスト１６ｄ（視線データ）に基づいて、ＡさんがＣさんを注視した回数やトータルの時間を算出してもよい。このとき、ＡさんがＣさんを注視した回数やトータルの時間が所定の閾値を超えたとき、信号処理部１５は、例えば、メッセージ１０ｂとして、例えば、「Ａさんはあなたに興味、関心があるようです。Ａさんに話しかけてみてください」というテキストデータを生成してもよい。また、信号処理部１５は、ＡさんがＣさんを注視した回数やトータルの時間や、ＢさんがＣさんを注視した回数やトータルの時間を算出し、記憶部２４に格納してもよい。
【0098】
Ｃさんが利用する電子機器１０において、映像信号生成部１７ａは、信号処理部１５で生成されたメッセージ１０ｂを含む画像データを生成し、映像表示部１８ａに出力してもよい。このとき、映像表示部１８ａは、例えば、図３に示したように、表示面１０ａのうちカメラレンズ１１ａ寄りの箇所にメッセージ１０ｂを表示してもよい。このとき、Ｃさんは、目線をカメラレンズ１１ａの近傍を視認するだけで、メッセージ１０ｂを視認することが可能である。これにより、Ｃさんはメッセージ１０ｂを視認するために目線を逸らすなどの不自然な動きをする必要がない。その結果、Ｃさんは、ＡさんやＢさんと自然な会話をしながらメッセージ１０ｂを視認し、メッセージ１０ｂを参考にした動作や会話を行うことが可能となる。
【0099】
Ｃさんが利用する電子機器１０において、音声信号生成部１７ｂは、信号処理部１５で生成されたメッセージ１０ｂに対応する音声データを生成し、スピーカ１８ｂに出力してもよい。このとき、スピーカ１８ｂがイヤホンや骨伝導スピーカなどで構成されている場合、スピーカ１８ｂは、音声データに基づいて生成された音声を、ＡさんやＢさんに聞かれることなく、Ｃさんにだけ音声を出力することができる。これにより、Ｃさんはメッセージ１０ｂを取得するために目線を逸らすなどの不自然な動きをする必要がない。その結果、Ｃさんは、ＡさんやＢさんと自然な会話をしながら、スピーカ１８ｂからメッセージ１０ｂを聞き取り、聞き取ったメッセージ１０ｂを参考にした動作や会話を行うことが可能となる。
【0100】
[効果]
次に、情報処理システム１００の効果について説明する。
次に、情報処理システム１００の効果について説明する。
【0101】
本実施の形態では、生体センサ２０によって得られた対象生体の情報（生体情報および動作情報の少なくとも１つ）に基づいて対象生体の情動情報１６ｃが推定され、表示面１０ａに表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0102】
本実施の形態では、生体センサ２０によるセンシング期間における非音声のコンテキスト１６ｄと、情動情報１６ｃとが表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の非音声のコンテキスト１６ｄと、相手の情動情報１６ｃとに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の非音声のコンテキスト１６ｄや、相手の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の非音声のコンテキスト１６ｄや、ユーザ自身の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の非音声のコンテキスト１６ｄや、ユーザ自身の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0103】
本実施の形態では、ユーザの顔の動画を、表示面１０ａに隣接して設けられたカメラレンズ１１ｂを介して取得するカメラ１１が設けられており、表示面１０ａのうちカメラレンズ１１ｂ寄りの箇所にコンテキスト１６ｄが表示される。これにより、ユーザは、目線をカメラレンズ１１ａの近傍を視認するだけで、メッセージ１０ｂを視認することが可能である。その結果、ユーザはメッセージ１０ｂを視認するために目線を逸らすなどの不自然な動きをする必要がない。従って、ユーザは、他のユーザと自然な会話をしながらメッセージ１０ｂを視認し、メッセージ１０ｂを参考にした動作や会話を行うことが可能となる。
【0104】
本実施の形態では、情動情報１６ｃが表示面１０ａに表示されるとともに、生体センサ２０によるセンシング期間における音声のコンテキスト１６ｄがグラフィカルに表示面１０ａに表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の音声のコンテキスト１６ｄと、相手の情動情報１６ｃとに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の音声のコンテキスト１６ｄや、相手の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の音声のコンテキスト１６ｄや、ユーザ自身の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の音声のコンテキスト１６ｄや、ユーザ自身の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0105】
本実施の形態では、自身が利用する電子機器１０に接続された生体センサ２０によって得られた自身の生体情報および動作情報の少なくとも１つに基づいて自身の情動情報１６ｃが推定される。さらに、他のユーザが利用する電子機器１０に接続された生体センサ２０によって得られた他のユーザの生体情報および動作情報の少なくとも１つに基づいて他のユーザの情動情報１６ｃが推定される。そして、自身の情動情報１６ｃと、他のユーザの情動情報１６ｃとが表示面１０ａに一緒に表示される。これにより、例えば、自身は、双方の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、双方の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。
【0106】
本実施の形態において、自身が利用する電子機器１０に接続された生体センサ２０によるセンシング期間における非音声のコンテキスト１６ｄを第１のコンテキストとする。本実施の形態において、他のユーザが利用する電子機器１０に接続された生体センサ２０に接続された生体センサ２０によるセンシング期間における非音声のコンテキスト１６ｄを第２のコンテキストとする。本実施の形態において、自身が利用する電子機器１０で得られた自身の情動情報１６ｃを第１の情動情報とし、他のユーザが利用する電子機器１０で得られた他のユーザの情動情報１６ｃを第２の情動情報とする。このとき、第１のコンテキスト、第２のコンテキスト、第１の情動情報および第２の情動情報が表示面１０ａに一緒に表示される。これにより、自身は、これらの情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、これらの情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0107】
本実施の形態では、生体センサ２０によって得られた対象生体の情報（生体情報および動作情報の少なくとも１つ）に基づいて対象生体の情動情報１６ｃが推定される。本実施の形態では、さらに、対象生体の情動情報１６ｃと、生体センサ２０によるセンシング期間におけるコンテキスト１６ｄとが互いに関連付けられる。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0108】
本実施の形態では、対象生体の情動情報１６ｃと、非音声のコンテキスト１６ｄとが表示面１０ａに一緒に表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報１６ｃと、非音声のコンテキスト１６ｄとに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報１６ｃや、非音声のコンテキスト１６ｄはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報１６ｃと、非音声のコンテキスト１６ｄとに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報や、非音声のコンテキスト１６ｄはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0109】
本実施の形態では、対象生体の情動情報１６ｃと、音声のコンテキスト１６ｄとが表示面１０ａに一緒に表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報１６ｃと、音声のコンテキスト１６ｄとに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報１６ｃや、音声のコンテキスト１６ｄはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報１６ｃと、音声のコンテキスト１６ｄとに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報や、音声のコンテキスト１６ｄはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0110】
＜４．第１の実施の形態の変形例＞
次に、上記実施の形態に係る情報処理システム１００の変形例について説明する。
次に、上記実施の形態に係る情報処理システム１００の変形例について説明する。
【0111】
［変形例Ａ］
上記実施の形態に係る情報処理システム１００において、生体センサ２０、カメラ１１、映像表示部１８ａおよびスピーカ１８ｂが、例えば、アイグラスなどのデバイスに設けられていてもよい。このようにした場合には、例えば、視線を精度よく導出したり、スピーカ１８ｂからの音声がマイク１２に拾われ難くしたりすることが可能である。
上記実施の形態に係る情報処理システム１００において、生体センサ２０、カメラ１１、映像表示部１８ａおよびスピーカ１８ｂが、例えば、アイグラスなどのデバイスに設けられていてもよい。このようにした場合には、例えば、視線を精度よく導出したり、スピーカ１８ｂからの音声がマイク１２に拾われ難くしたりすることが可能である。
【0112】
［変形例Ｂ］
上記実施の形態に係る情報処理システム１００において、ネットワーク３０に接続された２つの電子機器１０の間だけで互いに通信されていてもよい。このようにした場合、自身が利用する電子機器２０において、信号処理部１５は、自身の情動情報１６ｃと、自身の識別子１６ｂとを取得する。信号処理部１５は、さらに、コミュニケーション相手が利用する電子機器２０から、相手の識別子１６ｂと、相手の情動情報１６ｃとを取得する。
上記実施の形態に係る情報処理システム１００において、ネットワーク３０に接続された２つの電子機器１０の間だけで互いに通信されていてもよい。このようにした場合、自身が利用する電子機器２０において、信号処理部１５は、自身の情動情報１６ｃと、自身の識別子１６ｂとを取得する。信号処理部１５は、さらに、コミュニケーション相手が利用する電子機器２０から、相手の識別子１６ｂと、相手の情動情報１６ｃとを取得する。
【0113】
自身が利用する電子機器２０において、信号処理部１５は、例えば、自身の情動情報１６ｃ、および相手の情動情報１６ｃをグラフィカルな情動情報に変換する。信号処理部１５は、例えば、自身の情動情報１６ｃ、および相手の情動情報１６ｃを、横軸を時間とし、縦軸を情動情報とするグラフで表現した画像データを生成する。自身が利用する電子機器１０において、映像表示部１８ａは、信号処理部１５で生成された、グラフィカルな情動情報を含む画像データに基づく映像信号を生成し、映像表示部１８ａに出力する。映像表示部１８ａは、例えば、図４に示したように、自身および相手のそれぞれの情動情報１６ｃを表示面１０ａに一緒に表示する。
【0114】
信号処理部１５は、例えば、自身の情動情報１６ｃと、相手の情動情報１６ｃとの同期性を計算し、その計算結果を含む画像データを生成してもよい。この場合、映像表示部１８ａは、信号処理部１５で生成された、同期性の計算結果を含む画像データに基づく映像信号を生成し、映像表示部１８ａに出力する。映像表示部１８ａは、例えば、図４に示したように、同期性の計算結果を表示面１０ａに表示する。
【0115】
信号処理部１５は、例えば、自身の情動情報１６ｃと、相手の情動情報１６ｃとを互いに関連付けて記憶部１６に格納してもよい。信号処理部１５は、例えば、さらに、上述した同期性の計算結果を記憶部１６に格納してもよい。このようにした場合には、ユーザは、記憶部１６に格納しておいた、自身および相手の情動情報１６ｃや、同期性の計算結果に基づいて、自身の、相手へのコミュニケーション方法の適否について復習することができる。ユーザは、例えば、自身の情動情報１６ｃと相手の情動情報１６ｃとの同期性を見ることで、相手の言葉がお世辞であるのか否かを知ったり、相手が何に興味を持ったかを知ったりすることが可能である。
【0116】
［変形例Ｃ］
上記実施の形態およびその変形例に係る情報処理システム１００は、例えば、グループ交流や、デート、お見合い、社員教育、オンラインゲームなどに適用することが可能である。
上記実施の形態およびその変形例に係る情報処理システム１００は、例えば、グループ交流や、デート、お見合い、社員教育、オンラインゲームなどに適用することが可能である。
【0117】
例えば、オンライン上の不特定多数の人とチームを組んでクエストをクリアしていくような協力型のオンラインゲームに、上記実施の形態およびその変形例に係る情報処理システム１００を適用したとする。このとき、映像表示部１８ａは、例えば、ゲーム画面と、信号処理部１５で生成された、チームメンバーのグラフィカルな情動情報とを含む画像データに基づく映像信号を生成し、映像表示部１８ａに出力してもよい。このとき、各メンバーは、お互いの情動の上下のタイミングを見ることで，楽しんでいるシーンの共通点や，クエストをクリアしていく連携の相性を知ることができる。
【0118】
＜５．第２の実施の形態＞
[構成]
次に、本開示の第２の実施の形態に係る情報処理システム２００について説明する。図５は、情報処理システム２００の概略構成例を表したものである。情報処理システム２００は、上記実施の形態およびその変形例に係る情報処理システム１００において、複数の電子機器４０とネットワーク３０で接続されたサーバ装置５０が、情動情報１６ｃを導出する一連の処理を実行するプログラムや推定モデルを備えていてもよい。
[構成]
次に、本開示の第２の実施の形態に係る情報処理システム２００について説明する。図５は、情報処理システム２００の概略構成例を表したものである。情報処理システム２００は、上記実施の形態およびその変形例に係る情報処理システム１００において、複数の電子機器４０とネットワーク３０で接続されたサーバ装置５０が、情動情報１６ｃを導出する一連の処理を実行するプログラムや推定モデルを備えていてもよい。
【0119】
電子機器４０は、例えば、図６に示したように、上記実施の形態およびその変形例に係る電子機器１０において、記憶部１６に、情報処理プログラム１６ａの代わりに、情報処理プログラム１６ｅが格納されたものである。情報処理プログラム１６ｅは、情報処理プログラム１６ａで実行される一連の処理のうち、情動情報１６ｃを導出する一連の処理を除いた処理を実行するためのプログラムである。
【0120】
サーバ装置５０は、例えば、図７に示したように、通信部５１、信号処理部５２および記憶部５３を備えている。通信部５１は、ネットワーク３０を介して複数の電子機器４０と通信を行うデバイスである。
【0121】
信号処理部５２は、例えば、プロセッサによって構成されている。信号処理部５２は、記憶部５３に記憶された情報処理プログラム１６ｅを実行する。信号処理部５２の機能は、例えば、信号処理部５２によって情報処理プログラム１６ｅが実行されることによって実現される。信号処理部５２は、情動情報１６ｃを導出する一連の処理を実行する。
【0122】
信号処理部５２は、各電子機器４０から入力された、上述の生体情報および上述の動作情報の少なくとも１つに基づいて、対象生体の情動情報１６ｃ（上述の覚醒度および上述の快不快の少なくとも一方）を推定する。信号処理部５２は、推定により得られた情動情報１６ｃを、通信部５１およびネットワーク３０を介して電子機器４０に送信する。信号処理部５２は、電子機器４０から入力された識別子１６ｂと、推定により得られた情動情報１６ｃとを互いに関連付けて記憶部５３に格納する。信号処理部５２は、情動情報１６ｃを、識別子１６ｂに対応する電子機器４０に送信する。信号処理部５２は、電子機器４０から入力された識別子１６ｂおよびコンテキスト１６ｄを、互いに関連付けて記憶部５３に格納する。信号処理部５２は、記憶部５３から読み出した識別子１６ｂおよびコンテキスト１６ｄを、互いに関連付けて電子機器４０に送信する。
【0123】
このように、本変形例では、情動情報１６ｃを導出する一連の処理がサーバ装置５０で実行される。これにより、各電子機器４０に対して、情動情報１６ｃを導出する一連の処理を実行するプログラムや推定モデルを設ける必要がなくなる。その結果、複数の電子機器４０で、サーバ装置５０に設けられた、情動情報１６ｃを導出する一連の処理を実行するプログラムや推定モデルを共用することができる。
【0124】
＜６．第３の実施の形態＞
本開示の第３の実施の形態に係る情報処理装置３００について説明する。図８は、情報処理装置３００の概略構成例を表したものである。情報処理装置３００は、対象生体から得られた生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定するシステムである。本実施の形態では、対象生体は、人である。なお、情報処理装置３００において、対象生体は、人に限られるものではない。
本開示の第３の実施の形態に係る情報処理装置３００について説明する。図８は、情報処理装置３００の概略構成例を表したものである。情報処理装置３００は、対象生体から得られた生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報を推定するシステムである。本実施の形態では、対象生体は、人である。なお、情報処理装置３００において、対象生体は、人に限られるものではない。
【0125】
情報処理装置３００は、複数の（例えば２つの）デバイス３１０と、複数の（例えば２つの）デバイス３１０に接続された信号処理部１５と、ユーザ入力受付部１４と、記憶部１６とを備えている。各デバイス３１０は、例えば、アイグラスなどのデバイスであり、信号処理部１５による制御によって、上記実施の形態およびその変形例に係る電子機器１０や、上記実施の形態およびその変形例に係る電子機器４０と同様の動作を実行する。つまり、本実施の形態では、１台の情報処理装置３００を複数のユーザが共有する。
【0126】
各デバイス３１０は、例えば、カメラ１１、マイク１２、センサ入力受付部１３、映像信号生成部１７ａ、映像表示部１８ａ、音声信号生成部１７ｂおよびスピーカ１８ｂを有している。例えば、各デバイス３１０には、生体センサ２０が１つずつ取り付けられている。
【0127】
本実施の形態では、上記実施の形態およびその変形例と同様、生体センサ２０によって得られた対象生体の情報（生体情報および動作情報の少なくとも１つ）に基づいて対象生体の情動情報１６ｃが推定され、映像表示部１８ａ，１８ｂの表示面に表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報１６ｃはお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報１６ｃに基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。その結果、お互いの相性をより正確に判断することができる。
【0128】
＜７．各実施の形態の変形例＞
上記第１の形態およびその変形例において、電子機器１０は、例えば、図９に示したように、振動信号生成部２１ａおよび振動部２１ｂを備えていてもよい。また、上記第２の実施の形態において、電子機器４０は、例えば、図１０に示したように、振動信号生成部２１ａおよび振動部２１ｂを備えていてもよい。また、上記第３の実施の形態において、各デバイス３１０は、例えば、図１１に示したように、振動信号生成部２１ａおよび振動部２１ｂを備えていてもよい。
上記第１の形態およびその変形例において、電子機器１０は、例えば、図９に示したように、振動信号生成部２１ａおよび振動部２１ｂを備えていてもよい。また、上記第２の実施の形態において、電子機器４０は、例えば、図１０に示したように、振動信号生成部２１ａおよび振動部２１ｂを備えていてもよい。また、上記第３の実施の形態において、各デバイス３１０は、例えば、図１１に示したように、振動信号生成部２１ａおよび振動部２１ｂを備えていてもよい。
【0129】
振動信号生成部２１ａは、信号処理部１５から入力された振動データを出力するための振動信号を生成し、振動部２１ｂに出力する。振動部２１ｂは、振動信号生成部２１ａから入力された振動信号に基づいて振動する。信号処理部１５は、例えば、音声のコンテキスト１６ｄ（音声データ）、非音声のコンテキスト１６ｄ（視線データ）および情動情報１６ｃの少なくとも１つに基づいて、振動データを生成してもよい。このとき、振動部２１ｂは、例えば、音声のコンテキスト１６ｄ（音声データ）、非音声のコンテキスト１６ｄ（視線データ）および情動情報１６ｃの少なくとも１つに基づいて振動する。このようにした場合には、ユーザは、振動部２１ｂによる振動から、相手との関係構築に必要な要素を類推することができる。その結果、お互いの相性をより正確に判断することができる。
【0130】
なお、上記第３の実施の形態およびその変形例において、ユーザ入力受付部１４が、デバイス３１０ごとに設けられていてもよい。このようにした場合には、ユーザは、ユーザ入力受付部１４を使ってデバイス３１０から情報を入力することができる。その結果、各デバイス３１０が例えばスマートフォンのようなモバイルデバイスとなっており、ユーザがデバイス３１０を持ち歩いた場合であっても、デバイス３１０ごとに情報を入力することができる。
【0131】
上記第１の実施の形態およびその変形例において、複数の電子機器１０が、ネットワーク３０以外の手段で互いに接続されていてもよい。
【0132】
[変形例Ｇ]
上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、図２２に示したようなヘッドマウントディスプレイ（ＨＭＤ）４００に搭載することが可能である。ヘッドマウントディスプレイ４００では、例えば、パッド部４０１およびバンド部４０２の内面などに、生体センサ１０の検出電極４０３を設けることができる。
上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、図２２に示したようなヘッドマウントディスプレイ（ＨＭＤ）４００に搭載することが可能である。ヘッドマウントディスプレイ４００では、例えば、パッド部４０１およびバンド部４０２の内面などに、生体センサ１０の検出電極４０３を設けることができる。
【0133】
また、上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、図２３に示したようなヘッドバンド５００に搭載することが可能である。ヘッドバンド５００では、例えば、頭部と接触するバンド部５０１，５０２の内面などに、生体センサ１０の検出電極５０３を設けることができる。
【0134】
また、上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、図２４に示したようなヘッドフォン６００に搭載することが可能である。ヘッドフォン６００では、例えば、頭部と接触するバンド部６０１の内面やイヤーパッド６０２などに、生体センサ１０の検出電極６０３を設けることができる。
【0135】
また、上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、図２５に示したようなイヤフォン７００に搭載することが可能である。イヤフォン７００では、例えば、耳に挿入するイヤーピース７０１に、生体センサ１０の検出電極７０２を設けることができる。
【0136】
また、上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、図２６に示したような時計８００に搭載することが可能である。時計８００では、例えば、時刻等を表示する表示部８０１の内面や、バンド部８０２の内面（例えば、バックル部８０３の内面）などに、生体センサ１０の検出電極８０４を設けることができる。
【0137】
また、上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、図２７に示したような眼鏡９００に搭載することが可能である。眼鏡９００では、例えば、つる９０１の内面やなどに、生体センサ１０の検出電極９０２を設けることができる。
【0138】
また、上記第１～第３の実施の形態およびそれらの変形例において、生体センサ１０を、例えば、手袋、指輪、鉛筆、ペン、ゲーム機のコントローラなどに搭載することも可能である。
【0139】
[変形例Ｈ]
上記第１～第３の実施の形態およびその変形例において、信号処理部１５は、例えば、センサで得られた評価対象者の脈波、心電図、血流の電気信号に基づいて、例えば、以下に示したような特徴量を導出し、導出した特徴量に基づいて、評価対象者の覚醒度２４ｅを導出してもよい。
上記第１～第３の実施の形態およびその変形例において、信号処理部１５は、例えば、センサで得られた評価対象者の脈波、心電図、血流の電気信号に基づいて、例えば、以下に示したような特徴量を導出し、導出した特徴量に基づいて、評価対象者の覚醒度２４ｅを導出してもよい。
【0140】
（脈波、心電図、血流）
センサで得られた脈波、心電図、血流の電気信号に基づいて得られる、例えば、以下に示したような特徴量を用いることで、評価対象者の覚醒度２４ｅを導出することが可能である。
・１ｓごとの心拍数
・１ｓごとの心拍数の、所定の期間（窓）内の平均値
・ｒｍｓｓｄ(root mean square successive difference)：連続する心拍間隔の二乗平均平方根
・ｐｎｎ５０(percentage of adjacent normal-to-normal intervals)：連続する心拍間隔が５０ｍｓを超える個数の比率
・ＬＦ:心拍間隔のＰＳＤの０．０４～０．１５Ｈｚ間の面積
・ＨＦ：心拍間隔のＰＳＤの０．１５～０．４Ｈｚ間の面積
・ＬＦ／（ＬＦ＋ＨＦ）
・ＨＦ／（ＬＦ＋ＨＦ）
・ＬＦ／ＨＦ
・心拍のエントロピー
・ＳＤ１：ポアンカレプロット（心拍間隔のｔ番目をｘ軸，ｔ＋１番目をｙ軸にした散布図）のｙ＝ｘを軸とした方向の標準偏差
・ＳＤ２：ポアンカレプロットのｙ＝ｘの垂直方向を軸とした方向の標準偏差
・ＳＤ１／ＳＤ２
・ＳＤＲＲ(standard deviation of RR interval)：心拍間隔の標準偏差
センサで得られた脈波、心電図、血流の電気信号に基づいて得られる、例えば、以下に示したような特徴量を用いることで、評価対象者の覚醒度２４ｅを導出することが可能である。
・１ｓごとの心拍数
・１ｓごとの心拍数の、所定の期間（窓）内の平均値
・ｒｍｓｓｄ(root mean square successive difference)：連続する心拍間隔の二乗平均平方根
・ｐｎｎ５０(percentage of adjacent normal-to-normal intervals)：連続する心拍間隔が５０ｍｓを超える個数の比率
・ＬＦ:心拍間隔のＰＳＤの０．０４～０．１５Ｈｚ間の面積
・ＨＦ：心拍間隔のＰＳＤの０．１５～０．４Ｈｚ間の面積
・ＬＦ／（ＬＦ＋ＨＦ）
・ＨＦ／（ＬＦ＋ＨＦ）
・ＬＦ／ＨＦ
・心拍のエントロピー
・ＳＤ１：ポアンカレプロット（心拍間隔のｔ番目をｘ軸，ｔ＋１番目をｙ軸にした散布図）のｙ＝ｘを軸とした方向の標準偏差
・ＳＤ２：ポアンカレプロットのｙ＝ｘの垂直方向を軸とした方向の標準偏差
・ＳＤ１／ＳＤ２
・ＳＤＲＲ(standard deviation of RR interval)：心拍間隔の標準偏差
【0141】
また、上記第１～第３の実施の形態およびその変形例において、信号処理部１５は、例えば、センサで得られた評価対象者の精神性発汗の電気信号（EDA: electrodermal activity）に基づいて、例えば、以下に示したような特徴量を導出し、導出した特徴量に基づいて、評価対象者の覚醒度２４ｅを導出してもよい。
【0142】
（精神性発汗）
センサで得られた精神性発汗の電気信号に基づいて得られる、例えば、以下に示したような特徴量を用いることで、評価対象者の覚醒度２４ｅを導出することが可能である。
・１分間に発生するＳＣＲ(skin conductance response)の個数
・ＳＣＲの振幅
・ＳＣＬ（skin conductance level）の値
・ＳＣＬの変化率
センサで得られた精神性発汗の電気信号に基づいて得られる、例えば、以下に示したような特徴量を用いることで、評価対象者の覚醒度２４ｅを導出することが可能である。
・１分間に発生するＳＣＲ(skin conductance response)の個数
・ＳＣＲの振幅
・ＳＣＬ（skin conductance level）の値
・ＳＣＬの変化率
【0143】
例えば、下記文献に記載の方法を用いることで、ＥＤＡから、ＳＣＲとＳＣＬを分離することが可能である。
Benedek, M., & Kaernbach, C. (2010). A continuous measure of phasic electrodermal activity. Journal of neuroscience methods, 190(1), 80-91.
Benedek, M., & Kaernbach, C. (2010). A continuous measure of phasic electrodermal activity. Journal of neuroscience methods, 190(1), 80-91.
【0144】
なお、覚醒度２４ｅの導出において、単モーダル（１つの生理指標）を用いてもよいし、複数モーダル（複数の生理指標）の組み合わせを用いてもよい。
【0145】
【0146】
図２８は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、脈波のｐｎｎ５０の課題差Δｈａ[％]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。課題差Δｈａは、高難易度の問題を解いたときの脈波のｐｎｎ５０から、低難易度の問題を解いたときの脈波のｐｎｎ５０を減算することにより得られるベクトル量である。図２８には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図２８において、回帰式は、Ｒ＝ａ１０×Δｈａ＋ｂ１０で表されている。
【0147】
脈波のｐｎｎ５０の課題差Δｈａが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｐｎｎ５０の差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｐｎｎ５０の課題差が他のユーザと比べて小さくなる傾向があると言える。一方、脈波のｐｎｎ５０の課題差Δｈａが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｐｎｎ５０の差分が大きいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｐｎｎ５０の課題差が他のユーザと比べて大きくなる傾向があると言える。
【0148】
図２８から、脈波のｐｎｎ５０の課題差Δｈａが大きいとき、問題の正解率Ｒが高くなり、脈波のｐｎｎ５０の課題差Δｈａが小さいとき、問題の正解率Ｒが小さくなることがわかる。このことから、難しい問題で脈波のｐｎｎ５０が大きくなる人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題でも脈波のｐｎｎ５０が小さい人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0149】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、脈波のｐｎｎ５０の課題差Δｈａが大きいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、脈波のｐｎｎ５０の課題差Δｈａが小さいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0150】
【0151】
図２９は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、脈波のｐｎｎ５０のばらつきの課題差Δｈｂ[％]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。課題差Δｈｂは、高難易度の問題を解いたときの脈波のｐｎｎ５０のばらつきから、低難易度の問題を解いたときの脈波のｐｎｎ５０のばらつきを減算することにより得られるベクトル量である。図２９には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図２９において、回帰式は、Ｒ＝ａ１１×Δｈｂ＋ｂ１１で表されている。
【0152】
脈波のｐｎｎ５０のばらつきの課題差Δｈｂが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｐｎｎ５０のばらつきの差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｐｎｎ５０のばらつきの課題差が他のユーザと比べて小さくなる傾向があると言える。一方、脈波のｐｎｎ５０のばらつきの課題差Δｈｂが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｐｎｎ５０のばらつきの差分が大きいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｐｎｎ５０のばらつきの課題差が他のユーザと比べて大きくなる傾向があると言える。
【0153】
図２９から、脈波のｐｎｎ５０のばらつきの課題差Δｈｂが大きいとき、問題の正解率Ｒが高くなり、脈波のｐｎｎ５０のばらつきの課題差Δｈｂが小さいとき、問題の正解率Ｒが小さくなることがわかる。このことから、難しい問題で脈波のｐｎｎ５０のばらつきが大きくなる人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題でも脈波のｐｎｎ５０のばらつきが小さい人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0154】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、脈波のｐｎｎ５０のばらつきの課題差Δｈｂが大きいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、脈波のｐｎｎ５０のばらつきの課題差Δｈａが小さいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0155】
【0156】
図３０は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、脈波のｐｎｎ５０に対してＦＦＴを行うことにより得られるパワースペクトラムの低周波帯（０．０１Ｈｚ付近）のパワーの課題差Δｈｃ[ｍｓ－２Ｈｚ]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。以下では、「脈波のｐｎｎ５０に対してＦＦＴを行うことにより得られるパワースペクトラムの低周波帯（０．０１Ｈｚ付近）のパワー」を「脈波のｐｎｎ５０の低周波帯のパワー」と称するものとする。課題差Δｈｃは、高難易度の問題を解いたときの脈波のｐｎｎ５０の低周波帯のパワーから、低難易度の問題を解いたときの脈波のｐｎｎ５０の低周波帯のパワーを減算することにより得られるベクトル量である。図３０には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図３０において、回帰式は、Ｒ＝ａ１２×Δｈｃ＋ｂ１２で表されている。
【0157】
脈波のｐｎｎ５０の低周波帯のパワーの課題差Δｈｃが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｐｎｎ５０の低周波帯のパワーの差分が大きいことを意味する。このような結果が得られたユーザには、高難易度の問題を解いた時に、脈波のｐｎｎ５０の低周波帯のパワーの課題差が他のユーザと比べて大きくなる傾向があると言える。一方、脈波のｐｎｎ５０の低周波帯のパワーの課題差Δｈｃが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｐｎｎ５０の低周波帯のパワーの差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｐｎｎ５０の低周波帯のパワーの課題差が他のユーザと比べて小さくなる傾向があると言える。
【0158】
図３０から、脈波のｐｎｎ５０の低周波帯のパワーの課題差Δｈｃが大きいとき、問題の正解率Ｒが高くなり、脈波のｐｎｎ５０の低周波帯のパワーの課題差Δｈｃが小さいとき、問題の正解率Ｒが低くなることがわかる。このことから、難しい問題でも脈波のｐｎｎ５０の低周波帯のパワーが大きい人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題で脈波のｐｎｎ５０の低周波帯のパワーが小さくなる人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0159】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、脈波のｐｎｎ５０の低周波帯のパワーの課題差Δｈｃが小さいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、脈波のｐｎｎ５０の低周波帯のパワーの課題差Δｈｃが大きいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0160】
【0161】
図３１は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、脈波のｒｍｓｓｄの課題差Δｈｄ[ｍｓ]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。課題差Δｈｄは、高難易度の問題を解いたときの脈波のｒｍｓｓｄから、低難易度の問題を解いたときの脈波のｒｍｓｓｄを減算することにより得られるベクトル量である。図３１には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図３１において、回帰式は、Ｒ＝ａ１３×Δｈｄ＋ｂ１３で表されている。
【0162】
脈波のｒｍｓｓｄの課題差Δｈｄが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｒｍｓｓｄの差分が大きいことを意味する。このような結果が得られたユーザには、高難易度の問題を解いた時に、脈波のｒｍｓｓｄの課題差が他のユーザと比べて大きくなる傾向があると言える。一方、脈波のｒｍｓｓｄの課題差Δｈｄが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｒｍｓｓｄの差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｒｍｓｓｄの課題差が他のユーザと比べて小さくなる傾向があると言える。
【0163】
図３１から、脈波のｒｍｓｓｄの課題差Δｈｄが大きいとき、問題の正解率Ｒが高くなり、脈波のｒｍｓｓｄの課題差Δｈｄが小さいとき、問題の正解率Ｒが小さくなることがわかる。このことから、難しい問題でも脈波のｒｍｓｓｄが大きい人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題で脈波のｒｍｓｓｄが小さくなる人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0164】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、脈波のｒｍｓｓｄの課題差Δｈｄが小さいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、脈波のｒｍｓｓｄの課題差Δｈｄが負方向に大きいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0165】
【0166】
図３２は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、脈波のｒｍｓｓｄのばらつきの課題差Δｈｅ[ｍｓ]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。課題差Δｈｅは、高難易度の問題を解いたときの脈波のｒｍｓｓｄのばらつきから、低難易度の問題を解いたときの脈波のｒｍｓｓｄのばらつきを減算することにより得られるベクトル量である。図３２には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図３２において、回帰式は、Ｒ＝ａ１４×Δｈｅ＋ｂ１４で表されている。
【0167】
脈波のｒｍｓｓｄのばらつきの課題差Δｈｅが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｒｍｓｓｄのばらつきの差分が大きいことを意味する。このような結果が得られたユーザには、高難易度の問題を解いた時に、脈波のｒｍｓｓｄのばらつきの課題差が他のユーザと比べて大きくなる傾向があると言える。一方、脈波のｒｍｓｓｄのばらつきの課題差Δｈｅが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｒｍｓｓｄのばらつきの差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｒｍｓｓｄのばらつきの課題差が他のユーザと比べて小さくなる傾向があると言える。
【0168】
図３２から、脈波のｒｍｓｓｄのばらつきの課題差Δｈｅが大きいとき、問題の正解率Ｒが高くなり、脈波のｒｍｓｓｄのばらつきの課題差Δｈｅが小さいとき、問題の正解率Ｒが小さくなることがわかる。このことから、難しい問題でも脈波のｒｍｓｓｄのばらつきが大きい人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題で脈波のｒｍｓｓｄのばらつきが小さくなる人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0169】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、脈波のｒｍｓｓｄのばらつきの課題差Δｈｅが小さいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、脈波のｒｍｓｓｄのばらつきの課題差Δｈｅが負方向に大きいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0170】
【0171】
図３３は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、脈波のｒｍｓｓｄに対してＦＦＴを行うことにより得られるパワースペクトラムの低周波帯（０．０１Ｈｚ付近）のパワーの課題差Δｈｆ[ｍｓ２／Ｈｚ]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。以下では、「脈波のｒｍｓｓｄに対してＦＦＴを行うことにより得られるパワースペクトラムの低周波帯（０．０１Ｈｚ付近）のパワー」を「脈波のｒｍｓｓｄの低周波帯のパワー」と称するものとする。課題差Δｈｆは、高難易度の問題を解いたときの脈波のｒｍｓｓｄの低周波帯のパワーから、低難易度の問題を解いたときの脈波のｒｍｓｓｄの低周波帯のパワーを減算することにより得られるベクトル量である。図３３には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図３３において、回帰式は、Ｒ＝ａ１５×Δｈｆ＋ｂ１５で表されている。
【0172】
脈波のｒｍｓｓｄの低周波帯のパワーの課題差Δｈｆが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｒｍｓｓｄの低周波帯のパワーの差分が大きいことを意味する。このような結果が得られたユーザには、高難易度の問題を解いた時に、脈波のｒｍｓｓｄの低周波帯のパワーの課題差が他のユーザと比べて大きくなる傾向があると言える。一方、脈波のｒｍｓｓｄの低周波帯のパワーの課題差Δｈｆが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、脈波のｒｍｓｓｄの低周波帯のパワーの差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、脈波のｒｍｓｓｄの低周波帯のパワーの課題差が他のユーザと比べて小さくなる傾向があると言える。
【0173】
図３３から、脈波のｒｍｓｓｄの低周波帯のパワーの課題差Δｈｆが大きいとき、問題の正解率Ｒが高くなり、脈波のｒｍｓｓｄの低周波帯のパワーの課題差Δｈｆが小さいとき、問題の正解率Ｒが小さくなることがわかる。このことから、難しい問題でも脈波のｒｍｓｓｄの低周波帯のパワーが大きい人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題で脈波のｒｍｓｓｄの低周波帯のパワーが小さくなる人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0174】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、脈波のｒｍｓｓｄの低周波帯のパワーの課題差Δｈｆが小さいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、脈波のｒｍｓｓｄの低周波帯のパワーの課題差Δｈｆが負方向に大きいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0175】
【0176】
図３４は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、精神性発汗のＳＣＲの個数のばらつきの課題差Δｈｇ[ｍｉｎ]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。課題差Δｈｇは、高難易度の問題を解いたときの精神性発汗のＳＣＲの個数のばらつきから、低難易度の問題を解いたときの精神性発汗のＳＣＲの個数のばらつきを減算することにより得られるベクトル量である。図３４には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図３４において、回帰式は、Ｒ＝ａ１６×Δｈｇ＋ｂ１６で表されている。
【0177】
精神性発汗のＳＣＲの個数のばらつきの課題差Δｈｇが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、精神性発汗のＳＣＲの個数のばらつきの差分が大きいことを意味する。このような結果が得られたユーザには、高難易度の問題を解いた時に、精神性発汗のＳＣＲの個数のばらつきの課題差が他のユーザと比べて大きくなる傾向があると言える。一方、精神性発汗のＳＣＲの個数のばらつきの課題差Δｈｇが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、精神性発汗のＳＣＲの個数のばらつきの差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、精神性発汗のＳＣＲの個数のばらつきの課題差が他のユーザと比べて小さくなる傾向があると言える。
【0178】
図３４から、精神性発汗のＳＣＲの個数のばらつきの課題差Δｈｇが大きいとき、問題の正解率Ｒが高くなり、精神性発汗のＳＣＲの個数のばらつきの課題差Δｈｇが小さいとき、問題の正解率Ｒが小さくなることがわかる。このことから、難しい問題でも精神性発汗のＳＣＲの個数のばらつきが大きい人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題で精神性発汗のＳＣＲの個数のばらつきが小さくなる人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0179】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、精神性発汗のＳＣＲの個数のばらつきの課題差Δｈｇが小さいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、精神性発汗のＳＣＲの個数のばらつきの課題差Δｈｇが負方向に大きいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0180】
【0181】
図３５は、高難易度の問題を解いたときと、低難易度の問題を解いたときの、精神性発汗のＳＣＲの個数の課題差Δｈｈ[ｍｓ２／Ｈｚ]と、高難易度の問題を解いたときの正解率Ｒ[％]との関係の一例を表したものである。課題差Δｈｈは、高難易度の問題を解いたときの精神性発汗のＳＣＲの個数から、低難易度の問題を解いたときの精神性発汗のＳＣＲの個数を減算することにより得られるベクトル量である。図３５には、ユーザごとのデータがプロットされており、ユーザ全体の特徴が回帰式（回帰直線）で表されている。図３５において、回帰式は、Ｒ＝ａ１７×Δｈｈ＋ｂ１７で表されている。
【0182】
精神性発汗のＳＣＲの個数の課題差Δｈｈが大きいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、精神性発汗のＳＣＲの個数の差分が大きいことを意味する。このような結果が得られたユーザには、高難易度の問題を解いた時に、精神性発汗のＳＣＲの個数の課題差が他のユーザと比べて大きくなる傾向があると言える。一方、精神性発汗のＳＣＲの個数の課題差Δｈｈが小さいということは、高難易度の問題を解いたときと、低難易度の問題を解いたときとで、精神性発汗のＳＣＲの個数の差分が小さいことを意味する。このような結果が得られたユーザには、問題の難易度が高くなると、精神性発汗のＳＣＲの個数の課題差が他のユーザと比べて小さくなる傾向があると言える。
【0183】
図３５から、精神性発汗のＳＣＲの個数の課題差Δｈｈが大きいとき、問題の正解率Ｒが高くなり、精神性発汗のＳＣＲの個数の課題差Δｈｈが小さいとき、問題の正解率Ｒが低くなることがわかる。このことから、難しい問題でも精神性発汗のＳＣＲの個数が大きい人は、正解率Ｒが高くなる（つまり、難しい問題でも、簡単な問題と同程度に正解できる）傾向を有することがわかる。逆に、難しい問題で精神性発汗のＳＣＲの個数が小さくなる人は、正解率Ｒが低くなる（つまり、難しい問題の正解率が下がる）傾向を有することがわかる。
【0184】
ここで、上述したように、図２１からは、正解率が高い時は覚醒度が低く、正解率が低い時は覚醒度が高いことが分かる。以上のことから、精神性発汗のＳＣＲの個数の課題差Δｈｈが小さいときは、ユーザの覚醒度が所定の基準よりも低くなっていると推察することが可能となる。また、精神性発汗のＳＣＲの個数の課題差Δｈｈが負方向に大きいときは、ユーザの覚醒度が所定の基準よりも高くなっていると推察することが可能となる。
【0185】
【0186】
また、上記第１～第３の実施の形態およびその変形例に係る回帰式において、例えば、図３６に示したように、反応時間のばらつきの課題差Δｔｖの代わりに、反応時間の中央値（median）の課題差Δｔｖが用いられてもよい。
【0187】
また、上記第１～第３の実施の形態およびその変形例において、回帰式は、直線（回帰直線）に限られるものではなく、例えば、曲線（回帰曲線）になっていてもよい。曲線（回帰曲線）は、例えば、２次関数となっていてもよい。覚醒度ｋ[%]と正解率Ｒ[%]との関係を規定した回帰式が、例えば、図３７に示したように、２次関数（Ｒ＝ａ×ｋ２＋ｂｋ＋ｃ）で規定されていてもよい。
【0188】
また、例えば、本開示は以下のような構成を取ることができる。
（１）
センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて前記対象生体の情動情報を推定する推定部と、
前記情動情報を表示面に表示する表示部と
を備えた
情報処理システム。
（２）
前記センサによるセンシング期間における非音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報および前記コンテキストを表示する
（１）に記載の情報処理システム。
（３）
前記表示部の表示を視認するユーザの顔の動画を、前記表示面に隣接して設けられたレンズを介して取得する撮像部を更に備え、
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
（２）に記載の情報処理システム。
（４）
前記センサによるセンシング期間における音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報および前記コンテキストを表示する
（１）に記載の情報処理システム。
（５）
前記情動情報は、前記対象生体の覚醒度および快不快の少なくとも一方である
（１）ないし（４）のいずれか１つに記載の情報処理システム。
（６）
前記コンテキストは、前記対象生体の動作および会話の少なくとも一方についての情報である
（１）ないし（５）のいずれか１つに記載の情報処理システム。
（７）
前記情動情報に基づいて振動する振動部を更に備えた
（１）ないし（６）のいずれか１つに記載の情報処理システム。
（８）
第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて前記第１対象生体の情動情報を推定する第１推定部と、
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報とを表示面に一緒に表示する表示部と
を備えた
情報処理システム。
（９）
前記第１センサおよび前記第２センサによるセンシング期間における非音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られたコンテキストとを前記表示面に一緒に表示する
（８）に記載の情報処理システム。
（１０）
前記第１対象生体は、前記表示部の表示を視認するユーザであり、
前記第２対象生体は、コミュニケーション相手である
（８）または（９）に記載の情報処理システム。
（１１）
前記ユーザの顔の動画を、前記表示面に隣接して設けられたレンズを介して取得する撮像部を更に備え、
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
（１０）に記載の情報処理システム。
（１２）
前記第１センサおよび前記第２センサによるセンシング期間における音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報を表示するとともに、前記音声のコンテキストをグラフィカルに表示する
（８）に記載の情報処理システム。
（１３）
前記第１推定部で得られた情動情報は、前記第１対象生体の覚醒度および快不快のいずれか１つであり、
前記第２推定部で得られた情動情報は、前記第２対象生体の覚醒度および快不快のいずれか１つである
（８）ないし（１２）のいずれか１つに記載の情報処理システム。
（１４）
前記コンテキストは、前記第１対象生体の動作および会話の少なくとも一方、ならびに前記第２対象生体の動作および会話の少なくとも一方の中で、少なくとも１つについての情報である
（８）ないし（１３）のいずれか１つに記載の情報処理システム。
（１５）
センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて前記対象生体の情動情報を推定する推定部と、
前記センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記推定部で得られた前記情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
（１６）
前記コンテキストは、非音声の情報であり、
当該情報処理システムは、前記情動情報および前記コンテキストを表示面に一緒に表示する表示部を更に備えた
（１５）に記載の情報処理システム。
（１７）
前記コンテキストは、音声の情報であり、
当該情報処理システムは、前記情動情報を表示するとともに、前記コンテキストをグラフィカルに表示する表示部を更に備えた
を更に備えた
（１５）に記載の情報処理システム。
（１８）
第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて前記第１対象生体の情動情報を推定する第１推定部と、
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１センサおよび前記第２センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
（１９）
当該情報処理システムは、前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記コンテキストとを表示面に一緒に表示する表示部を更に備えた
（１８）に記載の情報処理システム。
（１）
センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて前記対象生体の情動情報を推定する推定部と、
前記情動情報を表示面に表示する表示部と
を備えた
情報処理システム。
（２）
前記センサによるセンシング期間における非音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報および前記コンテキストを表示する
（１）に記載の情報処理システム。
（３）
前記表示部の表示を視認するユーザの顔の動画を、前記表示面に隣接して設けられたレンズを介して取得する撮像部を更に備え、
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
（２）に記載の情報処理システム。
（４）
前記センサによるセンシング期間における音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報および前記コンテキストを表示する
（１）に記載の情報処理システム。
（５）
前記情動情報は、前記対象生体の覚醒度および快不快の少なくとも一方である
（１）ないし（４）のいずれか１つに記載の情報処理システム。
（６）
前記コンテキストは、前記対象生体の動作および会話の少なくとも一方についての情報である
（１）ないし（５）のいずれか１つに記載の情報処理システム。
（７）
前記情動情報に基づいて振動する振動部を更に備えた
（１）ないし（６）のいずれか１つに記載の情報処理システム。
（８）
第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて前記第１対象生体の情動情報を推定する第１推定部と、
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報とを表示面に一緒に表示する表示部と
を備えた
情報処理システム。
（９）
前記第１センサおよび前記第２センサによるセンシング期間における非音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られたコンテキストとを前記表示面に一緒に表示する
（８）に記載の情報処理システム。
（１０）
前記第１対象生体は、前記表示部の表示を視認するユーザであり、
前記第２対象生体は、コミュニケーション相手である
（８）または（９）に記載の情報処理システム。
（１１）
前記ユーザの顔の動画を、前記表示面に隣接して設けられたレンズを介して取得する撮像部を更に備え、
前記表示部は、前記表示面のうち前記レンズ寄りの箇所に前記コンテキストを表示する
（１０）に記載の情報処理システム。
（１２）
前記第１センサおよび前記第２センサによるセンシング期間における音声のコンテキストを取得する取得部を更に備え、
前記表示部は、前記情動情報を表示するとともに、前記音声のコンテキストをグラフィカルに表示する
（８）に記載の情報処理システム。
（１３）
前記第１推定部で得られた情動情報は、前記第１対象生体の覚醒度および快不快のいずれか１つであり、
前記第２推定部で得られた情動情報は、前記第２対象生体の覚醒度および快不快のいずれか１つである
（８）ないし（１２）のいずれか１つに記載の情報処理システム。
（１４）
前記コンテキストは、前記第１対象生体の動作および会話の少なくとも一方、ならびに前記第２対象生体の動作および会話の少なくとも一方の中で、少なくとも１つについての情報である
（８）ないし（１３）のいずれか１つに記載の情報処理システム。
（１５）
センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて前記対象生体の情動情報を推定する推定部と、
前記センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記推定部で得られた前記情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
（１６）
前記コンテキストは、非音声の情報であり、
当該情報処理システムは、前記情動情報および前記コンテキストを表示面に一緒に表示する表示部を更に備えた
（１５）に記載の情報処理システム。
（１７）
前記コンテキストは、音声の情報であり、
当該情報処理システムは、前記情動情報を表示するとともに、前記コンテキストをグラフィカルに表示する表示部を更に備えた
を更に備えた
（１５）に記載の情報処理システム。
（１８）
第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて前記第１対象生体の情動情報を推定する第１推定部と、
第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて前記第２対象生体の情動情報を推定する第２推定部と、
前記第１センサおよび前記第２センサによるセンシング期間におけるコンテキストを取得する取得部と、
前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記取得部で得られた前記コンテキストとを互いに関連付ける関連付け部と
を備えた
情報処理システム。
（１９）
当該情報処理システムは、前記第１推定部で得られた情動情報と、前記第２推定部で得られた情動情報と、前記コンテキストとを表示面に一緒に表示する表示部を更に備えた
（１８）に記載の情報処理システム。
【0189】
本開示の第１の側面に係る情報処理システムでは、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報が推定され、表示面に表示される。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。従って、お互いの相性をより正確に判断することが可能である。
【0190】
本開示の第２の側面に係る情報処理システムでは、第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて第１対象生体の情動情報が推定される。さらに、第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて第２対象生体の情動情報が推定される。そして、第１推定部で得られた情動情報と、第２推定部で得られた情動情報とが表示面に一緒に表示される。これにより、例えば、第１対象生体がユーザ自身であり、第２対象生体がコミュニケーション相手である場合には、ユーザは、双方の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、双方の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。従って、お互いの相性をより正確に判断することが可能である。
【0191】
本開示の第３の側面に係る情報処理システムでは、センサによって得られた対象生体の生体情報および動作情報の少なくとも１つに基づいて対象生体の情動情報が推定される。さらに、センサによるセンシング期間におけるコンテキストが取得される。そして、推定部で得られた情動情報と、取得部で得られたコンテキストとが互いに関連付けられる。これにより、例えば、対象生体がコミュニケーション相手の場合には、ユーザは、相手の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、相手の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。また、例えば、対象生体がユーザ自身の場合には、ユーザは、ユーザ自身の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、ユーザ自身の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手との関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。従って、お互いの相性をより正確に判断することが可能である。
【0192】
本開示の第４の側面に係る情報処理システムでは、第１センサによって得られた第１対象生体の第１生体情報および第１動作情報の少なくとも１つに基づいて第１対象生体の情動情報が推定される。さらに、第２センサによって得られた第２対象生体の第２生体情報および第２動作情報の少なくとも１つに基づいて第２対象生体の情動情報が推定される。さらに、第１センサおよび第２センサによるセンシング期間におけるコンテキストが取得される。そして、第１推定部で得られた情動情報と、第２推定部で得られた情動情報と、取得部で得られたコンテキストとが互いに関連付けられる。これにより、例えば、第１対象生体がユーザ自身であり、第２対象生体がコミュニケーション相手である場合には、ユーザは、双方の情動情報に基づいて、相手との関係構築に必要な要素を類推することができる。ここで、双方の情動情報はお互いのコミュニケーションの過程で得られる客観的な情報である。従って、相手の行動履歴、趣向情報および属性情報に基づいて、相手の人柄や関係構築に必要な要素を類推する場合と比べて、より正確な類推を行うことが可能である。従って、お互いの相性をより正確に判断することが可能である。
【符号の説明】
【0193】
１０…電子機器、１０ａ…表示面、１０ｂ…メッセージ、１１ｂ…カメラレンズ、１１…カメラ、１２…マイク、１３…センサ入力受付部、１４…ユーザ入力受付部、１５…信号処理部、１６…記憶部、１６ａ…情報処理プログラム、１６ｂ…識別子、１６ｃ…情動情報、１６ｄ…コンテキスト、１６ｅ‥情報処理プログラム、１７ａ…映像信号生成部、１７ｂ…音声信号生成部、１８ａ…映像表示部、１８ｂ…スピーカ、１９…通信部、２０…生体センサ、２１ａ…振動信号生成部、２１ｂ…振動部、３０…ネットワーク、４０…電子機器、５０…サーバ装置、５１…通信部、５２…信号処理部、５３…記憶部、５３ａ…情報処理プログラム、１００，２００…情報処理システム、３００…情報処理装置、３１０…デバイス、４００…ヘッドマウントディスプレイ、４０１…パッド部、４０２…バンド部、４０３…検出電極、５００…ヘッドバンド、５０１，５０２…バンド部、５０３…検出電極、６００…ヘッドフォン、６０１…バンド部、６０２…イヤーパッド、６０３…検出電極、７００…イヤフォン、７０１…イヤーピース、７０２…検出電極、８００…時計、８０１…表示部、８０２…バンド部、８０３…バックル部、８０４…検出電極、９００…眼鏡、９０１…つる、９０２…検出電極。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】