特開 2023-72467 情報処理方法、情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023072467

(43)【公開日】2023-05-24

(54)【発明の名称】情報処理方法、情報処理システム及びプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20230517BHJP

   G16H 10/00 20180101ALI20230517BHJP

【ＦＩ】

A61B5/16 120

G16H10/00

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021185041

(22)【出願日】2021-11-12

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】奥谷 晃久

【テーマコード（参考）】

4C038

5L099

【Ｆターム（参考）】

4C038PP03

4C038PP05

4C038PS00

4C038PS03

5L099AA04

(57)【要約】

【課題】人の感情から対象に対して人が受ける印象を容易に推定することができる情報処理方法を提供する。
【解決手段】情報処理方法は、コンピュータが行う情報処理方法であって、人１の感情を示す感情情報を取得し（Ｓ０２）、複数の感情と複数の印象との対応関係に基づいて、取得された感情情報から対象に対して人１が受ける印象である感情印象を推定する（Ｓ０３）。
【選択図】図４

【特許請求の範囲】

【請求項1】

コンピュータが行う情報処理方法であって、
人の感情を示す感情情報を取得し、
複数の感情と複数の印象との対応関係に基づいて、取得された前記感情情報から対象に対して前記人が受ける印象である感情印象を推定する、
情報処理方法。

【請求項2】

さらに、前記人の周囲の環境のセンシングデータを環境情報として取得し、
複数の環境と複数の印象との対応関係に基づいて、取得された前記環境情報から前記対象に対して前記人が受ける印象である環境印象を推定する、
請求項１に記載の情報処理方法。

【請求項3】

さらに、推定された前記感情印象と前記環境印象とに基づいて前記対象に対して前記人が受ける印象を示す印象情報を導出する、
請求項２に記載の情報処理方法。

【請求項4】

前記印象情報の導出では、
前記感情印象及び前記環境印象の平均値を前記印象情報として導出する、
請求項３に記載の情報処理方法。

【請求項5】

前記印象情報の導出では、
前記感情印象及び前記環境印象のそれぞれに重みづけを行い、重み付け後の前記感情印象及び前記環境印象の和を前記印象情報として導出する、
請求項３に記載の情報処理方法。

【請求項6】

前記感情情報の取得では、
前記人の主観、生体情報、及び、行動情報のうち少なくとも前記生体情報に基づいて推定された前記感情情報を取得する、
請求項１～５のいずれか１項に記載の情報処理方法。

【請求項7】

前記感情印象の推定では、
感情情報と感情印象とが紐づけられて格納されたデータベースに基づいて前記人の前記感情情報から前記感情印象を推定する、
請求項１～６のいずれか１項に記載の情報処理方法。

【請求項8】

前記感情印象の推定では、
取得された前記感情情報を学習済みの機械学習モデルに入力することにより得られる出力結果に基づいて前記感情印象を推定する、
請求項１～６のいずれか１項に記載の情報処理方法。

【請求項9】

前記環境印象の推定では、
環境情報と環境印象とが紐づけられて格納されたデータベースに基づいて前記人の前記環境情報から前記環境印象を推定する、
請求項２～５のいずれか１項に記載の情報処理方法。

【請求項10】

前記環境印象の推定では、
取得された前記環境情報を学習済みの機械学習モデルに入力することにより得られる出力結果に基づいて前記環境印象を推定する、
請求項２～５のいずれか１項に記載の情報処理方法。

【請求項11】

人の感情を示す感情情報を取得する取得部と、
複数の感情と複数の印象との対応関係に基づいて、取得された前記感情情報から対象に対して前記人が受ける印象である感情印象を推定する推定部と、
を備える、
情報処理システム。

【請求項12】

人の感情を示す感情情報を取得し、
複数の感情と複数の印象との対応関係に基づいて、取得された前記感情情報から対象に対する前記人が受ける印象である感情印象を推定する、
ことをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理システム及びプログラムに関する。

【背景技術】

【0002】

従来、人の感性（感情及び印象）を推定する情報処理方法として、ユーザに対して画像、音声などの刺激情報を提示した後のユーザの応答に基づいて、ユーザの感情状態を分析し、ユーザの感性に適合した情報を提供する方法が提案されている（例えば、特許文献１参照）。この情報処理方法では、ユーザは、刺激情報として提示された画像、音声などによって得た印象、感情に応じて質問に対する応答を行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００－１６３４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１の情報処理方法では、ユーザは、刺激情報として提示された画像、音声などによって得た印象、感情に応じて質問に対する応答を行うため、ユーザの負担が大きいという課題がある。

【0005】

そこで、本発明は、人の感情から対象に対して人が受ける印象を容易に推定することができる情報処理方法、情報処理システム及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理方法は、コンピュータが行う情報処理方法であって、人の感情を示す感情情報を取得し、複数の感情と複数の印象との対応関係に基づいて、取得された前記感情情報から対象に対して前記人が受ける印象である感情印象を推定する。

【0007】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

【発明の効果】

【0008】

本発明に係る情報処理方法、情報処理システム及びプログラムは、人の感情から対象に対して人が受ける印象を容易に推定することができる。

【0009】

本発明の一態様における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施の形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る情報処理方法の概要を説明するための図である。

【図2】図２は、実施の形態に係る情報処理方法の概要を説明するための図である。

【図3】図３は、実施の形態における情報処理システムの構成の一例を示すブロック図である。

【図4】図４は、実施の形態における情報処理システムの処理動作の一例を示すフローチャートである。

【図5】図５は、環境情報及び感情情報の例を示す図である。

【図6】図６は、感情印象の推定処理を模式的に説明するための図である。

【図7】図７は、図６の（ａ）に示される推定処理の一例を模式的に示す図である。

【図8】図８は、感情印象の推定処理を模式的に説明するための図である。

【図9】図９は、印象情報の導出処理を模式的に説明するための図である。

【図10】図１０は、提示例を示す図である。

【図11】図１１は、感情印象の抽出例を模式的に示す図である。

【発明を実施するための形態】

【0011】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0012】

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0013】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

【0014】

（実施の形態）
［１．概要］
まず、本実施の形態に係る情報処理方法について概要を説明する。図１及び図２は、実施の形態に係る情報処理方法の概要を説明するための図である。

【0015】

情報処理方法は、人の感情から対象に対して人が受ける印象を推定するために１以上のコンピュータが行う情報処理方法である。本実施の形態に係る情報処理方法は、図１に示されるように、例えば、人１の生体情報（例えば、脳波）を取得する生体センサ１０と、人１の周囲の環境のセンシングデータ（物理量ともいう）を取得する環境センサ２０と、推定装置３０と、ユーザが使用する端末装置４０とを備える情報処理システム１００により行われる。

【0016】

ここで、印象は、対象に関する知識及び経験と、対象から新たに得た情報に基づいて、その対象が「自分にとってどうか」を評価した結果を表す。「自分にとってどうか」とは、対象の性質に関する個人の心理的な反応を示している。

【0017】

また、感情は、人が心的過程の中で行う様々な情報処理のうちで、人、物、出来事、環境についてする「評価的な反応」を表す。

【0018】

例えば、図１では、対象は、部屋５であるとする。人１が明るい部屋５に入ると、その部屋５に対して明るい印象を受ける。その後に感情が生じる。例えば、人１は、明るい部屋５に居るので自分の気持ちまでも明るくなると感じる。しかしながら、例えば、明るい部屋５を好まない人であれば、その人は、部屋５に対して明るい印象を受けたけれども、明るい部屋５に居るので落ち着かない、又は、不快であるなどの負の感情を抱く場合もある。このように、感情と印象とは関連している。そのため、本実施の形態に係る情報処理方法では、複数の感情と複数の印象との対応関係に基づいて、人１の感情から対象に対して人１が受ける印象を推定する。なお、ここでは、部屋５を例に説明したが、対象は、音楽、又は、香りなどの無形物であってもよいし、照明機器などの有形物であってもよいし、壁又はパーティションなどで区画された空間であってもよい。

【0019】

また、図２のピラミッド型のモデルで示されるように、物理量と印象とも関連している。ここでは、物理量は、人１の周囲の環境のセンシングデータであるが、対象が音楽であれば音圧及び音の周波数帯域のデータを環境情報に含めてもよいし、対象が香りであれば香りの組成に関するデータを環境情報に含めてもよい。人１が対象に対して受ける印象は、対象そのものの性質に関連するデータだけではなく、人１の周囲の環境に影響され得るからである。図１の例では、例えば、人が明るい部屋に入ったときに、部屋の輝度が明るく、色は白っぽいなどの物理量が目に入る。これにより、人はその部屋に対して明るい印象を受ける。その後、人は、部屋が明るいから自分の気持ちも明るくなったと感じる。このように、物理量と印象と感情とは一連のつながりを持っている。したがって、本実施の形態に係る情報処理方法では、人の感情から印象（感情印象）を推定し、また、人の周囲の環境のセンシングデータ（物理量）から印象（環境印象）を推定し、さらに、感情印象と環境印象とに基づいて対象（例えば、部屋５）に対して人１が受ける印象を導出する。

【0020】

より具体的には、例えば、実施の形態に係る情報処理方法では、図２の（ａ）に示される感情（感情情報）から、図２の（ｃ）に示される印象（いわゆる、感情印象）を推定し、また、図２の（ｂ）に示される物理量（環境情報）から印象（いわゆる、環境印象）を推定することができる。さらに、実施の形態に係る情報処理方法では、感情印象と環境印象とに基づいて、図２の（ｄ）に示される部屋５に対して受ける人１が印象を導出する。

【0021】

［２．構成］
続いて、実施の形態における情報処理システム１００の構成について説明する。図３は、実施の形態における情報処理システム１００の構成の一例を示すブロック図である。

【0022】

本発明の情報処理システムは、少なくとも取得部３２ａと、推定部３２ｂとを備える。本実施の形態では、図３に示されるように、例えば、情報処理システム１００は、生体センサ１０と、環境センサ２０と、推定装置３０と、端末装置４０とを備える。

【0023】

［生体センサ］
生体センサ１０は、人１の生体情報を取得するセンサである。生体情報は、例えば、脈拍、心拍、脳波、発汗量、又は、血中酸素濃度などである。生体センサ１０は、例えば、図１に示されるように、人１に装着され、人１の脈波又は脳波を計測し、計測された脈波又は脳波のデータを推定装置３０へ送信する。生体センサ１０は、例えば、脳波センサであるが、脈波センサであってもよい。生体センサ１０は、例えば、イヤーフック型（耳掛け型）のデバイスであり、人１の頭部に接するように配置された電極と、耳たぶに接するように配置されたリファレンス電極とを有する。また、生体センサ１０は、ネックバンド型のデバイスであってもよいし、ヘッドギア型のデバイスであってもよい。生体センサ１０がヘッドギア型のデバイスである場合、ユーザの頭皮、又は、ユーザの額に装着する電極と、ユーザの耳たぶに装着するリファレンス電極を有してもよい。生体センサ１０は、推定装置３０と通信可能に接続されている。生体センサ１０と推定装置３０との間の通信は、例えば、無線通信であるが、有線通信であってもよい。通信の規格は特に限定されないが、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）であってもよい。なお、生体センサ１０は、端末装置４０と通信可能に接続されてもよい。この場合、生体センサ１０は、端末装置４０を介して、又は、端末装置４０を介さずに、生体情報を推定装置３０に送信する。

【0024】

［環境センサ］
環境センサ２０は、例えば、図１に示されるように、部屋に設置され、人１の周囲の環境の温度、湿度、照度、及び、二酸化炭素（ＣＯ_２）濃度などのセンシングデータを取得する。環境センサ２０は、例えば、温度計、湿度計、照度計、及び、ＣＯ_２濃度計の少なくともいずれかである。環境センサ２０は、推定装置３０と通信可能に接続されている。環境センサ２０と推定装置３０との間の通信は、例えば、無線通信であるが、有線通信であってもよい。通信の規格は特に限定されないが、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）であってもよい。なお、環境センサ２０は、端末装置４０と通信可能に接続されてもよい。この場合、環境センサ２０は、端末装置４０を介して、又は、端末装置４０を介さずに、センシングデータを環境情報として推定装置３０に送信する。

【0025】

［推定装置］
推定装置３０は、生体センサ１０により取得された生体情報に基づいて人１の感情を推定し、推定された感情を示す感情情報から対象に対して人１が受ける印象（いわゆる、感情印象）を推定する。また、推定装置３０は、環境センサ２０により取得された環境情報から対象に対して人１が受ける印象（いわゆる、環境印象）を推定する。また、推定装置３０は、推定された感情印象と環境印象とに基づいて対象に対して人１が受ける印象を示す印象情報を導出する。推定装置３０は、感情印象、環境印象及び印象情報を端末装置４０へ出力してもよい。

【0026】

推定装置３０は、例えば、通信部３１と、情報処理部３２と、記憶部３３と、学習部３６と、を備える。推定装置３０は、例えば、エッジサーバであるが、クラウドサーバであってもよい。

【0027】

通信部３１は、推定装置３０が生体センサ１０、環境センサ２０及び端末装置４０と通信を行うための通信回路（言い換えると、通信モジュール）である。例えば、通信部３１は、局所通信ネットワークを介して通信するための通信回路（通信モジュール）と、広域通信ネットワークを介して通信するための通信回路（通信モジュール）とを備えてもよい。通信部３１は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、通信部３１が行う通信の通信規格については特に限定されない。

【0028】

情報処理部３２は、上述の人１の感情の推定処理、感情印象の推定処理、環境印象の推定処理、及び、対象に対する人１が受ける印象（以下、人１の対象に対する印象ともいう）を示す印象情報の導出処理に関する各種情報処理を行う。情報処理部３２は、具体的には、マイクロコンピュータ又はプロセッサによって実現される。

【0029】

情報処理部３２は、機能的な構成要素として、取得部３２ａと、推定部３２ｂと、出力部３２ｃとを有する。これらの構成要素の機能は、例えば、情報処理部３２を構成するマイクロコンピュータ又はプロセッサが記憶部３３に記憶されたコンピュータプログラムを実行することにより実現される。取得部３２ａ、推定部３２ｂ、及び、出力部３２ｃの機能の詳細については、［３．動作］の項にて後述される。

【0030】

記憶部３３は、上記情報処理に必要な各種情報、上記コンピュータプログラムなどが記憶される記憶装置である。記憶部３３には、例えば、データベース３４及び機械学習モデル３５が格納されている。記憶部３３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）によって実現されるが、半導体メモリによって実現されてもよい。

【0031】

データベース３４は、感情情報と感情印象とが紐づけられて格納された感情－印象データベースと、環境情報と環境印象とが紐づけられて格納された環境－印象データベースとを含む。感情－印象データベースは、例えば、複数の被検者のそれぞれについて、生体情報、行動情報、及び、印象に関する被検者の主観的な評価結果の少なくともいずれかに基づいて推定された感情情報と感情印象とが紐づけられて格納されている。生体情報は、上述したためここでの説明を省略する。行動情報は、例えば、カメラにより撮影された画像から取得される人１の頭の動きなどの状態、眼（目頭、虹彩、角膜反射、もしくは、瞳孔など）の状態、又は、表情などの人１の身体の動きを示す情報である。感情情報は、例えば、ラッセルの円環モデル内の心理状態を示す点の位置（つまり、座標）である。環境－印象データベースは、例えば、温度、湿度、照度、及び、二酸化炭素濃度などのセンシングデータ（環境情報）と環境印象とが紐づけられて格納されている。

【0032】

機械学習モデル３５は、例えば、データベース３４に格納されたデータに基づいて構築される。例えば、機械学習モデル３５は、感情情報と感情印象との関係性を示すモデルと、環境情報と環境印象との関係性を示すモデルとを含んでもよいし、個別のモデルとして記憶部３３に格納されてもよい。機械学習モデル３５は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）であるが、これに限られない。

【0033】

学習部３６は、機械学習モデル３５の学習を行う。例えば、学習部３６は、データベース３４を用いて学習を行ってもよい。

【0034】

［端末装置］
端末装置４０は、ユーザにより操作される端末である。端末装置４０は、ノートパソコン、スマートフォン又はタブレット端末などの携帯型の端末装置であってもよいし、コンピュータ装置などの据え置き型の端末装置であってもよい。

【0035】

端末装置４０は、例えば、通信部４１と、制御部４２と、記憶部４３と、受付部４４と、提示部４５とを備える。

【0036】

通信部４１は、端末装置４０が推定装置３０と通信を行うための通信回路（言い換えると、通信モジュール）である。例えば、通信部４１は、局所通信ネットワークを介して通信するための通信回路（通信モジュール）と、広域通信ネットワークを介して通信するための通信回路（通信モジュール）とを備えてもよい。通信部４１は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、通信部４１が行う通信の通信規格については特に限定されない。

【0037】

なお、通信部４１は、端末装置４０が生体センサ１０及び環境センサ２０と通信を行うための通信回路（通信モジュール）であってもよい。この場合、通信部４１は、生体センサ１０及び環境センサ２０から生体情報及び環境情報を取得して、推定装置３０へ出力してもよい。

【0038】

制御部４２は、受付部４４によって受け付けられた操作入力に基づいて、端末装置４０に関する各種情報処理を行う。制御部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。

【0039】

記憶部４３は、制御部４２が実行するための専用のアプリケーションプログラムなどが記憶される記憶装置である。記憶部４３は、例えば、半導体メモリなどによって実現される。

【0040】

受付部４４は、端末装置４０のユーザによる操作入力を受け付ける入力インタフェースである。受付部４４は、具体的には、タッチパネルディスプレイなどによって実現される。例えば、受付部４４がタッチパネルディスプレイを搭載している場合は、タッチパネルディスプレイが提示部４５及び受付部４４として機能する。なお、受付部４４は、タッチパネルディスプレイに限らず、例えば、キーボード、ポインティングデバイス（例えば、タッチペン若しくはマウス）、又は、ハードウェアボタンなどであってもよい。また、受付部４４は、音声による入力を受け付ける場合、マイクロフォンであってもよい。

【0041】

提示部４５は、推定装置３０によって出力された情報が提示される。当該情報は、例えば、感情印象、環境印象、及び、印象情報などである。提示部４５は、例えば、文字などを含む画像情報を表示する表示装置である。さらに、提示部４５は、音声情報を出力する音声出力装置を備えてもよい。表示装置は、例えば、液晶（ＬＣ）パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどを表示デバイスとして含むディスプレイである。また、音声出力装置は、例えば、スピーカ又はイヤフォンである。例えば、提示部４５は、画像情報を表示装置に表示してもよく、音声情報を音声出力装置により出力してもよく、画像情報及び音声情報の両方を提示してもよい。

【0042】

［３．動作］
次に、実施の形態における情報処理システム１００の動作について図面を参照しながら説明する。図４は、実施の形態における情報処理システム１００の処理動作の一例を示すフローチャートである。

【0043】

図示していないが、端末装置４０の受付部４４が処理開始の指示を受け付けると、端末装置４０の制御部４２は、通信部４１を介して、当該指示を推定装置３０へ出力する。推定装置３０の情報処理部３２は、通信部３１を介して、当該指示を取得すると、生体センサ１０及び環境センサ２０へセンシング開始の指示を出力する。生体センサ１０及び環境センサ２０は、それぞれ、当該指示を取得すると、人１の生体状態及び人１の周囲の環境のセンシングを開始し、センシングデータを推定装置３０へ送信する。

【0044】

次に、推定装置３０の通信部３１は、生体センサ１０及び環境センサ２０により送信されたセンシングデータを受信すると、受信されたセンシングデータを情報処理部３２へ出力する（不図示）。

【0045】

次に、情報処理部３２の取得部３２ａは、センシングデータを取得すると（Ｓ０１）、取得されたセンシングデータのうち生体センサ１０によるセンシングデータ（いわゆる、生体情報）から推定される人１の感情を示す感情情報を取得する（Ｓ０２）。図示していないが、取得部３２ａは、ステップＳ０１で取得されたセンシングデータを記憶部３３に格納する。より具体的には、取得部３２ａは、環境センサ２０から取得されたセンシングデータを環境情報として記憶部３３に格納し、生体センサ１０から取得されたセンシングデータを生体情報として記憶部３３に格納する。また、ステップＳ０２の後、取得部３２ａは、生体情報から取得された感情情報を、環境情報に紐づけて記憶部３３に格納する（図５参照）。

【0046】

図５は、環境情報及び感情情報の例を示す図である。図５に示されるように、記憶部３３には、例えば、温度、湿度、照度、及び、二酸化炭素濃度などのセンシングデータ（いわゆる、環境情報）と、生体情報、行動情報及び人１の主観のうち少なくとも生体情報に基づいて取得された感情情報とが、センシング時間毎に紐づけられて格納されている。感情情報は、例えば、図２の（ａ）に示されるラッセルの円環モデルにおける快－不快軸及び覚醒－眠気軸上の値（例えば、座標）で表される。生体情報は、生体センサ１０によるセンシングデータに加えて、人１の生体から分泌される汗の匂いを検知する匂いセンサによるセンシングデータを含んでもよい。行動情報は、上述したように、カメラにより撮影された画像から取得される人１の頭の状態、目の状態又は表情などの人１の動きを示す情報である。行動情報は、例えば、ＰＣの操作履歴などの人１の動作を示す情報を含んでもよい。また、人１の主観は、例えば、Ａｆｆｅｃｔ Ｇｒｉｄなどのアンケートに対する回答である。

【0047】

再び、図４を参照する。推定装置３０の取得部３２ａは、ステップＳ０１及びＳ０２で環境情報及び感情情報を取得すると、これらの情報を記憶部３３に格納するとともに、推定部３２ｂへ出力する（不図示）。

【0048】

次に、推定部３２ｂは、複数の感情と複数の印象との対応関係に基づいて、ステップＳ０２で取得された感情情報から人１が対象物（例えば、図１の部屋５）に対して受ける印象である感情印象を推定する（Ｓ０３）。

【0049】

ここで、ステップＳ０３の処理動作について図６及び図７を参照しながらより具体的に説明する。図６は、感情印象の推定処理を模式的に説明するための図である。図７は、図６の（ａ）に示される推定処理の一例を模式的に示す図である。

【0050】

図６の（ａ）、図６の（ｂ）及び図６の（ｃ）は、それぞれ、異なる環境条件での人１の感情情報から感情印象を推定する処理を模式的に示す図である。より具体的には、異なる環境条件は、後述する図８の（ａ）、図８の（ｂ）及び図８の（ｃ）の環境情報を指す。つまり、図６の（ａ）、図６の（ｂ）及び図６の（ｃ）の感情情報は、それぞれ、図８の（ａ）、図８の（ｂ）及び図８の（ｃ）の環境情報を有する環境下での人１の感情である。なお、図６及び図７では、感情情報を感情、感情印象を印象と表記している。

【0051】

図６の（ａ）における人１の感情（いわゆる、感情情報）は、ラッセルの円環モデルの第１象限に位置する。つまり、図６の（ａ）における人１の感情は、覚醒度が高く、かつ、快度も高い。このとき、ラッセルの円環モデル上の点（つまり、人１の感情を示す点）の座標が（快，覚醒）＝（１，１）である場合、この点に対応する感情と印象とを繋ぐマップ上の点は、（快適感，覚醒感）＝（１，１）である。推定部３２ｂは、このマップ上の点に紐づけられている複数の印象（いわゆる、感情印象）とそれぞれの印象のマップ上での数値（適合度という）を取得する。

【0052】

また、図６の（ｂ）における人１の感情（いわゆる、感情情報）は、ラッセルの円環モデルの第４象限に位置する。つまり、図６の（ｂ）における人１の感情は、覚醒度が低く、かつ、快度が高い。図６の（ａ）と同様に、ラッセルの円環モデル上の点と、感情と印象とを繋ぐマップ上の点は、対応している。推定部３２ｂは、当該マップ上の点に紐づけられている複数の印象（いわゆる、感情印象）とそれぞれの印象の当該マップ上での数値（適合度）を取得する。

【0053】

また、図６の（ｃ）における人１の感情（いわゆる、感情情報）は、ラッセルの円環モデルの第２象限と第３象限との境界に位置する。具体的には、人１の感情を示す点は、ラッセルの円環モデルの快―不快軸上に位置し、覚醒度がゼロで、快度がゼロよりも低い。推定部３２ｂは、ラッセルの円環モデル上の点に対応する感情と印象とを繋ぐマップ上の点に紐づけられている複数の印象（いわゆる、感情印象）とそれぞれの印象の当該マップ上での数値（いわゆる、適合度）を取得する。

【0054】

なお、感情と印象とを繋ぐマップは、図７に示されるように、数値データとして、感情－印象データベースに格納されてもよい。例えば、図６の（ａ）に示される推定処理について説明すると、推定部３２ｂは、感情－印象データベースに基づいて、人１の感情情報（ここでは、快、覚醒の座標情報）に紐づけられている印象（感情印象）と適合度とを抽出することにより、感情印象を推定してもよい。すなわち、ステップＳ０３の処理では、推定部３２ｂは、感情情報と感情印象とが紐づけられて格納された感情－印象データベースに基づいて人１の感情情報から感情印象を推定してもよい。なお、ステップＳ０３の処理では、推定部３２ｂは、感情－印象データベースに基づいて構築された機械学習モデルに、ステップＳ０２で取得された感情情報を入力して得られる出力結果に基づいて感情印象を推定してもよい。この場合、推定部３２ｂは、出力結果のうち上位数個を感情印象として推定してもよい。

【0055】

再び、図４を参照する。推定部３２ｂは、複数の環境と複数の印象との対応関係に基づいて、ステップＳ０１で取得されたセンシングデータのうち環境センサ２０によるセンシングデータ（いわゆる、環境情報）から人１が対象物（例えば、図１の部屋５）に対して受ける印象である環境印象を推定する（Ｓ０４）。

【0056】

ここで、ステップＳ０４の処理動作について図８を参照しながらより具体的に説明する。図８は、環境印象の推定処理を模式的に説明するための図である。なお、図８では、環境情報を物理量、環境印象を印象と表記している。

【0057】

図８に示される物理量と印象とを繋ぐマップとは、例えば、照度、色温度及び温度（例えば、室温）の３軸で表される三次元座標上の点に複数の印象（いわゆる、環境印象）とそれぞれの印象の当該三次元座標上の数値（適合度ともいう）とが紐づけられたマップである。

【0058】

例えば、図８の（ａ）における物理量が高照度、高色温度及び涼しい温度である場合、推定部３２ｂは、当該物理量を表す当該三次元座標上の点に対応する物理量と印象とを繋ぐマップ上の点に紐づけられている複数の印象（いわゆる、環境印象）とそれぞれの印象の当該三次元座標上での数値（いわゆる、適合度）を取得する。

【0059】

また、図８の（ｂ）における物理量が高照度、高色温度及び暖かい温度である場合、推定部３２ｂは、当該物理量を表す当該三次元座標上の点に対応する物理量と印象とを繋ぐマップ上の点に紐づけられている複数の印象（いわゆる、環境印象）とそれぞれの印象の当該三次元座標上での数値（いわゆる、適合度）を取得する。

【0060】

また、図８の（ｃ）における物理量が低照度、低色温度及び暖かい温度である場合、推定部３２ｂは、当該物理量を表す当該三次元座標上の点に対応する物理量と印象とを繋ぐマップ上の点に紐づけられている複数の印象（いわゆる、環境印象）とそれぞれの印象の当該三次元座標上での数値（いわゆる、適合度）を取得する。

【0061】

なお、物理量と印象とを繋ぐマップは、感情と印象とを繋ぐマップと同様に、数値化されてデータベース（例えば、環境－印象データベース）に格納されてもよい。すなわち、ステップＳ０４の処理では、推定部３２ｂは、環境情報と環境印象とが紐づけられて格納された環境－印象データベースに基づいて人１の周囲の環境情報から環境印象を推定してもよい。なお、ステップＳ０４の処理では、推定部３２ｂは、感情－印象データベースに基づいて構築された機械学習モデルに、ステップＳ０１で取得されたセンシングデータのうち環境情報を入力して得られる出力結果に基づいて環境印象を推定してもよい。この場合、推定部３２ｂは、出力結果のうち上位数個を環境印象として推定してもよい。

【0062】

再び、図４を参照する。推定部３２ｂは、ステップＳ０３で推定された感情印象と、ステップＳ０４で推定された環境印象とに基づいて、人１の対象（ここでは、図１の部屋５）に対する印象を示す印象情報を導出する（Ｓ０５）。

【0063】

ここで、ステップＳ０５の処理動作について図９を参照しながらより具体的に説明する。図９は、印象情報の導出処理を模式的に説明するための図である。なお、図９の（ａ）では、印象と感情から推定した適合度とで表される情報が感情印象を示し、印象と物理量から推定した適合度とで表される情報が環境印象を示している。また、図９の（ｂ）及び図９の（ｃ）では、印象情報は、印象と適合度とで表される情報を示している。

【0064】

例えば、図９の（ａ）及び図９の（ｂ）に示されるように、推定部３２ｂは、感情印象及び環境印象の平均値を印象情報として導出してもよい。これにより、人１の感情と人１の周囲の環境情報とに基づいて人１の対象（例えば、図１の部屋５）に対する印象を導出することができるため、感情印象よりも精度良く人１の対象に対する印象を推定することができる。

【0065】

また、例えば、図９の（ａ）及び図９の（ｃ）に示されるように、推定部３２ｂは、感情印象及び環境印象のそれぞれに重み付けを行い、重み付け後の感情印象及び環境印象の和を印象情報として導出してもよい。例えば、人１の感情をより反映させた印象を導出する場合、推定部３２ｂは、感情印象：環境印象＝７：３に重み付けをしてもよい。これにより、人１の対象に対する印象が人１の感情に影響を受けやすい場合に、重み付けにより導出することができる。

【0066】

再び、図４を参照する。図示していないが、推定部３２ｂは、推定された感情印象、環境印象、及び、印象情報を記憶部３３に格納すると、端末装置４０に推定処理及び導出処理が完了したことを通知してもよい。端末装置４０の制御部４２は、通信部４１を介して当該通知を取得すると、提示部４５に当該通知を提示させる。そして、端末装置４０の受付部４４が提示指示を受け付けると、制御部４２は通信部４１を介して推定装置３０へ提示指示を出力する。

【0067】

次に、推定装置３０の情報処理部３２が通信部３１を介して当該提示指示を取得すると、出力部３２ｃは、当該提示指示に含まれる情報を端末装置４０へ出力する（不図示）。例えば、出力部３２ｃは、感情印象、環境印象、及び、印象情報の少なくともいずれかの情報を端末装置４０へ出力する（Ｓ０６）。

【0068】

次に、端末装置４０の制御部４２は、通信部４１を介して当該情報を取得すると、提示部４５に当該情報を提示させる（Ｓ０７）。図１０は、提示例を示す図である。ステップＳ０７では、図１０に示されるように、端末装置４０の提示部４５は、例えば、少なくとも印象情報を提示する場合、感情情報と、環境情報と、印象情報とを提示してもよい。これにより、ユーザは、人１の感情及び人１の周囲の環境と、人１が対象に対して受ける印象との関係性を視覚的に確認することができる。なお、図１０の提示例に限られず、提示部４５は、ユーザの提示指示に従って出力された情報を提示する。

【0069】

なお、図面の見やすさの観点から、図６～図１０では、上位３つの印象（感情印象、環境印象、又は、印象）のみ記載したが、これらの例に限られない。例えば、推定部３２ｂは、マップ上の感情及び物理量を示す点に紐づけられたすべての印象を抽出してもよいし、閾値以上の適合度を有する印象を抽出してもよいし、適合度の高い順に設定された個数の印象を抽出してもよい。図１１は、感情印象の抽出例を模式的に示す図である。例えば、図１１に示されるように、推定部３２ｂは、ラッセルの円環モデル上の感情を示す点と対応する点に感情と印象とを繋ぐマップ上で紐づけられたすべての印象（いわゆる、感情印象）のうち、適合度の高い順に上位３つの感情印象を推定結果として抽出してもよい。これにより、ユーザは、関係性の高い推定結果のみを確認することができる。

【0070】

［４．効果等］
以上説明したように、情報処理方法は、情報処理システム１００などのコンピュータが行う情報処理方法であって、人１の感情を示す感情情報を取得し、複数の感情と複数の印象との対応関係に基づいて、取得された感情情報から対象（例えば、図１の部屋５）に対して人１が受ける印象である感情印象を推定する。

【0071】

これにより、人１の感情から対象（つまり、部屋５）に対して人１が受ける印象を容易に推定することができる。

【0072】

例えば、情報処理方法は、さらに、人１の周囲の環境のセンシングデータを環境情報として取得し、複数の環境と複数の印象との対応関係に基づいて、取得された環境情報から人が受ける印象である環境印象を推定する。

【0073】

これにより、人１の感情と対応関係を有する（言い換えると、相関のある）印象（感情印象）だけでなく、人１の周囲の環境情報と対応関係を有する（つまり、相関のある）印象（環境印象）も推定することができる。

【0074】

例えば、情報処理方法は、さらに、推定された感情印象と環境印象とに基づいて人１が受ける印象を示す印象情報を導出する。

【0075】

これにより、人１の感情に加え、人１の周囲の環境が与える影響を反映させて印象を推定することができるため、より適切に人１の対象に対する印象を推定することができる。

【0076】

例えば、印象情報の導出では、感情印象及び環境印象の平均値を印象情報として導出する。

【0077】

これにより、人１の感情及び人１の周囲の環境が印象に与える影響のバランスを取って人１の対象に対する印象を推定することができる。そのため、感情のみで推定される場合よりも適切に人１の対象に対する印象を推定することができる。

【0078】

例えば、印象情報の導出では、感情印象及び環境印象のそれぞれに重みづけを行い、重み付け後の感情印象及び環境印象の和を印象情報として導出する。

【0079】

これにより、人１の感情及び人１の周囲の環境が印象に与える影響のバランスを調整して人１の対象に対する印象を推定することができる。そのため、人１の感情及び人１の周囲の環境が与える影響を対象によって調整することができる。

【0080】

例えば、感情情報の取得では、人１の主観、生体情報、及び、行動情報のうち少なくとも生体情報に基づいて推定された感情情報を取得する。

【0081】

これにより、少なくとも人１の生体情報に基づいて推定された感情情報を取得するため、人１の心理状態と相関した印象を推定することができる。

【0082】

例えば、感情印象の推定では、感情情報と感情印象とが紐づけられて格納されたデータベース３４（例えば、感情－印象データベース）に基づいて人１の感情情報から感情印象を推定する。

【0083】

これにより、人１の感情から人１の対象に対する印象（感情印象）を精度良く推定することができる。

【0084】

例えば、感情印象の推定では、取得された感情情報を学習済みの機械学習モデル３５に入力することにより得られる出力結果に基づいて感情印象を推定する。

【0085】

これにより、人１の感情から人１の対象に対する印象（感情印象）を精度良く推定することができる。

【0086】

例えば、環境印象の推定では、環境情報と環境印象とが紐づけられて格納されたデータベース３４（例えば、環境－印象データベース）に基づいて人１の環境情報から環境印象を推定する。

【0087】

これにより、人１の周囲の環境情報から人１の対象に対する印象（環境印象）を精度良く推定することができる。

【0088】

例えば、環境印象の推定では、取得された環境情報を学習済みの機械学習モデル３５に入力することにより得られる出力結果に基づいて環境印象を推定する。

【0089】

これにより、人１の周囲の環境情報から人１の対象に対する印象（環境印象）を精度良く推定することができる。

【0090】

また、情報処理システム１００は、人１の感情を示す感情情報を取得する取得部３２ａと、複数の感情と複数の印象との対応関係に基づいて、取得された感情情報から対象（例えば、部屋５）に対して人１が受ける印象である感情印象を推定する推定部３２ｂと、を備える。

【0091】

これにより、人１の感情から対象（つまり、部屋５）に対して人１が受ける印象を容易に推定することができる。

【0092】

また、プログラムは、人１の感情を示す感情情報を取得し、複数の感情と複数の印象との対応関係に基づいて、取得された感情情報から対象（例えば、部屋５）に対して人１が受ける印象である感情印象を推定する、ことを情報処理システム１００などのコンピュータに実行させる。

【0093】

これにより、人１の感情から対象（つまり、部屋５）に対して人１が受ける印象を容易に推定することができる。

【0094】

（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。以下、実施の形態の変形例について列挙する。以下に説明する変形例は、適宜組み合わせてもよい。

【0095】

例えば、上記実施の形態では、生体情報の一例として脳波に基づいて人１の感情を推定したが、脳波以外の他の生体情報を用いて人１の感情を推定してもよいし、脳波に加えて他の生体情報を用いて人１の感情を推定してもよい。他の生体情報は、心拍、脈拍、呼吸数、又は、発汗量などを示す情報であってもよい。

【0096】

また、上記実施の形態では、生体情報は接触型のデバイスで取得されるが、カメラなどの非接触型のデバイスで取得されてもよい。

【0097】

また、例えば、上記実施の形態では、情報処理システム１００は、複数の装置により実現されたが、単一の装置によって実現されてもよい。情報処理システム１００が複数の装置によって実現される場合、情報処理システム１００が備える構成要素は、複数の装置にどのように振り分けられてもよい。例えば、上記実施の形態で推定装置３０が備える構成要素は、閉空間に設置された端末装置に備えられてもよい。つまり、本発明は、クラウドコンピューティングによって実現されてもよいし、エッジコンピューティングによって実現されてもよい。

【0098】

例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置が介在してもよい。

【0099】

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0100】

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0101】

また、本発明の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0102】

例えば、本発明は、情報処理システム１００等のコンピュータが実行する情報処理方法として実現されてもよいし、このような情報処理方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

【0103】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0104】

１ 人
５ 部屋（対象）
３２ａ 取得部
３２ｂ 推定部
３４ データベース
３５ 機械学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】