特開 2024-168619 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168619

(43)【公開日】2024-12-05

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   G06N 3/09 20230101AFI20241128BHJP

   G06N 20/00 20190101ALI20241128BHJP

【ＦＩ】

G06N3/09

G06N20/00 130

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023085457

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100103263

【弁理士】

【氏名又は名称】川崎 康

(74)【代理人】

【識別番号】100118876

【弁理士】

【氏名又は名称】鈴木 順生

(72)【発明者】

【氏名】小室 信喜

(72)【発明者】

【氏名】紅林 勲

(57)【要約】

【課題】複数の環境データの時間変化に基づいて将来の人間の感情を精度よく予測できる。
【解決手段】情報処理装置は、第１期間内の、少なくとも複数の環境の時間変化と、感情の時間変化との対応関係を示す教師データに基づいて、将来の予測時刻での感情を予測する予測モデルを機械学習により構築する学習部と、前記予測時刻の直前の第２期間内の少なくとも前記複数の環境の時間変化のデータを取得する取得部と、前記取得部で取得された少なくとも前記複数の環境の時間変化のデータを前記予測モデルに入力して、前記予測時刻での感情を予測する予測部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

第１期間内の、少なくとも複数の環境の時間変化と、感情の時間変化との対応関係を示す教師データに基づいて、将来の予測時刻での感情を予測する予測モデルを機械学習により構築する学習部と、
前記予測時刻の直前の第２期間内の少なくとも前記複数の環境の時間変化のデータを取得する取得部と、
前記取得部で取得された少なくとも前記複数の環境の時間変化のデータを前記予測モデルに入力して、前記予測時刻での感情を予測する予測部と、を備える、
情報処理装置。

【請求項2】

前記予測部において、前記予測モデルには、前記複数の環境の時間変化のデータのみが入力されることを特徴とする、
請求項１に記載の情報処理装置。

【請求項3】

前記学習部は、前記教師データの前記感情の出現頻度を均一化させるオーバーサンプリング処理を行う、
請求項１に記載の情報処理装置。

【請求項4】

第１期間内の、少なくとも複数の環境の時間変化と、感情の時間変化との対応関係を示す教師データに基づいて、将来の予測時刻での感情を予測する予測モデルを機械学習により構築するステップと、
前期予測時刻の直前の第２期間内の少なくとも前記複数の環境の時間変化のデータを取得するステップと、
前期取得部で取得された少なくとも前記複数の環境の時間変化のデータを前記予測モデルに入力して、前記予測時刻での感情を予測するステップと、を備える、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

昨今の学習及び労働環境の変化に伴い、これらの環境に起因するストレスや疲労感、快適感、感情的覚醒度など、人間の心的状態（以下、感情と呼ぶ）を把握及び推定する研究が注目されている。感情を把握及び推定する手法としては、心理的実験やアンケートなどの主観的解析が一般的であるが、その一方で眼球運動、体温、脳波などの生理データ及び心理指標を元にした客観的及び定量的な解析も進められているとともに、近年では機械学習及び深層学習によって生理データ及び心理指標との対応関係を解明する研究も行われている。例えば、無線センサなどから得られる室内環境データから、その環境内にいる人間の感情を推定する手法が提案されている（非特許文献１、２参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】心の状態のセンシング（１）（http://sensait.jp/22706/）

【非特許文献2】心の状態のセンシング（２）（http://sensait.jp/22709/）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１、２の開示内容は、複数の環境データの時間変化に基づいて現在の人間の感情を推定するに留まり、将来の人間の感情を予測する手法は開示されていない。

【0005】

そこで、本発明の実施形態では、複数の環境データの時間変化に基づいて将来の人間の感情を精度よく予測できる情報処理装置及び情報処理方法を提供するものである。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の実施形態によれば、第１期間内の、少なくとも複数の環境の時間変化と、感情の時間変化との対応関係を示す教師データに基づいて、将来の予測時刻での感情を予測する予測モデルを機械学習により構築する学習部と、
前記予測時刻の直前の第２期間内の少なくとも前記複数の環境の時間変化のデータを取得する取得部と、
前記取得部で取得された少なくとも前記複数の環境の時間変化のデータを前記予測モデルに入力して、前記予測時刻での感情を予測する予測部と、を備える、
情報処理装置が提供される。

【発明の効果】

【0007】

昨今では、新型感染症の流行に伴い、感染防止対策によって教育労働環境は多様化している。多様化する教育労働環境における心身の健康管理として、これまで以上に、ストレスや疲労感、快適感を含む感情価、感情各制度などの人間の心的状態の把握（メンタルヘルス）と作業環境の把握、及び、環境改善が重要になってきている。

【0008】

これまでに、本発明者は、非接触センサデータで得られた環境情報、生体データ等を収集して、非接触センサから客観的かつ非侵襲的に心身の健康状態を指定・把握するシステムを構築し、教育労働環境を統合的に評価する手法を見出した。なお、非接触型環境センサとは、人の体に身に着けることなく計測できる環境センサを指す。

【0009】

しかしながら、これまでの技術であるリアルタイムでの感情推定では、自動車運転や工場でのうっかり事故などを未然に防ぐことができない。また、オフィスでの仕事、勉強効果についてもより効率的に向上することができない。

【0010】

本発明の実施形態によれば、少なくとも複数の環境の時間変化と、感情の時間変化との対応関係を示す教師データに基づいて機械学習により構築された予測モデルを用いることで、将来の予測時刻での感情（心的状態）を推定できる。

【0011】

本発明の実施形態によって、リアルタイムではなく、将来の感情を予測することで、これまでの技術であるリアルタイムでの感情推定では、自動車運転や工場でのうっかり事故などを未然に防ぎ、事故の予防効果を大きく向上することができる。また、オフィスでの仕事、勉強効果についてもより効率的に向上し得ることができる。

【0012】

また、本発明の実施形態には、非接触センサを用いた非接触型環境が適用されてもよい。非接触型環境は、ウエアラブル端末など、継続して装着しなくてはならない等の利用するための制約がなく、様々な状況にて、本発明の実施形態を適用できる。また、被験者のストレスもないため、自然な状態での推定が可能である。

【0013】

このように、本発明の実施形態は、複数の環境の時間変化のデータを取得するとともに、これらのデータを時系列で解析することで、将来の感情を予測することに特徴がある。生体データは直接的に感情に影響し、侵襲的でかつ主観的な性質を持つが、本発明の実施形態は、このような生体データを用いなくても、生体データに影響を及ぼす非侵襲的な環境の時間変化のデータに着目し、これらのデータから、非侵襲的に、かつ、客観的に、そして、高精度で感情を予測できる。

【0014】

本発明の実施形態は、現在人物が晒されている環境状態を踏まえて、未来の感情状態の変化を予測できる。この予測に基づいて、教育労働環境が、快適でよりストレスの少なく、空気もきれいな環境へと改善されることにより、心身の健康を維持できると期待できる。これによって、生活環境の制御によるメンタルヘルスの向上や予防医学、自動車の安全運転支援、工場でのうっかり事故防止、オフィスでの仕事効率化、学校での勉強効果など、さまざまな分野への応用が期待できる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る情報処理装置の概略構成を示すブロック図である。

【図2】本発明の実施形態に係る感情データを示す図である。

【図3A】温度と感情の相関を示すグラフである。

【図3B】ブルーライトと感情の相関を示すグラフである。

【図3C】音量と感情の相関を示すグラフである。

【図3D】ＣＯ_２濃度と感情の相関を示すグラフである。

【図4】本発明の実施形態に係る情報処理装置の処理を示すフローチャートである。

【図5A】ＣＮＮモデルによる予測計算処理を示すブロック図である。

【図5B】ＬＳＴＭモデルによる予測計算処理を示すブロック図である。

【図6】ＬＳＴＭモデルを示すブロック図である。

【図7】センサ数ごとの感情予測の精度を示すグラフである。

【発明を実施するための形態】

【0016】

以下、図面を参照して、情報処理装置及び情報処理方法の実施形態について説明する。

【0017】

（本発明の実施形態）
図１は、本発明の実施形態に係る情報処理装置１の概略構成を示すブロック図である。この情報処理装置１は、所定の環境（例えば、実験室内）の状態を測定するとともに、その環境内の被験者の将来の感情を予測するものである。情報処理装置１は、取得部２と情報処理部３とを備える。

【0018】

取得部２は、上記の環境の複数の環境データ、及びその被験者の感情の入力を受け付け、情報処理部３に提供する。取得部２は、感情入力部１１、及び環境センサ部１３を有する。また、取得部２には、その環境内の被験者の生体データの入力を受け付けるために、生体センサ部１２を有してもよい。以下の実施形態では、取得部２が生体センサ部１２を有する形態を説明する。

【0019】

感情入力部１１は、被験者の感情の入力を受け付けるものであり、例えばコンピュータ等の入力端末から構成される。感情入力部１１は、例えば有線又は無線ネットワークで情報処理部３と接続される。また、感情入力部１１は、情報処理部３内に含まれていてもよい。感情入力部１１に入力される感情には、例えばＨａｐｐｙ（幸福）、Ｓｔｒｅｓｓ（ストレス）、Ｒｅｌａｘ（リラックス）、Ｓａｄ（悲しみ）がある。感情についての詳細については、後述する。なお、感情入力部に入力される感情は、例えば、生体データ（脳波等）の測定値から求めることもできる。

【0020】

生体センサ部１２は、環境内の被験者の身体に関するデータを測定するものであり、例えば接触型又は非接触型のセンサ、ウェアラブルデバイスなどにより構成される。本明細書では、生体センサ部１２が取得するデータを生体データと呼ぶ。生体センサ部１２は、例えば被験者の体温、肌温度（皮膚温度）、血圧、体動、脈拍数などの複数の生体データを取得する。

【0021】

環境センサ部１３は、所定の環境（例えば、実験室内）に関するデータを測定するものであり、例えば実験室内に設けられたセンサ、カメラなどにより構成される。本明細書では、環境センサ部１３が取得するデータを環境データと呼ぶ。環境センサ部１３は、例えば室内温度、可視光の強度（照度）、匂い（臭気強度）、湿度、ブルーライト強度、ほこり（微粒子濃度）、音量、ＣＯ_２濃度、ＶＯＣ（揮発性有機化合物；Volatile Organic Compounds）、気圧などの複数の環境データを取得する。また、環境センサ部１３は、例えば赤外線によって被験者同士の距離を測定してもよい。また、環境センサ部１３は、環境センサ部１３を構成するセンサと被験者との距離を測定する人感センサを有していてもよい。

【0022】

生体センサ部１２及び環境センサ部１３から得られたデータは、例えば無線ネットワークにより情報処理部３に転送される。

【0023】

情報処理部３は、取得部２から入力された情報を学習するとともに、取得部２から入力された情報に基づいて被験者の将来の環境を予測する。情報処理部３は、モデル構築部２１、ニューラルネットワーク部２２、予測部２３を有する。ニューラルネットワーク部２２とモデル構築部２１とは、学習部２４を構成する。

【0024】

モデル構築部２１は、感情入力部１１から所定の学習期間（以下、第１期間と呼ぶ）における複数の感情の時間変化を示すデータを取得するとともに、生体センサ部１２及び環境センサ部１３から第１期間における複数の生体データの時間変化と複数の環境データの時間変化を示すデータを取得し、これらのデータを時刻情報に対応づける。

【0025】

本明細書では、第１期間内においてモデル構築部２１に構築されるデータを教師データと呼ぶ。教師データは、複数の環境データの時間変化と複数の感情データの時間変化との対応関係、及び複数の生体データの時間変化と複数の感情データの時間変化との対応関係を含む。モデル構築部２１は、この教師データをニューラルネットワーク部２２に供給することにより、将来の予測時刻での感情を予測する予測モデルを機械学習により構築する。

【0026】

ニューラルネットワーク部２２は、上記の機械学習により得られた予測モデルを保持する。

【0027】

予測部２３は、環境センサ部１３から、所定の計測期間（以下、第２期間と呼ぶ）における複数の環境データの時間変化を示すデータを取得し、ニューラルネットワーク部２２内の予測モデルに入力する。なお、第２期間においては、第１期間に測定する複数の環境データのうち少なくとも一部を測定する。予測部２３は、環境センサ部１３から取得された複数の環境データの時間変化を示すデータのみを予測モデルに入力してもよい。また、予測部２３は、複数の環境データの時間変化を示すデータに加えて、生体センサ部２３から取得した複数の生体データの時間変化を示すデータを予測モデルに入力してもよい。第２期間は、予測部２３は、予測モデルに入力されたデータに基づいて、将来の予測時刻での感情を予測する。予測部２３は、予測した感情データを、例えば不図示の外部機器に出力する。なお、本明細書では、第２期間に生体センサ部１２及び環境センサ部１３から入力されるデータを入力データと呼ぶ。

【0028】

教師データを蓄積する第１期間は、計測期間である第２期間と比べて、十分に長い時間である。例えば、第１期間は８０時間であり、第２期間は３分である。また、上記の将来の予測時刻とは、第２期間以降の時刻を指す。例えば、予測部２３は第２期間から１分後の感情を予測する。

【0029】

図２は、本発明の実施形態に係る感情データを示す図である。感情データは、覚醒度と快適度の２つの尺度を有する。感情データは、覚醒度が所定の基準値（第１基準値）より高く、快適度が所定の基準値（第２基準値）より高いＨａｐｐｙ領域（第１領域）、覚醒度が所定の基準値より高く快適度は所定の基準値以下のＳｔｒｅｓｓ領域（第２領域）、覚醒度が所定の基準値以下で快適度は所定の基準値より高いＲｅｌａｘ領域（第３領域）、覚醒度が所定の基準値以下で快適度も所定の基準値以下のＳａｄ領域（第４領域）を有する。なお、Ｓｔｒｅｓｓ領域はＡｎｇｒｙ領域と呼ばれることもある。

【0030】

感情入力部１１には、被験者の感情が上記の４つの領域のどれに当てはまるかが入力される。また、予測部２３は、将来の予測時刻の感情が、上記の４つの領域のどれに当てはまるかを予測する。なお、感情入力部１１には覚醒度及び快適度が入力されてもよく、これに基づいて予測部２３は、覚醒度及び快適度を予測してもよい。

【0031】

被験者の複数の生体データ（例えば、心拍数、肌温度）は、感情データに直接的に影響を与え、被験者の感情データを変動させる。また、例えば、被験者がいる実験室内の、複数の環境データ（例えば温湿度、光強度、におい）は、被験者の複数の生体データに影響を与えるものであり、複数の環境データを用いることで、客観的に被験者の感情データを推定することができる。

【0032】

複数の環境データが時間に応じて変化する場合、感情データも時間に応じて変化する。時間に応じて変化する複数の環境データに基づいて、将来の感情データを予測することが可能である。このように、本発明の実施形態では、環境データと時刻情報とを時系列で解析することで、将来の感情データを予測することを可能としている。

【0033】

図３Ａ～図３Ｄは、複数の環境データのうち代表的な環境データと、感情データの相関すなわち対応関係を示すグラフである。図３Ａ～図３Ｄは、一人の被験者がいる部屋における各環境パラメータの時間変化（経時変化）と、計測時間の被験者の感情を、時系列データとして示している。図３Ａ～図３Ｄにはそれぞれ、測定時間ごとの被験者の感情がプロットＰemとして表示されている。プロットＰemは、図３Ａ～図３Ｄ上に×印で示されている。また、図３Ａ～図３Ｄの計測時間と感情の関係は共通している。

【0034】

図３Ａ～図３Ｄは、横軸がいずれも測定時間であり、縦軸はそれぞれ温度、ブルーライト、音量、ＣＯ_２濃度である。図３Ａ、図３Ｂ、図３Ｃ、図３Ｄでは、温度、ブルーライト、音量、ＣＯ_２濃度の経時変化が、それぞれ実線のグラフＷ１、Ｗ２、Ｗ３、Ｗ４で示されている。図３Ａ～図３Ｄでは、被験者に刺激を与えうる環境変化があるときに、被験者の感情が変わることが示されている。

【0035】

図３Ａ～図３Ｄに示すように、被験者の感情変化は、特定の１つの環境データのみに起因するものではなく、複数の環境データの変化に応じて被験者の感情が変化する場合がありうる。温度などの環境が急激に変化すれば、直観的には感情データがＳｔｒｅｓｓになるように思われるが、例えば図３Ｂでは感情データがＨａｐｐｙである被験者も認められる。これは、他の環境データが影響しているためである。このように、環境データの種類によっては、一つの環境データだけではいずれの感情データとも相関性があるとは言えない場合がある。環境データは、直接的に感情データに影響を与える生体データとは異なり、他の環境データとの組み合わせによって、影響を与える感情データが変化するという特徴がある。

【0036】

このため、予測部２３は、複数の環境データに基づいて感情データを予測する。予測部２３における感情データの予測精度を上げるためには、モデル構築部２１及び予測部２３には、より多くの環境データが入力されることが望ましい。また、各環境データは、感情データに与える影響の度合いの強弱により、重み付けされることが望ましい。

【0037】

図４は、本発明の実施形態に係る情報処理装置１の処理手順を示すフローチャートである。まず、感情入力部１１、生体センサ部１２、環境センサ部１３により、教師データを生成する（ステップＳ１）。教師データの生成は、例えば実験室内に１人以上の被験者を配置し、例えば８０時間継続して行われる。実験室内には１つ以上の環境センサ部１３が配置され、１人以上の被験者には生体センサ部１２が装着される。被験者の感情は、一定時間ごとに感情入力部１１に入力される。

【0038】

なお、感情の出現頻度は被験者によって異なり、不均衡が生じる場合がある。感情入力部１１は被験者の感情をオーバーサンプリングすることによって感情の出現頻度を均一化させ、この不均衡を解消するのが望ましい。本明細書においては、学習部２４が教師データ内の感情データのオーバーサンプリング処理を行う例を説明する。

【0039】

教師データは、環境センサ部１３から出力される1人以上の被験者が配置された室内の温度、ブルーライト、音量等の時系列の入力データと、感情入力部１１から入力される複数の被験者の時系列の感情データとを、時系列順に関連づけたデータである。教師データは、環境データのほか生体データを含んでもよく、その場合、教師データは、環境データの時間変化と感情データの時間変化の対応関係と、生体データの時間変化と感情データの時間変化の対応関係とを含むデータである。教師データは、これら対応関係を例えば８０時間にわたって測定して生成されたデータである。

【0040】

感情入力部１１、生体センサ部１２及び環境センサ部１３を用いて生成された教師データは、モデル構築部２１に入力される。モデル構築部２１は、ステップＳ１の１人以上の被験者の感情の時間変化に関する教師データに基づいて、ニューラルネットワーク部２２を用いて将来の感情を予測する予測モデルを構築する（ステップＳ２）。

【0041】

予測モデルには、様々な深層学習モデルが適用可能である。本明細書では、ＣＮＮ（Convolutional Neural Network）モデルとＬＳＴＭ（Long Short-Term Memory）モデルとを組み合わせた、ＣＮＮ―ＬＳＴＭモデルを用いる例を説明する。なお、ＣＮＮ－ＬＳＴＭモデルの代わりに、例えばリカレントニューラルネットワーク、又はニューラルネットワークを用いても、ＣＮＮ―ＬＳＴＭモデルと同程度の精度で将来の感情を予測することが可能である。また、予測モデルにＣＡＲＴ（Classification and Regression Tree；決定木）を用いてもよい。

【0042】

予測モデルは、教師データに基づいて構築される。予測モデルは、上述したように、例えば８０時間分の教師データに基づいて機械学習により構築されたモデルである。

【0043】

その後、被験者の将来の感情を予測する直前（第２期間）に、環境センサ部１３により、入力データの測定が行われる（ステップＳ３）。入力データの測定は、例えば１分～５分間行われる。入力データの測定時間は、短すぎると予測に必要なデータが不足し、長すぎると過学習により予測精度が下がる。将来の感情を高精度で予測するためには、入力データの測定は３分間程度行われることが望ましい。以下では、入力データの測定が３分間行われる例を説明する。入力データの測定は、ステップＳ１と同様の実験室内で行われる。

【0044】

環境センサ部１３が取得した入力データは、予測部２３に入力される。予測部２３は、ステップＳ２に構築された予測モデルに入力データを入力し、ステップＳ３の測定を行った被験者の将来の感情を予測する（ステップＳ４）。将来の感情とは、例えば、ステップＳ３の測定から１５秒～３分後の感情である。

【0045】

ステップＳ３における被験者は、ステップＳ１と共通の被験者であってもよいし、異なる被験者であってもよい。なお、ステップＳ１において１人の特定の被験者の教師データを生成し、当該特定の被験者の感情を高精度に予測できるように調整された情報処理装置１は、専用機と呼ばれる。また、ステップＳ１において不特定かつ複数の被験者の教師データを生成し、不特定かつ複数の被験者の感情を予測できるように調整された情報処理装置１は、汎用機と呼ばれる。以下では、情報処理装置１が専用機である例を説明する。

【0046】

また、本発明の実施形態に係る情報処理装置１は、教師データを測定した部屋と異なる部屋での感情を測定することもできる。

【0047】

以下では、１分後の感情を予測する例を説明する。なお、生体センサ部１２により測定された入力データを、環境センサ部１３が取得した入力データと共に予測部２３に入力してもよい。

【0048】

上記の通り、ステップＳ１における教師データの生成には、例えば、生体センサ部１２が測定した被験者の複数の生体データと、環境センサ部１３が測定した複数の環境データが用いられる。また、ステップＳ３における予測部２３の入力データには、少なくとも環境センサ部１３が測定した複数の環境データが用いられる。さらに、ステップＳ３及びＳ４においては、複数の環境データのみから被験者の将来の感情を予測することも可能である。

【0049】

以下では、複数の環境データのみから被験者の将来の感情を予測する例を説明する。教師データの生成には、環境センサ部１３が測定したデータのほか、生体センサ部１２又はそれ以外のセンサ（例えば、被験者同士の距離を測定する距離センサ）が測定したデータが用いられてもよい。

【0050】

図５Ａ及び図５Ｂは、ＣＮＮ―ＬＳＴＭモデルによる予測計算の手順を示すブロック図である。図５Ａは、ＣＮＮモデルの処理を示している。まず、予測部２３に入力データが入力される（ステップＳ１１）。入力データは、複数の環境データを含む。また、入力データは、複数の生体データを含んでいてもよいし、複数の環境データのみが含まれていてもよい。本明細書では、入力データが有する環境データ及び生体データのそれぞれを、パラメータとも呼ぶ。入力データは、少なくとも環境センサ部１３から得られたｎ個の環境データに対応した、ｎ個のパラメータを有する。

【0051】

入力データのパラメータには、例えば図３Ａ～図３Ｄで示す温度、ブルーライトなどが含まれる。図３Ａ～図３Ｄで説明するように、モデル構築部２１及び予測部２３に入力されるデータは、より多くのパラメータを有することが望ましい。また、各パラメータは、感情データに与える影響の度合いの強弱により、重み付けされることが望ましい。なお、パラメータが多数存在する場合には、少数のパラメータに畳み込みされてもよい。

【0052】

パラメータの測定は、入力データの測定期間（図４のステップＳ３）において、所定の時間間隔で、ｕ回の測定が行われる。すなわち、予測部２３にはｎ×ｕのデータが入力される。パラメータの数は、次元数とも呼ばれる。また、ｎ個のパラメータはｎ次元のパラメータとも呼ばれる。すなわち、入力データは、時間変化するｎ次元のパラメータで表される。

【0053】

続いて、パラメータの畳み込みが行われる（ステップＳ１２）。予測部２３は、畳み込みにより入力されたパラメータをフィルタリングする。これにより、特徴量が抽出される。ステップＳ１２では、ｎ次元のパラメータが例えばｎ－ｋ１次元まで削減される。

【0054】

ステップＳ１２で削減されたパラメータに対し、さらに畳み込みが行われる（ステップＳ１３）。ステップＳ１３では、ステップＳ１２と同様の畳み込みが行われ、ｎ－ｋ１次元のパラメータがｎ－ｋ１－ｋ２次元まで削減される。これにより、特徴量がより抽出される。

【0055】

ステップＳ１２及びＳ１３に示すように、ＣＮＮモデルでは次元数を段階的に圧縮して特徴量データを生成する。図５Ａでは、２段階のパラメータ圧縮の例を示しているが、これに限られず３段階以上のパラメータ削減が行われてもよい。また、パラメータの圧縮は１段階のみであってもよい。

【0056】

続いて、パラメータのプーリングが行われる（ステップＳ１４）。予測部２３は、プーリングにより、畳み込みされたパラメータを集約するとともに、感情により大きな影響を与えるパラメータを特徴量データとして抽出する。ステップＳ１４では、ｎ－ｋ１－ｋ２個のパラメータが例えば１個まで圧縮される。なお、図５Ａでは、ステップＳ１１で入力されたｎ×ｕのデータが、１×ｕのデータに圧縮される例を示しているが、これに限られず、ＣＮＮモデルはｎ次元よりも少ない次元数の特徴量データを抽出できる。

【0057】

図５Ｂは、ＬＳＴＭモデルの処理を示している。図５Ａに続いて、ＣＮＮモデルで抽出された特徴量データが、時系列データとして取得される（ステップＳ２１）。予測部２３は、この時系列データの各データを時系列順にＬＳＴＭモデルに入力する（ステップＳ２２）。ＬＳＴＭモデルにより、予測部２３は１つの感情データを算出し、出力する（ステップＳ２３）。

【0058】

図６は、ＬＳＴＭモデルを示すブロック図である。図６のＬＳＴＭモデルには、入力データ３１、隠れ状態データ３２ａ、セル状態データ３３ａが入力される。また、ＬＳＴＭモデルは隠れ状態データ３２ｂ、セル状態データ３３ｂ、出力データ３４を出力する。また、ＬＳＴＭモデルはシグモイド関数４１ａ、４１ｂ、４１ｃ、双曲線正接関数４２ａ、４２ｂ、乗算器４３ａ、４３ｂ、４３ｃ、加算器４４を有する。

【0059】

入力データ（Ｘt）３１には、例えば、図５AのステップＳ１３で抽出された特徴量のうち、時刻ｔの特徴量データが入力される。出力データ（ｈt）３４からは、例えば、時刻ｔの特徴量データから予測された感情が出力される。また、この感情データは隠れ状態データ（ｈt）３２ｂとして出力される。隠れ状態データ（ｈt-1）３２ａには、時刻ｔの前の時刻ｔ－１の特徴量データから予測された感情が入力される。

【0060】

また、ＬＳＴＭモデルは所定の記憶セルに出力結果を長期記憶する。ＬＳＴＭモデルは、時刻ｔの特徴量データに基づいて算出された値をセル状態データ（Ｃt）３３ｂとして出力して長期記憶する。また、ＬＳＴＭモデルには、前の時刻ｔ－１の特徴量データに基づいて算出されて長期記憶された値が、セル状態データ（Ｃt-1）３３ａとして入力される。

【0061】

シグモイド関数４１ａは、忘却ゲートとも呼ばれ、記憶セルの忘却に用いられる。シグモイド関数４１ａは、入力データ３１及び隠れ状態データ３２ａに基づいて忘却ゲート活性化ベクトルｆtを算出し、乗算器４３ａに入力する。乗算器４３ａは、忘却ゲート活性化ベクトルｆtとセル状態データ３３ａを乗算する。

【0062】

シグモイド関数４１ｂは、入力ゲートとも呼ばれ、記憶セルへの新しい記憶の入力に用いられる。シグモイド関数４１ｂは、入力データ３１及び隠れ状態データ３２ａに基づいて入力ゲート活性化ベクトルｉtを算出し、乗算器４３ｂに入力する。また、乗算器４３ｂには、双曲線正接関数４２ａによって正規化された入力データ３１及び隠れ状態データ３２ａが入力される。乗算器４３ｂは、これらの入力データを乗算し、算出結果を加算器４４に出力する。加算器４４は、乗算器４３ａの出力値と、乗算器４３ｂの出力値とを加算する。加算器４４の出力結果は、セル状態データ３３ｂとして出力される。

【0063】

シグモイド関数４１ｃは、出力ゲートとも呼ばれ、ＬＳＴＭモデルの出力データを算出する。シグモイド関数４１ｃは、入力データ３１及び隠れ状態データ３２ａに基づいて出力ゲート活性化ベクトルＯtを算出し、乗算器４３ｃに入力する。また、乗算器４３ｃには、双曲線正接関数４２ｂによって正規化された加算器４４の出力結果が入力される。乗算器４３ｃはこれらの入力データを乗算し、出力データ３４及び隠れ状態データ３２ｂとして出力する。

【0064】

ＬＳＴＭモデルには、所定の時刻の時系列データが入力されるとともに、所定の時刻より前の時刻の出力結果が、再帰的に入力されるという特徴がある。すなわち、過去の出力結果に基づいて、次の出力結果が算出される。また、ＬＳＴＭモデルは出力結果を長期に亘って保持する長期記憶を有するため、長期的な出力結果の変動が、次の出力結果に反映される。

【0065】

本発明の実施形態に係るＬＳＴＭモデルは、時系列順に感情データを出力する。また、ＬＳＴＭモデルには、特徴量データ（すなわち、圧縮された入力データ）が時系列順に入力されるとともに、過去に出力した感情データが入力される。すなわち、ＬＳＴＭモデルは所定の時刻における複数の環境データと、所定の時刻までの過去の感情データに基づいて、将来の感情を予測する。ＬＳＴＭモデルでは、同じ環境刺激を受けた場合においても、例えば過去にＲｅｌａｘ状態にあった被験者はＨａｐｐｙ状態に変化し、過去にＳａｄ状態にあった被験者はＳｔｒｅｓｓ状態に変化する等の、過去の感情データの変動に基づく感情の変動を予測することができる。

【0066】

モデル構築部２１に入力される教師データの一例を表１に示す。

【0067】

【表1】

【0068】

表１の教師データには、環境センサ部１３から複数の被験者が配置された室内の温度、ブルーライト、音量等の環境データが時系列順に格納される。また、感情入力部１１から、被験者の感情が入力され、環境データと時系列順に紐付けられる。複数の被験者がいる場合は、教師データには表１の時間ごとに複数の被験者の感情が格納される。教師データは、例えば８０時間分が入力されている。

【0069】

予測部２３に入力される入力データを表２に示す。

【0070】

【表2】

【0071】

表２の入力データは、教師データに格納されている環境データと、共通するパラメータを有する。例えば、表１の教師データ及び表２の入力データは、共通して温度、ブルーライト、音量のパラメータを格納している。

【0072】

なお、表１及び表２では、１分間隔のデータを示しているが、実際には、例えば１０秒間隔で環境データ（及び、生体データ）の測定が行われる。測定間隔は、例えば１０秒～１分間のうち、被験者のいる環境、及び予測したい時間によって決定される。車載環境など、僅かな時間の集中力の欠落が致命的な結果につながりうる場面では、１０秒間隔での測定が求められる。一方、車載環境ほどのリアルタイム性が求められない室内環境においては、１分程度の測定間隔でもよい。

【0073】

予測部２３が出力する出力データを表３に示す。

【0074】

【表3】

【0075】

表３は、表２の入力データから１分後のデータを示している。

【0076】

予測部２３は、予測モデルに入力されたデータより、測定期間（第２期間）から１分後の感情を予測する。図６に示すように、予測部２３は入力データを時系列順に入力するとともに、予測された感情を時系列順に出力する。教師データ内に、入力データ（表２）と同一又は類似の時間変化を示すデータを探索して、測定期間（第２期間）の感情もこの探索された教師データに対応する感情データと同様に推移するとして、当該教師データから１分後の感情を、測定期間（第2期間）の１分後の感情として出力する（表３）。すなわち、予測モデルは、取得部２で取得された複数の環境データの時間変化と傾向が同一又は類似の教師データにおける感情の変化に基づいて予測時刻での感情を出力することができる。

【0077】

具体的には、表２の入力データの環境入力データの推移は、表１の教師データの１６：３１～１６：３３の環境入力データの推移と類似する。この場合、予測部２３が予測する感情データは、表１の教師データの１６：３２～１６：３４の感情と同様の推移で、時系列順に出力される。

【0078】

予測部２３は、表１の教師データ及び表２の入力データに基づいて、最終的には表３に示すように、教師データ内の１６：３４のデータと同様の、感情Ｓａｄが出力される。

【0079】

本発明者は、入力するパラメータが多いほど、予測部２３の予測の精度が向上することを実験で確認した。まず、本発明者は、被験者４名に対して、それぞれ専用機を用意し、７２時間の学習期間（第１期間）に測定した脈拍数、皮膚温度、ＣＯ_２濃度、照度（可視光）、温度に基づいて教師データを生成した。また、予測部２３に３分間の測定期間（第２期間）に測定したＣＯ_２濃度、照度（可視光）、温度の環境データを入力し、次の１分後の感情を予測する実験を行った。その結果、予測部２３の感情予測の精度は、被験者ごとに６０％、６６％、６３％、８５％の精度であった。

【0080】

また、本発明者は、上記と同様の第１期間に測定した脈拍数、皮膚温度、ＣＯ_２濃度、照度（可視光）、温度、ブルーライト、赤外線（距離）、人感、音量、臭気強度、気圧、微粒子濃度に基づく教師データを生成するとともに、上記と同様の第２期間に測定したＣＯ_２濃度、照度（可視光）、温度、ブルーライト、赤外線（距離）、人感、音量、臭気強度、気圧、微粒子濃度の環境データを入力し、１分後の感情を予測する別の実験を行った。その結果、予測部２３の感情予測の精度は、被験者ごとに７８％、８１％、８０％、８６％の精度が得られ、全ての被験者において、検討データの種類が多い方が、精度が向上していた。

【0081】

次に、本発明者は、被験者２名に対して、予測部２３に３分間の測定期間における肌温度及び心拍数からなる２種類の生体データを入力し、次の１分後の感情を予測する実験を行った。入力データとして肌温度及び心拍数を入力して予測した結果を、表４に示す。

【0082】

【表4】

【0083】

表４は、所定の実験時間における被験者１及び２のＨａｐｐｙ率、Ｒｅｌａｘ率、Ｓｔｒｅｓｓ率、Ｓａｄ率をそれぞれ示している。表４は、被験者１では予測の精度（Accuracy）が７５．６％であることを示している。また、被験者２では予測の精度が９１．６％である。

【0084】

入力データとして、生体データに環境データのパラメータを追加した場合の予測結果を、表５に示す。

【0085】

【表5】

【0086】

表５では、入力データとして肌温度、可視光、匂い、湿度、ブルーライト、ほこりを入力して予測している。この場合、被験者１では予測の精度が８１．１％である。また、被験者２では予測の精度が９４．４％である。表４には、感情に直接的に影響する生体データを入力データとすることで、２種類と少ないパラメータでもある程度の高い精度が得られることが示されているが、上記の通り、入力データに、環境データを複数追加した表５は、表４よりも精度がさらに向上している。

【0087】

さらに、本発明者は被験者３名に対して、感情データにおける重要度順にパラメータを追加していったときの、感情予測の精度を確認した。表６は、感情データにおける、パラメータごとの重要度を示す図である。重要度とは、感情の予測に対する寄与度を示す。また、全パラメータの重要度の和は１００％となるように調整されている。

【0088】

【表6】

【0089】

図７は、被験者３名のセンサ数ごとの感情予測の精度を示すグラフである。横軸はパラメータ数を示し、縦軸は感情予測の精度を示す。また、図７においては３名の被験者に対応した、３つの線グラフが描写されている。

【0090】

パラメータは表６の降順に追加されている。例えば、パラメータ数が３の場合には、ＣＯ_２濃度、温度、臭気強度のパラメータを測定し、感情予測を行っている。図７に示す通り、入力するパラメータが増えるほど感情予測の精度は高まる。特にパラメータが４つまではどの被験者も感情予測の精度が単調増加する。またパラメータが５つ以上になると、感情予測の精度は略８０％まで高まる。

【0091】

これらの実験結果からわかるように、入力するパラメータ数が多いほど、より具体的には図５のステップＳ３における測定期間で測定する環境データの種類が多いほど、予測部２３の感情予測の精度を向上できる。

【0092】

上記に示すように、本発明の実施形態は、生体データに影響を及ぼす環境データを時系列で解析することで、個々のデータにおいては感情データとの関係に相関性は見いだせない環境データを用いて、感情データを予測することに成功している。これにより、本発明の実施形態は、侵襲的で感情に直結する生体データを用いなくても、生体データに影響を及ぼす環境データを時系列で解析することで、感情の予測を、非侵襲的に、かつ、客観的に、そして、高精度で予測できる。

【0093】

このように、本発明の実施形態に係る情報処理装置１は、入力データとして、少なくとも環境データを用いることで、環境の時間変化に基づいて被験者の未来（例えば、１分後）の感情を予測することができる。また、入力パラメータ（入力データ）の次元数（すなわち、測定期間内に測定する環境データの種類）を増やすことで、未来の感情の予測精度を向上できる。さらに、本発明の実施形態に係る情報処理装置１では、機械学習により、多次元のパラメータの次元数を圧縮して未来の感情を予測する予測モデルを構築するため、構築された予測モデルを用いることで、未来の感情を簡易かつ精度よく予測できる。また、未来の感情を予測する直前に、短時間の環境の時間変化のデータを取得して未来の感情を予測するため、わずかな期間の取得データで未来の感情を精度よく予測できる。また、本発明の実施形態では、直接に感情データと相関性がある生体データを用いず、環境データのみでも、未来の感情を精度よく予測できる。この場合、上述したように、一つの環境データだけでは感情データとの相関性を特定できない場合がありうるため、複数の環境データと感情データとの相関性を予め学習したモデルを用意し、このモデルに複数の環境データを入力して感情データを予測する必要がある。

【0094】

上述した実施形態で説明した情報処理装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、情報処理装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

【0095】

また、情報処理装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0096】

本発明の実施形態は、様々な用途に活用することができる。例えば、現在人物が晒されている環境状態を踏まえて、未来の感情状態の変化を予測できる。本発明の実施形態は、生活環境の制御によるメンタルヘルスの向上や予防医学、自動車の安全運転支援、工場でのうっかり事故防止、オフィスでの仕事効率化、学校での勉強効果など、さまざまな分野への応用が期待できる技術である。

【0097】

（付記）
なお、本技術は以下のような構成を取ることができる。
［項目１］
第１期間内の、少なくとも複数の環境の時間変化と、感情の時間変化との対応関係を示す教師データに基づいて、将来の予測時刻での感情を予測する予測モデルを機械学習により構築する学習部と、
前記予測時刻の直前の第２期間内の少なくとも前記複数の環境の時間変化のデータを取得する取得部と、
前記取得部で取得された少なくとも前記複数の環境の時間変化のデータを前記予測モデルに入力して、前記予測時刻での感情を予測する予測部と、を備える、
情報処理装置。
［項目２］
前記予測部において、前記予測モデルには、前記複数の環境の時間変化のデータのみが入力されることを特徴とする、
項目１に記載の情報処理装置。
［項目３］
前記学習部において、前記教師データは、前記感情の出現頻度を均一化させるオーバーサンプリング処理を行われている、
項目１又は２に記載の情報処理装置。
［項目４］
第１期間内の、少なくとも複数の環境の時間変化と、感情の時間変化との対応関係を示す教師データに基づいて、将来の予測時刻での感情を予測する予測モデルを機械学習により構築するステップと、
前期予測時刻の直前の第２期間内の少なくとも前記複数の環境の時間変化のデータを取得するステップと、
前期取得部で取得された少なくとも前記複数の環境の時間変化のデータを前記予測モデルに入力して、前記予測時刻での感情を予測するステップと、を備える、
情報処理方法。

【符号の説明】

【0098】

１ 情報処理装置、２ 取得部、３ 情報処理部、１１ 感情入力部、１２ 生体センサ部、１３ 環境センサ部、２１ モデル構築部、２２ ニューラルネットワーク部、２３ 予測部、２４ 学習部、３１ 入力データ、３２ａ、３２ｂ 状態データ、３３ａ、３３ｂ セル状態データ、３４ 出力データ、４１ａ、４１ｂ、４１ｃ シグモイド関数、４２ａ、４２ｂ 双曲線正接関数、４３ａ、４３ｂ、４３ｃ 乗算器、４４ 加算器

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図6】

【図7】