特開 2023-5834 感情推定装置、感情推定方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023005834

(43)【公開日】2023-01-18

(54)【発明の名称】感情推定装置、感情推定方法及びコンピュータプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20230111BHJP

   A61B 5/0245 20060101ALI20230111BHJP

【ＦＩ】

A61B5/16 120

A61B5/0245 100D

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021108035

(22)【出願日】2021-06-29

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(71)【出願人】

【識別番号】502054196

【氏名又は名称】学校法人武蔵野大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】小島 圭子

(72)【発明者】

【氏名】岩本 実結

(72)【発明者】

【氏名】中西 崇文

(72)【発明者】

【氏名】岡田 龍太郎

【テーマコード（参考）】

4C017

4C038

【Ｆターム（参考）】

4C017AA02

4C017AA19

4C017BC11

4C038PP03

4C038PQ06

4C038PS00

(57)【要約】

【課題】対象者の状態によらず、対象者の感情を推定すること。
【解決手段】感情推定の対象となる対象者に身に付けられた生体センサから対象者の心拍数を含む生体データを取得する取得部と、取得された生体データに含まれる心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて、対象者の感情を推定する感情推定部と、を備える感情推定装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

感情推定の対象となる対象者に身に付けられた生体センサから前記対象者の心拍数を含む生体データを取得する取得部と、
取得された前記生体データに含まれる心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて、前記対象者の感情を推定する感情推定部と、
を備える感情推定装置。

【請求項2】

前記感情推定部は、前記心拍数の分散値が前記閾値未満であった場合に、前記対象者が正の感情であると推定する、
請求項１に記載の感情推定装置。

【請求項3】

前記感情推定部は、前記心拍数の分散値が前記閾値以上であった場合に、前記対象者が負の感情であると推定する、
請求項１又は２に記載の感情推定装置。

【請求項4】

前記対象者が負の感情である状態が、所定の期間継続した、ある期間中に所定の回数推定された又は所定の割合推定された場合、前記対象者の状態を通知するための出力を行う通知部、をさらに備える、
請求項３に記載の感情推定装置。

【請求項5】

前記生体データには、さらに、前記対象者の心拍の波形を示すデータが含まれ、
前記対象者の心拍の波形を示すデータと、推定された前記対象者の感情と、前記データが得られた期間中に得られた他の情報とを対応付ける対応付け部と、
心拍、心拍数又は感情に関する条件の入力に応じて、入力された前記条件を満たす１以上の情報を出力する情報出力部と、をさらに備える、
請求項１から４のいずれか一項に記載の感情推定装置。

【請求項6】

前記情報出力部は、前記条件を満たす１以上の生体データ、又は、前記他の情報を出力する、
請求項５に記載の感情推定装置。

【請求項7】

前記他の情報は、写真であり、
前記情報出力部は、前記条件を満たす１以上の写真を所定の並び順で出力する、
請求項６に記載の感情推定装置。

【請求項8】

感情推定の対象となる対象者に身に付けられた生体センサから前記対象者の心拍数を含む生体データを取得し、
取得された前記生体データに含まれる心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて、前記対象者の感情を推定する、
感情推定方法。

【請求項9】

感情推定の対象となる対象者に身に付けられた生体センサから前記対象者の心拍数を含む生体データを取得する取得ステップと、
取得された前記生体データに含まれる心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて、前記対象者の感情を推定する感情推定ステップと、
をコンピュータに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象者の感情を推定する技術に関する。

【背景技術】

【0002】

従来、人の感情を推定する技術が提案されている（例えば、特許文献１参照）。特許文献１に記載の技術では、Ｗｅｂページから算出される特徴量と、Ｗｅｂページの閲覧期間中に取得されたユーザの生体信号の特徴量とに基づいて、ユーザが持った感情の種類を表す情報を推定結果として出力する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２２２３９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の手法は、Ｗｅｂページの閲覧期間中といった特定の状態で取得された生体信号を用いた場合にしか人の感情を推定することができないため、適用範囲が制限されてしまうという問題があった。

【0005】

上記事情に鑑み、本発明は、対象者の状態によらず、対象者の感情を推定することができる技術の提供を目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、感情推定の対象となる対象者に身に付けられた生体センサから前記対象者の心拍数を含む生体データを取得する取得部と、取得された前記生体データに含まれる心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて、前記対象者の感情を推定する感情推定部と、を備える感情推定装置である。

【0007】

本発明の一態様は、上記の感情推定装置であって、前記感情推定部は、前記心拍数の分散値が前記閾値未満であった場合に、前記対象者が正の感情であると推定する。

【0008】

本発明の一態様は、上記の感情推定装置であって、前記感情推定部は、前記心拍数の分散値が前記閾値以上であった場合に、前記対象者が負の感情であると推定する。

【0009】

本発明の一態様は、上記の感情推定装置であって、前記対象者が負の感情である状態が、所定の期間継続した、ある期間中に所定の回数推定された又は所定の割合推定された場合、前記対象者の状態を通知するための出力を行う通知部、をさらに備える。

【0010】

本発明の一態様は、上記の感情推定装置であって、前記生体データには、さらに、前記対象者の心拍の波形を示すデータが含まれ、前記対象者の心拍の波形を示すデータと、推定された前記対象者の感情と、前記データが得られた期間中に得られた他の情報とを対応付ける対応付け部と、心拍、心拍数又は感情に関する条件の入力に応じて、入力された前記条件を満たす１以上の情報を出力する情報出力部と、をさらに備える。

【0011】

本発明の一態様は、上記の感情推定装置であって、前記情報出力部は、前記条件を満たす１以上の生体データ、又は、前記他の情報を出力する。

【0012】

本発明の一態様は、上記の感情推定装置であって、前記他の情報は、写真であり、前記情報出力部は、前記条件を満たす１以上の写真を所定の並び順で出力する。

【0013】

本発明の一態様は、感情推定の対象となる対象者に身に付けられた生体センサから前記対象者の心拍数を含む生体データを取得し、取得された前記生体データに含まれる心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて、前記対象者の感情を推定する、感情推定方法である。

【0014】

本発明の一態様は、感情推定の対象となる対象者に身に付けられた生体センサから前記対象者の心拍数を含む生体データを取得する取得ステップと、取得された前記生体データに含まれる心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて、前記対象者の感情を推定する感情推定ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

【発明の効果】

【0015】

本発明により、対象者の状態によらず、対象者の感情を推定することが可能となる。

【図面の簡単な説明】

【0016】

【図1】第１の実施形態における感情推定システムのシステム構成を表す構成図である。

【図2】対象者が正の感情時の心拍数の分散値と、対象者が負の感情時の心拍数の分散値とを比較した結果を示す図である。

【図3】対象者が正の感情時の心拍数の分散値と、対象者が負の感情時の心拍数の分散値とを棒グラフで示した図である。

【図4】第１の実施形態における感情推定装置の処理の流れを説明するための図である。

【図5】第２の実施形態における感情推定システムのシステム構成を表す構成図である。

【図6】第３の実施形態における概要を説明するための図である。

【図7】第３の実施形態における感情推定システムのシステム構成を表す構成図である。

【図8】第３の実施形態における感情推定装置の処理の流れを説明するための図である。

【図9】第３の実施形態における感情推定装置が行うデータ出力処理の流れを説明するための図である。

【図10】情報出力部による表示の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における感情推定システム１００のシステム構成を表す構成図である。感情推定システム１００は、生体センサ１０及び感情推定装置２０を備える。生体センサ１０と、感情推定装置２０とは、有線又は無線により接続される。無線通信は、例えば短距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））であってもよい。生体センサ１０は、２台以上備えられてもよい。

【0018】

生体センサ１０は、感情の推定対象となるユーザ（以下「対象者」という。）の生体データを取得する。生体センサ１０は、取得された生体データに、生体データが取得された日時の情報を対応付けて感情推定装置２０に送信する。生体データは、対象者の生体に関する情報であり、例えば対象者の心拍数、心拍の波形を示すデータ（例えば、心電図）、体温、音声の出力レベル、血圧、脈拍等である。生体センサ１０は、ウェアラブルなセンサであり、例えばシャツ型のセンサであってもよいし、時計型であってもよい。

【0019】

感情推定装置２０は、生体センサ１０に取得された生体データに含まれる心拍数の分散値を用いて、対象者の感情を推定する。例えば、感情推定装置２０は、心拍数の分散値を、感情を分類するための基準となる閾値と比較することで対象者の感情を推定する。感情推定装置２０は、例えばスマートフォン、携帯電話、タブレット端末、パーソナルコンピュータ、ノートパソコン等の情報処理装置を用いて構成される。感情推定装置２０は、例えば対象者が保持する装置である。

【0020】

次に、第１の実施形態における感情推定装置２０の具体的な構成について説明する。感情推定装置２０は、操作部２１、表示部２２、通信部２３、記憶部２４及び制御部２５を備える。

【0021】

操作部２１は、キーボード、ポインティングデバイス（マウス、タブレット等）、タッチパネル、ボタン等の既存の入力装置を用いて構成される。操作部２１は、ユーザの指示を感情推定装置２０に入力する際にユーザによって操作される。また、操作部２１は、入力装置を感情推定装置２０に接続するためのインタフェースであってもよい。この場合、操作部２１は、入力装置においてユーザの入力に応じて生成された入力信号を感情推定装置２０に入力する。

【0022】

表示部２２は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示部２２は、例えば、感情の推定結果を表示する。表示部２２は、画像表示装置を感情推定装置２０に接続するためのインタフェースであってもよい。この場合、表示部２２は、感情推定装置２０を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

【0023】

通信部２３は、他の装置との間で通信を行う。例えば、通信部２３は、生体センサ１０との間で通信を行う。通信部２３は、生体センサ１０から送信された生体データを受信する。

【0024】

記憶部２４には、アプリケーションプログラム２４１、生体データ２４２及び推定結果２４３が記憶されている。アプリケーションプログラム２４１は、制御部２５により実行されるプログラムである。制御部２５によりアプリケーションプログラム２４１が実行されることにより、感情推定装置２０は対象者の感情を推定する機能を実現することができる。生体データ２４２は、生体センサ１０から得られた生体データである。推定結果２４３は、生体データに基づいて推定された対象者の感情の推定結果である。記憶部２４は、磁気記憶装置や半導体記憶装置などの記憶装置を用いて構成される。

【0025】

制御部２５は、感情推定装置２０全体を制御する。制御部２５は、ＣＰＵ（Central Processing Unit）等のプロセッサやメモリを用いて構成される。制御部２５は、アプリケーションプログラム２４１を実行することによって、取得部２５１、分散値取得部２５２、感情推定部２５３及び情報出力部２５４の機能を実現する。

【0026】

取得部２５１、分散値取得部２５２、感情推定部２５３及び情報出力部２５４のうち一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）、ＦＰＧＡなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。

【0027】

取得部２５１、分散値取得部２５２、感情推定部２５３及び情報出力部２５４の機能の一部は、予め感情推定装置２０に搭載されている必要はなく、追加のアプリケーションプログラムが感情推定装置２０にインストールされることで実現されてもよい。

【0028】

取得部２５１は、通信部２３によって受信された生体データを取得する。

【0029】

分散値取得部２５２は、取得部２５１によって取得された生体データに含まれる対象者の心拍数を用いて、心拍数の分散値を取得する。

【0030】

感情推定部２５３は、分散値取得部２５２により取得された心拍数の分散値と、感情を分類するための基準となる閾値とに基づいて対象者の感情を推定する。閾値は、予め設定されている。例えば、閾値は、２０である。感情推定部２５３は、心拍数の分散値が閾値未満であった場合に、対象者の感情が正の感情であると推定する。正の感情とは、対象者の気分が上昇している状態であり、例えば対象者が楽しい状態であることを意味する。正の感情は、例えばＲＵＳＳＥＬＬの感情円環モデルを４象限に分類した際の第１象限（「快」と「覚醒」の間の感情）に属する感情である。感情推定部２５３は、心拍数の分散値が閾値以上であった場合に、対象者の感情が負の感情であると推定する。負の感情とは、対象者の気分が下降している状態であり、例えば対象者が悲しい状態であることを意味する。負の感情は、例えばＲＵＳＳＥＬＬの感情円環モデルを４象限に分類した際の第３象限（「不快」と「非覚醒」の間の感情）に属する感情である。

【0031】

情報出力部２５４は、感情推定部２５３により得られた感情の推定結果を表示部２２に表示する。情報出力部２５４は、推定結果が得られる度に推定結果を表示部２２に表示してもよいし、ユーザから指定された時間に対応する推定結果を表示部２２に表示してもよい。

【0032】

次に、図２及び図３を用いて、閾値について説明する。図２は、対象者が正の感情時の心拍数の分散値と、対象者が負の感情時の心拍数の分散値とを比較した結果を示す図である。図２において、線分３１は、対象者の感情が負の感情である場合の心拍数の分散値を示し、線分３２は、対象者の感情が正の感情である場合の心拍数の分散値を示す。図２に示すように、対象者の感情が負の感情である場合のほうが、対象者が正の感情である場合に比べて分散値が高いことがわかる。

【0033】

図３は、対象者が正の感情時の心拍数の分散値と、対象者が負の感情時の心拍数の分散値とを棒グラフで示した図である。図３において、棒グラフ３３は、対象者の感情が正の感情である場合の心拍数の分散値を示し、棒グラフ３４は、対象者の感情が負の感情である場合の心拍数の分散値を示す。図３に示されるように、分散値“２０”辺りを基準に、対象者が正の感情時の心拍数の分散値と、対象者が負の感情時の心拍数の分散値との分布の割合が異なる。そのため、閾値を２０とすることで、精度よく対象の感情が、正の感情又は負の感情のいずれであるかを推定することができる。なお、閾値が２０であることはあくまで一例であり、多少精度が劣化してもよい場合には、ある程度の幅を持たせることが可能である。

【0034】

図４は、第１の実施形態における感情推定装置２０の処理の流れを説明するための図である。
取得部２５１は、生体データを取得する（ステップＳ１０１）。取得部２５１は、取得した生体データを記憶部２４に保存する。分散値取得部２５２は、取得部２５１により取得された生体データを利用して、心拍数の分散値を演算により取得する（ステップＳ１０２）。感情推定部２５３は、取得された心拍数の分散値が、閾値以上であるか否かを判定する（ステップＳ１０３）。

【0035】

感情推定部２５３は、心拍数の分散値が閾値以上である場合（ステップＳ１０３－ＹＥＳ）、感情推定部２５３は対象者が負の感情であると推定する（ステップＳ１０４）。感情推定部２５３は、推定結果を記憶部２４に保存する。その後、情報出力部２５４は、推定結果が得られたタイミング、又は、ユーザからの表示指示に応じて、記憶部２４に記憶されている推定結果を表示部２２に表示する（ステップＳ１０５）。ユーザからの表示指示に応じて推定結果を表示部２２に表示する場合には、情報出力部２５４はユーザから指定された時刻に対応する推定結果を表示部２２に表示する。推定結果の表示方法としては、正の感情であるか負の感情であるかを文字で表示してもよいし、感情を示すアイコン（例えば、正の感情であることを示すアイコンや負の感情であることを示すアイコン）で表示してもよいし、生体データと共に感情の情報（文字又はアイコン）を表示してもよい。

【0036】

ステップＳ１０３の処理において、感情推定部２５３は、心拍数の分散値が閾値未満である場合（ステップＳ１０３－ＮＯ）、感情推定部２５３は対象者が正の感情であると推定する（ステップＳ１０６）。感情推定部２５３は、推定結果を記憶部２４に保存する。その後、ステップＳ１０５の処理が実行される。

【0037】

以上のように構成された感情推定システム１００によれば、対象者の状態によらず、対象者の感情を推定することができる。具体的には、感情推定装置２０は、感情推定の対象となる対象者に身に付けられた生体センサ１０から対象者の心拍数の分散値と、閾値とに基づいて対象者の感情を推定する。これにより、従来のように、特定の状態で取得された生体データでなくても人物の感情を推定することができる。そのため、対象者の状態によらず、対象者の感情を推定することが可能になる。

【0038】

感情推定装置２０は、心拍数の分散値と閾値とを比較することにより、対象者が正の感情であるか、負の感情であるかを推定する。このように、心拍数の分散値と閾値との比較という簡便な処理で対象者の感情を推定することができる。そのため、容易に対象者の感情推定が可能になる。

【0039】

（第１の実施形態における変形例）
上記の構成では、対象者が保持している装置で感情推定の処理を行う構成を示したが、感情推定の処理をクラウド上のサーバで実行し、推定結果のみを対象者が保持している装置で表示するように構成されてもよい。このように構成される場合、クラウド上のサーバは、通信部と、感情推定装置２０の制御部２５における分散値取得部２５２及び感情推定部２５３の機能と、記憶部２４とを備えて感情推定装置として機能してもよい。対象者が保持している装置は、操作部２１と、表示部２２と、通信部２３と、感情推定装置２０の制御部２５における取得部２５１及び情報出力部２５４の機能と、記憶部２４とを備える。対象者が保持している装置は、生体データが得られる度に、得られた生体データをクラウド上のサーバに送信する。クラウド上のサーバは、対象者が保持している装置から送信された生体データを用いて対象者の感情を推定する。なお、クラウド上のサーバは、生体センサ１０から直接生体データを取得してもよい。この場合、クラウド上のサーバは、生体センサ１０を身に付けている対象者の識別情報と、対象者が保持している装置とを対応付けた情報を保持する必要がある。

【0040】

（第２の実施形態）
第２の実施形態では、第１の実施形態で示した構成の応用例として、メンタルヘルスに適用する場合について説明する。
図５は、第２の実施形態における感情推定システム１００ａのシステム構成を表す構成図である。感情推定システム１００ａは、例えば、コールセンター、オフィスなどに適用される。なお、第２の実施形態における感情推定システム１００ａは、在宅勤務の人物にも適用できる。第２の実施形態では、感情推定システム１００ａがコールセンターに適用される場合について説明する。以下、第１の実施形態との差分をメインに説明する。

【0041】

感情推定システム１００ａは、生体センサ１０及び感情推定装置２０ａを備える。生体センサ１０と、感情推定装置２０ａとは、有線又は無線により接続される。生体センサ１０は、２台以上備えられてもよい。生体センサ１０は、コールセンターのオペレータに身に付けられる。

【0042】

感情推定装置２０ａは、生体センサ１０に取得された生体データに含まれる心拍数の分散値を用いて、オペレータ（対象者）の感情を推定する。感情推定装置２０ａは、例えばオペレータが操作する装置である。

【0043】

次に、第２の実施形態における感情推定装置２０ａの具体的な構成について説明する。感情推定装置２０ａは、操作部２１、表示部２２、通信部２３、記憶部２４及び制御部２５ａを備える。

【0044】

制御部２５ａは、感情推定装置２０ａ全体を制御する。制御部２５ａは、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部２５ａは、アプリケーションプログラム２４１を実行することによって、取得部２５１、分散値取得部２５２、感情推定部２５３、情報出力部２５４及び通知部２５５の機能を実現する。

【0045】

取得部２５１、分散値取得部２５２、感情推定部２５３、情報出力部２５４及び通知部２５５のうち一部または全部は、ＡＳＩＣやＰＬＤ、ＦＰＧＡなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。

【0046】

取得部２５１、分散値取得部２５２、感情推定部２５３、情報出力部２５４及び通知部２５５の機能の一部は、予め感情推定装置２０ａに搭載されている必要はなく、追加のアプリケーションプログラムが感情推定装置２０ａにインストールされることで実現されてもよい。

【0047】

通知部２５５は、対象者が負の感情である状態が所定の期間（例えば、〇秒以上）継続した場合、対象者の状態を通知するための出力を行う。負の感情である状態が所定の期間継続している場合、心の負担となる状態が長く続いていることが想定される。そこで、通知部２５５は、対象者の状態が下降傾向であることをオペレータの管理者や周囲に通知する。通知部２５５による通知方法としては、メールや、管理者や周囲の人物が使用している装置の画面へのポップアップ表示等、様々な手法が考えられる。

【0048】

このような構成により、対象者のメンタルケアが可能になる。例えば、コールセンターのオペレータは、クレーム対応を多くこなしている場合等、心の負担が大きくなる。感情推定システム１００ａの構成により、対象者の負荷を可視化することができるため、適切なサポート支援が可能になる。これにより、心の負荷による離職率を低下させることもできる。

【0049】

（第２の実施形態における変形例）
上記の構成では、対象者が保持している装置で感情推定の処理及び推定結果に基づく通知を行う構成を示したが、感情推定の処理及び推定結果に基づく通知をクラウド上のサーバで実行し、推定結果や推定結果に基づく通知を対象者が保持している装置で表示するように構成されてもよい。このように構成される場合、クラウド上のサーバは、通信部と、感情推定装置２０ａの制御部２５ａにおける分散値取得部２５２、感情推定部２５３及び通知部２５５の機能と、記憶部２４とを備えて感情推定装置として機能してもよい。対象者が保持している装置は、操作部２１と、表示部２２と、通信部２３と、感情推定装置２０ａの制御部２５ａにおける取得部２５１及び情報出力部２５４の機能と、記憶部２４とを備える。

【0050】

通知部２５５は、対象者が負の感情である状態が、予め定められたある期間中（例えば、数分間）に所定の回数（例えば、〇回）分推定又は所定の割合（例えば、８割）推定された場合、対象者の状態を通知するための出力を行うように構成されてもよい。ある期間中の対象者の感情として負の感情が多い傾向（必ずしも連続しているとは限られない）にある場合にも、心の負担が大きい状態（例えば、不安定な状態）になっていることが想定される。例えば、対象者のある期間中の感情が、負の感情、負の感情、負の感情、正の感情、負の感情の場合、負の感情の割合が多い。このように、負の感情が連続していなくても、負の感情の割合が多い場合には、心の負担が大きくなっていることがある。そこで、通知部２５５が、このような条件を満たした場合にも通知を行うことで、対象者のメンタルケアが可能になる。

【0051】

（第３の実施形態）
第３の実施形態では、第１の実施形態で示した構成の応用例として、思い出写真の自動保存に適用する場合について説明する。

【0052】

図６は、第３の実施形態における概要を説明するための図である。一般的に、思い出の記憶は、時間と共に薄れてしまう。そのため、写真の撮影時には覚えている記憶も時間が経過すると鮮明に思い出すことができなくなる。そうなると、写真を見ただけでは、撮影時の感情が正の感情（例えば、楽しい）であるのか負の感情（例えば、悲しい）であるのか思い出せないこともある。第３の実施形態では、図６に示すように生体データ３５と、撮影した写真３６とを対応付けることで、写真撮影時の対象者の感情の情報も保存する。これにより、対象者が、改め写真を見た際に、撮影時の感情を思い出し、より写真への感情移入が可能になる。例えば、生体データ３５に対して、撮影した写真３６の撮影時刻を元に対応付けを行うことで、写真３６を撮影した時刻の生体データに写真３６の対応付けが可能になる。

【0053】

図７は、第３の実施形態における感情推定システム１００ｂのシステム構成を表す構成図である。以下、第１の実施形態との差分をメインに説明する。感情推定システム１００ｂは、生体センサ１０及び感情推定装置２０ｂを備える。生体センサ１０と、感情推定装置２０ｂとは、有線又は無線により接続される。生体センサ１０は、２台以上備えられてもよい。生体センサ１０は、写真を撮影するユーザに身に付けられる。

【0054】

感情推定装置２０ｂは、生体センサ１０に取得された生体データに含まれる心拍数の分散値を用いて、対象者の感情を推定する。さらに、感情推定装置２０ｂは、生体データと、生体データにより推定された感情の情報と、写真との対応付けを行い、ユーザからの要求に応じた写真を表示する。感情推定装置２０ｂは、例えば写真を撮影するユーザが操作する装置である。

【0055】

次に、第３の実施形態における感情推定装置２０ｂの具体的な構成について説明する。感情推定装置２０ｂは、操作部２１、表示部２２、通信部２３、記憶部２４ｂ、制御部２５ｂ及び撮像部２６を備える。

【0056】

撮像部２６は、感情推定装置２０に内蔵されているカメラであり、感情推定装置２０ｂの周辺を撮像する。

【0057】

記憶部２４ｂには、アプリケーションプログラム２４１、生体データ２４２、推定結果２４３、画像２４４及び対応付けデータ２４５が記憶されている。画像２４４は、撮像部２６により撮影された写真である。対応付けデータ２４５は、生体データと、生体データにより推定された感情の情報と、写真とが対応付けられたデータである。記憶部２４ｂは、磁気記憶装置や半導体記憶装置などの記憶装置を用いて構成される。

【0058】

制御部２５ｂは、感情推定装置２０ｂ全体を制御する。制御部２５ｂは、ＣＰＵ等のプロセッサやメモリを用いて構成される。制御部２５ｂは、アプリケーションプログラム２４１を実行することによって、取得部２５１ｂ、分散値取得部２５２、感情推定部２５３、情報出力部２５４ｂ及び対応付け部２５６の機能を実現する。

【0059】

取得部２５１ｂ、分散値取得部２５２、感情推定部２５３、情報出力部２５４ｂ及び対応付け部２５６のうち一部または全部は、ＡＳＩＣやＰＬＤ、ＦＰＧＡなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。

【0060】

取得部２５１ｂ、分散値取得部２５２、感情推定部２５３、情報出力部２５４ｂ及び対応付け部２５６の機能の一部は、予め感情推定装置２０ｂに搭載されている必要はなく、追加のアプリケーションプログラムが感情推定装置２０ｂにインストールされることで実現されてもよい。

【0061】

取得部２５１ｂは、通信部２３によって受信された生体データを取得する。さらに、取得部２５１ｂは、撮像部２６によって撮像された写真を取得する。

【0062】

対応付け部２５６は、生体データに含まれる対象者の心拍の波形を示すデータと、推定された対象者の感情の情報と、生体データが得られた期間中に得られた写真とを対応付ける。具体的には、対応付け部２５６は、写真の撮影時刻情報を元に、対象者の心拍の波形を示すデータの対応する時刻に、写真と感情の情報とを対応付ける。なお、対応付けの方法は、他の手法であってもよい。例えば、ユーザにより手動で対応付けられてもよい。この場合、対応付け部２５６は、ユーザの操作に応じて、対象者の心拍の波形を示すデータと、推定された対象者の感情の情報と、写真とを対応付ける。対応付け部２５６により対応付けられたデータが、記憶部２４ｂに記憶される対応付けデータ２４５である。

【0063】

対応付け部２５６は、写真を仕分け可能な情報（例えば、写真が撮影された時刻に行われているイベントの情報、外部情報（例えば、天気、気温、位置情報）や時事の情報等）を対応付けてもよい。これにより、対応付けデータ２４５をイベント毎に仕分けすることが可能になる。その結果、検索が容易になる。

【0064】

情報出力部２５４ｂは、感情推定部２５３により得られた感情の推定結果を表示部２２に表示する。さらに、情報出力部２５４ｂは、心拍、心拍数又は感情に関する条件の入力に応じて、入力された条件を満たす１以上の対応付けデータ２４５を出力する。

【0065】

図８は、第３の実施形態における感情推定装置２０ｂの処理の流れを説明するための図である。
撮像部２６は、ユーザの操作に応じて、対象物を撮像する（ステップＳ２０１）。取得部２５１ｂは、撮像部２６により撮像された写真を取得する。取得部２５１ｂは、取得した写真を記憶部２４ｂに保存する。さらに、取得部２５１ｂは、生体データを取得する（ステップＳ２０２）。この際取得した生体データは、少なくとも写真を撮影した時刻の生体データが含まれている所定期間分のデータである。取得部２５１ｂは、取得した生体データを記憶部２４ｂに保存する。分散値取得部２５２は、取得部２５１ｂにより取得された生体データを利用して、心拍数の分散値を演算により取得する（ステップＳ２０３）。感情推定部２５３は、取得された心拍数の分散値が、閾値以上であるか否かを判定する（ステップＳ２０４）。

【0066】

感情推定部２５３は、心拍数の分散値が閾値以上である場合（ステップＳ２０４－ＹＥＳ）、感情推定部２５３は対象者が負の感情であると推定する（ステップＳ２０５）。感情推定部２５３は、推定結果を記憶部２４ｂに保存する。その後、対応付け部２５６は、記憶部２４ｂに保存されている生体データ２４２と、推定結果２４３と、画像２４４とを対応付ける。例えば、対応付け部２５６は、記憶部２４ｂに保存されている画像２４４の中からステップＳ２０１の処理で取得された写真を取得する。次に、対応付け部２５６は、取得した写真の撮影時刻に対応する生体データを記憶部２４ｂに保存されている生体データ２４２の中から取得する。次に、対応付け部２５６は、取得した生体データに基づいて推定された感情の情報を記憶部２４ｂに保存されている推定結果２４３の中から取得する。そして、対応付け部２５６は、取得した写真の撮影時刻情報を元に、対象者の心拍の波形を示すデータの対応する時刻に、写真と感情の情報とを対応付ける。対応付け部２５６は、対応付け後のデータを記憶部２４ｂに保存する（ステップＳ２０６）。

【0067】

ステップＳ２０４の処理において、感情推定部２５３は、心拍数の分散値が閾値未満である場合（ステップＳ２０４－ＮＯ）、感情推定部２５３は対象者が正の感情であると推定する（ステップＳ２０７）。感情推定部２５３は、推定結果を記憶部２４ｂに保存する。その後、ステップＳ２０６の処理が実行される。

【0068】

図９は、第３の実施形態における感情推定装置２０ｂが行うデータ出力処理の流れを説明するための図である。
ユーザは、感情推定装置２０ｂの操作部２１を操作して、表示したい情報を検索するための検索条件を入力する。例えば、ユーザは、感情（楽しい、悲しい等）、心拍数又は心拍の情報のいずれかを検索条件として感情推定装置２０に入力する。情報出力部２５４ｂは、操作部２１を介して入力された検索条件を確認する（ステップＳ３０１）。情報出力部２５４ｂは、入力された検索条件に応じたデータを表示部２２に出力する（ステップＳ３０２）。情報出力部２５４ｂが行う検索機能には、２つの機能がある。いずれの機能で検索するかは、ユーザが適宜選択すればよい。

【0069】

（バイタルマッチング機能）
バイタルマッチング機能は、ユーザが指定した感情、心拍又は心拍数等の条件を満たす生体データを検索する機能である。情報出力部２５４ｂは、検索した生体データを所定の順番（例えば、時刻順、心拍又は心拍数の高い又は低い順等）で表示部２２に表示させる。例えば、ユーザが感情の面から条件を指定する場合、ユーザは条件として、楽しい時の感情又は悲しい時の感情の選択や、楽しさや悲しさの度合いの選択により指定することが可能である。楽しさ（正の感情）や悲しさ（負の感情）の度合いは、分散値の値に基づいて決定されてもよい。例えば、分散値が閾値以上であり、かつ、閾値より離されるほど悲しさの度合いが高いとしてもよく、分散値が閾値未満であり、かつ、閾値より離されるほど楽しさの度合いが高いとしてもよい。例えば、心拍の面から条件を指定する場合、情報出力部２５４ｂは、心拍が高い箇所から低い箇所までを何段階かにレベル分けをしたものをユーザに提示し、ユーザがレベルを選択することにより条件を指定することが可能である。なお、バイタルマッチング機能時には、日時の条件を加えてもよい。ユーザが日時を指定することにより、特定の行事や旅行などの条件を指定することも可能となる。

【0070】

（写真検索機能）
写真検索機能は、ユーザが指定した感情、心拍又は心拍数のいずれかの条件を満たす対応付けデータ２４５を検索する機能である。情報出力部２５４ｂは、検索結果に含まれる少なくとも写真を所定の順番で表示部２２に表示させる。なお、情報出力部２５４ｂは、写真に対応付けて感情の情報を表示してもよい。写真の表示方法は、楽しい順や悲しい順というように感情の度合い順に並び替えて表示してもよいし、時系列順や出来事毎に並び替えて表示させてもよい。このように、撮影当時の体調や感情の度合いを想起しながら、写真データを整理することにより、ユーザの記憶から消え去っていた写真撮影前後で起こった当時のエピソードを想起することが可能となる。想起した思い出に浸り、当時一緒にいた家族や仲間と過去を懐かしむことが出来る。

【0071】

図１０は、情報出力部２５４ｂによる表示の一例を示す図である。図１０の左側は、感情推定装置２０ｂに保存されている写真の一例を示す図である。ここで、ユーザが、遊園地の写真をタップすると、感情推定装置２０ｂの表示部２２の画面が右側に示す画面に切り替わる。ユーザは、表示部２２の画面上に表示されたスライドバー４０を操作することで、画面上に表示させる画像を切り替えることができる。例えば、ユーザが、スライドバー４０を楽しさ“高い”側に移動させると、情報出力部２５４ｂは記憶部２４ｂに保存されている対応付けデータ２４５の中から、正の感情の度合いが“高い”、かつ、遊園地の写真が対応付けられた対応付けデータを取得する。そして、情報出力部２５４ｂは、取得した対応付けデータを表示部２２に表示させる。この際、情報出力部２５４ｂは、正の感情の度合いが高い順に表示させてもよい。

【0072】

以上のように構成された感情推定システム１００ｂによれば、撮影された写真に、感情や生体データを対応付けて保存することが可能になる。これにより、時間が経過してから写真を見た際にも、同時の感情や状況を把握しやすくなる。その結果、単純に写真を見ることでは思い出せなかった当時の思い出を思い出すきっかけを与えることができる。

【0073】

（第３の実施形態における変形例）
上記の構成では、対象者が保持している装置で感情推定の処理及び情報検索の処理を行う構成を示したが、感情推定の処理及び情報検索の処理をクラウド上のサーバで実行し、推定結果や検索結果を対象者が保持している装置で表示するように構成されてもよい。このように構成される場合、クラウド上のサーバは、通信部と、感情推定装置２０ｂの制御部２５ｂにおける分散値取得部２５２、感情推定部２５３、情報出力部２５４ｂの一部の処理（例えば、情報の検索処理）及び対応付け部２５６の機能と、記憶部２４ｂとを備えて感情推定装置として機能してもよい。対象者が保持している装置は、操作部２１と、表示部２２と、通信部２３と、撮像部２６と、感情推定装置２０ｂの制御部２５ｂにおける取得部２５１ｂ及び情報出力部２５４ｂの一部の処理（例えば、情報の出力処理）の機能と、記憶部２４ｂとを備える。

【0074】

感情推定装置２０ｂは、第２の実施形態における通知部２５５を備えるように構成されてもよい。

【0075】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0076】

１０…生体センサ， ２０、２０ａ、２０ｂ…感情推定装置， ２１…操作部， ２２…表示部， ２３…通信部， ２４、２４ｂ…記憶部， ２５、２５ａ、２５ｂ…制御部， ２５１、２５１ｂ…取得部， ２５２…分散値取得部， ２５３…感情推定部， ２５４、２５４ｂ…情報出力部， ２５５…通知部， ２５６…対応付け部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】