特許 7440020 情報処理方法、端末装置、情報処理装置、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】情報処理方法、端末装置、情報処理装置、及び情報処理システム

(51)【国際特許分類】

   G06Q 30/0242 20230101AFI20240220BHJP

   A61B 5/16 20060101ALI20240220BHJP

   G06Q 50/10 20120101ALI20240220BHJP

【ＦＩ】

G06Q30/0242

A61B5/16 110

A61B5/16 120

G06Q50/10

【請求項の数】 13

(21)【出願番号】P 2020010943

(22)【出願日】2020-01-27

(65)【公開番号】P2020126645

(43)【公開日】2020-08-20

【審査請求日】2022-11-01

(31)【優先権主張番号】P 2019015075

(32)【優先日】2019-01-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】521473871

【氏名又は名称】株式会社センシング

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】津村 徳道

(72)【発明者】

【氏名】金 一石

(72)【発明者】

【氏名】武川 陽一

【審査官】山崎 誠也

(56)【参考文献】

【文献】特開２０１７－０２９３１８（ＪＰ，Ａ）

【文献】特表２０１６－５３５３４７（ＪＰ，Ａ）

【文献】特開２０１０－２５０５２８（ＪＰ，Ａ）

【文献】特開２０１４－０８１９１３（ＪＰ，Ａ）

【文献】特開２０１７－１４６７３３（ＪＰ，Ａ）

【文献】特開２０１５－０８２６９１（ＪＰ，Ａ）

【文献】特開２００９－００５０９４（ＪＰ，Ａ）

【文献】特開２００５－１５０７９６（ＪＰ，Ａ）

【文献】安丸 昌輝，顔映像の脈波測定を活用した感情推定，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2018年05月31日，Vol.118 No.73，p.39-42

【文献】津村 徳道，顔画像のヘモグロビン色素分離による非接触心拍変動計測とストレスモニタリング，[online]，2016年12月13日，[検索日 2023.08.29], インターネット<URL:https://shingi.jst.go.jp/pdf/2016/2016_cictokyoB_6.pdf>

【文献】第２章 潜在意識編 進化するニューロリサーチ、一方で手軽な潜在意識調査も，日経ＸＴＲＥＮＤ，日経ＢＰ社，2018年09月14日，p.26-29

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ａ６１Ｂ ５／１６

(57)【特許請求の範囲】

【請求項1】

第１装置が、
コンテンツを表示部に表示し、
表示されるコンテンツを視認するユーザの顔の顔画像データを取得し、
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成し、
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成し、
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成し、
第２装置が、
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成し、
複数の前記ユーザの感情データに基づいて、動画である前記コンテンツに対して、複数の感情パラメータに対する分析値が最大値となった時点における再生開始からの時間を示す感情レポートを生成する
情報処理方法。

【請求項2】

前記第２装置が、
動画である前記コンテンツの再生開始からの各時点における複数の感情パラメータに対する分析値を示す感情レポートを生成する
請求項１に記載の情報処理方法。

【請求項3】

前記第２装置が、
前記感情レポートに基づく前記複数の感情パラメータに対する分析値と、前記コンテンツとを、前記コンテンツの再生開始からの経過時間に同期して表示するための表示データを出力する
請求項２に記載の情報処理方法。

【請求項4】

前記コンテンツは、複数の質問を有するアンケートを含み、
前記第２装置が、
前記複数の質問のそれぞれに回答するユーザの顔画像データから生成された前記ユーザの心拍変動データに基づいて、それぞれの質問に対する前記ユーザの感情データを生成する
請求項１から３までのいずれかひとつに記載の情報処理方法。

【請求項5】

前記コンテンツは、ストレスチェックに係る質問を含み、
前記第１装置が、
前記質問に対する回答を受け付け、
前記質問に回答するユーザの顔画像データに基づいて前記質問に回答する前記ユーザの心拍変動データを生成し、
前記第２装置が、
前記質問に回答する前記ユーザの心拍変動データに基づいて前記質問に対する前記ユーザの感情データを生成し、
前記質問に対する回答と生成した前記感情データとを対応付けて出力する
請求項１から４までのいずれかひとつに記載の情報処理方法。

【請求項6】

第１装置が、
コンテンツを表示部に表示し、
表示されるコンテンツを視認するユーザの顔の顔画像データを取得し、
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成し、
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成し、
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成し、
第２装置が、
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成し、
前記感情データに基づいて、前記コンテンツから、前記ユーザが所定の感情を抱いた箇所を抽出し、
抽出した箇所に対応するデータを用いてアルバムデータを生成し、
前記ユーザに割り当てられた識別子に対応付けて、生成された前記アルバムデータを記憶部に記憶し、
前記識別子に基づいて前記アルバムデータを要求された場合に、前記アルバムデータを出力する
情報処理方法。

【請求項7】

コンテンツを表示する表示部と、
前記表示部に表示されるコンテンツを視認するユーザの顔の顔画像データを取得する取得部と、
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成する抽出部と、
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成する心拍データ生成部と、
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成する心拍変動データ生成部と、
前記心拍変動データを前記コンテンツに係るコンテンツ情報と共に出力する出力部と
を備える端末装置。

【請求項8】

前記取得部が取得した顔画像データ、及び前記抽出部が生成したヘモグロビン画像データの少なくとも一方を記憶する記憶部と、
前記出力部が前記心拍変動データ及びコンテンツ情報を出力した後に、前記記憶部に記憶された前記顔画像データ又は前記ヘモグロビン画像データを前記記憶部から消去する消去部と
を備える請求項７に記載の端末装置。

【請求項9】

前記取得部が顔画像データを取得した場合に、前記顔画像データに対して画質補正処理を行う補正部と、
前記顔画像データを前記ユーザの感情分析に用いる場合、前記補正部による画質補正処理の実行を禁止する禁止部と
を更に備える請求項７又は８に記載の端末装置。

【請求項10】

表示されるコンテンツを視認するユーザの顔の顔画像データに基づいて生成された前記ユーザの心拍変動を示す心拍変動データを取得するデータ取得部と、
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する感情分析部と、
複数の前記心拍変動データに基づいて生成した複数の前記ユーザの感情データに基づいて、前記コンテンツに対する感情レポートを生成するレポート生成部と
を備え、
前記レポート生成部は、複数の前記ユーザの感情データに基づいて、動画である前記コンテンツに対して、複数の感情パラメータに対する分析値が最大値となった時点における再生開始からの時間を示す感情レポートを生成する
情報処理装置。

【請求項11】

表示されるコンテンツを視認するユーザの顔の顔画像データに基づいて生成された前記ユーザの心拍変動を示す心拍変動データを取得するデータ取得部と、
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する感情分析部と、
前記感情データに基づいて、前記コンテンツから、前記ユーザが所定の感情を抱いた箇所を抽出する箇所抽出部と、
抽出した箇所に対応するデータを用いてアルバムデータを生成するアルバム生成部と、
前記ユーザに割り当てられた識別子に対応付けて、生成した前記アルバムデータを記憶する記憶部と、
前記識別子に基づいて前記アルバムデータを要求された場合に、前記アルバムデータを出力する出力部と
を備える情報処理装置。

【請求項12】

前記データ取得部は、請求項７から９までのいずれかひとつに記載の端末装置が出力した前記心拍変動データ及びコンテンツ情報を取得する
請求項１０又は１１に記載の情報処理装置。

【請求項13】

コンテンツを表示する表示部を備える端末装置と、前記端末装置と通信可能な情報処理装置とを有する情報処理システムであって、
前記端末装置は、
前記表示部に表示されるコンテンツを視認するユーザの顔の顔画像データを取得する取得部と、
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成する抽出部と、
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成する心拍データ生成部と、
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成する心拍変動データ生成部と、
前記心拍変動データを前記コンテンツに係るコンテンツ情報と共に出力する出力部とを備え、
前記情報処理装置は、
前記端末装置が出力した前記心拍変動データ及びコンテンツ情報を取得するデータ取得部と、
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する感情分析部と、
複数の前記心拍変動データに基づいて生成した複数の前記ユーザの感情データに基づいて、前記コンテンツに対する感情レポートを生成するレポート生成部とを備える
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法、端末装置、情報処理装置、及び情報処理システムに関する。

【背景技術】

【0002】

近年、人の顔を撮影して得られた撮影画像から被写体の人の感情を判定する技術が開発されている。特許文献１には、ＲＧＢカメラを用いて撮影した顔画像に基づいて、被写体の人の心拍変動を示す心拍変動スペクトログラムを作成し、心拍変動スペクトログラムに基づいて被写体の人のストレス状態を判定する技術が提案されている。特許文献１に開示された技術では、顔画像から色素成分分離によってヘモグロビン画像が作成され、ヘモグロビン画像に基づいて心拍変動スペクトログラムが作成される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－２９３１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術によって作成される心拍変動スペクトログラムは、被写体の人のストレス状態の判定だけでなく、人の感情の判定にも利用することができる。よって、特許文献１に開示された技術は、人の感情を判定した結果を用いて種々の処理を行う様々なシステムに利用されることが期待される。

【0005】

本開示はこのような事情に鑑みてなされたものであり、その目的は、コンテンツに対する視聴者の感情を分析することを支援することが可能な情報処理方法等を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報処理方法は、コンテンツを表示部に表示し、表示されるコンテンツを視認するユーザの顔の顔画像データを取得し、前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成し、前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成し、前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成し、前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する処理をコンピュータが実行する。

【発明の効果】

【0007】

本開示の一態様にあっては、コンテンツを視認（視聴）するユーザの顔画像に基づいて、視認中のユーザの感情を逐次分析できるので、コンテンツの再生タイミング毎のユーザの感情を取得できる。また、複数のユーザの感情の分析結果に基づいて、コンテンツに対する視認者（視聴者）の感情レポートを生成できる。よって、視認者の感情レポートをコンテンツの作成者に提供することができ、また、視認者の感情レポートに基づいてコンテンツに対する評価を行うことができる。

【図面の簡単な説明】

【0008】

【図1】感情分析システムの構成例を示す模式図である。

【図2】感情分析システムの構成例を示すブロック図である。

【図3】サーバ及び端末装置に記憶されるＤＢの構成例を示す模式図である。

【図4】端末装置の制御部によって実現される機能を示すブロック図である。

【図5】端末装置による処理の説明図である。

【図6】サーバの制御部によって実現される機能を示すブロック図である。

【図7】画面例を示す模式図である。

【図8】端末装置による心拍変動データの取得処理の手順を示すフローチャートである。

【図9】サーバによる感情分析処理の手順を示すフローチャートである。

【図10】実施形態２の感情分析システムの構成例を示すブロック図である。

【図11】実施形態２の端末装置による心拍変動データの取得処理の手順を示すフローチャートである。

【図12】実施形態３の端末装置による心拍変動データの取得処理の手順を示すフローチャートである。

【図13】実施形態３の端末装置による心拍変動データの取得処理の手順を示すフローチャートである。

【図14】画面例を示す模式図である。

【図15】実施形態３のサーバによる感情分析処理の手順を示すフローチャートである。

【図16】実施形態４の端末装置による健康状態判定処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に、本開示の情報処理方法、端末装置及び情報処理装置について、コンテンツを視認（視聴）するユーザの感情を分析する感情分析システムに適用した実施形態を示す図面に基づいて具体的に説明する。以下の実施形態では、コンテンツは画像のみを含むコンテンツであってもよく、画像及び音声を含むコンテンツであってもよい。よって、以下では、コンテンツを視聴する場合には、画像及び音声を含むコンテンツを見る場合だけでなく、画像のみのコンテンツを視認する場合も含まれる。また、視聴者は、画像及び音声を含むコンテンツを視聴するユーザだけでなく、画像のみのコンテンツを視認するユーザ（視認者）も含まれる。

【0010】

（実施形態１）
図１は、感情分析システムの構成例を示す模式図である。本実施形態の感情分析システムは、サーバ（情報処理装置）１０及び複数の端末装置２０を含み、サーバ１０及び各端末装置２０は、インターネット又はＬＡＮ（Local Area Network）等のネットワークＮを介して情報の送受信を行う。サーバ１０は、サーバコンピュータ又はパーソナルコンピュータ等であり、複数台設けられてもよいし、１台のサーバ装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。サーバ１０は、コンテンツの視聴中のユーザ（視聴者）の心拍変動に関するデータを各端末装置２０から取得して蓄積する処理、蓄積したデータに基づいて各視聴者の感情を分析する処理、分析した結果に基づいて各コンテンツに対する感情レポートを生成する処理等、種々の情報処理を行う。端末装置２０は、タブレット端末、パーソナルコンピュータ等であり、感情分析システムに用いられる専用端末であることが好ましい。端末装置２０は、コンテンツの再生処理（表示処理）、再生中のコンテンツを視聴するユーザ（視聴者）の心拍変動に関するデータを収集する処理等、種々の情報処理を行う。端末装置２０は例えば、ショッピングモール等に設けられたフードコート内の飲食店で料理を注文したユーザに貸し出され、注文した料理が出来上がったことを通知する通知端末を、注文した料理が出来上がるまでの間コンテンツを再生させるように構成した装置を用いることができる。また端末装置２０は、美術館や博物館等で入館者に貸し出され、展示作品に対する解説コンテンツを再生する端末を用いることができる。

【0011】

図２は、感情分析システムの構成例を示すブロック図である。端末装置２０は、制御部２１、記憶部２２、通信部２３、表示部２４、入力部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部２１は、記憶部２２に記憶してある制御プログラム２２Ｐを適宜実行することにより、端末装置２０が行うべき種々の情報処理、制御処理等を行う。

【0012】

記憶部２２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部２２は、制御部２１が実行する制御プログラム２２Ｐ及び制御プログラム２２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラム２２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部２２には、後述するコンテンツＤＢ（データベース）２２ａ及び心拍変動ＤＢ２２ｂが記憶される。コンテンツＤＢ２２ａ及び心拍変動ＤＢ２２ｂは、端末装置２０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介して端末装置２０と通信可能な記憶装置に記憶されてもよい。

【0013】

通信部２３は、例えば無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。なお、通信部２３は、有線通信によってネットワークＮに接続される構成でもよい。表示部２４は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１からの指示に従って各種の情報を表示する。入力部２５は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部２１へ送出する。表示部２４及び入力部２５は一体として構成されたタッチパネルであってもよい。

【0014】

カメラ２６は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して入射した光を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する撮像素子にて光電変換してＲＧＢのカラー画像データを取得する。カメラ２６は、制御部２１からの指示に従って撮影を行い、取得した画像データ（撮影画像）を逐次記憶部２２へ送出して記憶する。なお、カメラ２６及び表示部２４は、図１に示すように、カメラ２６の撮影方向が表示部２４の表示画面側となるように端末装置２０に設けられており、表示部２４の表示画面を視認するユーザの顔をカメラ２６で撮影できるように配置されている。

【0015】

端末装置２０において、記憶部２２に予め記憶される制御プログラム及びデータは、制御部２１が通信部２３を介してネットワークＮ経由で外部装置からダウンロードして記憶部２２に記憶してもよい。また、端末装置２０が可搬型記憶媒体に記憶された情報を読み取る読み取り部を有する場合、記憶部２２に予め記憶される制御プログラム及びデータは、制御部２１が読み取り部を介して可搬型記憶媒体から読み取って記憶部２２に記憶してもよい。

【0016】

サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理、制御処理等をサーバ１０に行わせる。

【0017】

記憶部１２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２には、後述するコンテンツＤＢ１２ａ、心拍変動ＤＢ１２ｂ及び感情ＤＢ１２ｃが記憶される。コンテンツＤＢ１２ａ、心拍変動ＤＢ１２ｂ及び感情ＤＢ１２ｃは、サーバ１０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介してサーバ１０と通信可能な記憶装置に記憶されてもよい。

【0018】

通信部１３は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。入力部１４は、マウス及びキーボード等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。

【0019】

読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ又はＵＳＢ（Universal Serial Bus）メモリを含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に予め記憶される制御プログラム及びデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に予め記憶される制御プログラム及びデータは、制御部１１が通信部１３を介してネットワークＮ経由で外部装置からダウンロードして記憶部１２に記憶してもよい。更に、半導体メモリ１ｂから、制御部１１が制御プログラム及びデータを読み出してもよい。

【0020】

図３は、サーバ１０に記憶されるＤＢ１２ａ～１２ｃ及び端末装置２０に記憶されるＤＢ２２ａ～２２ｂの構成例を示す模式図である。サーバ１０に記憶されるコンテンツＤＢ１２ａ及び端末装置２０に記憶されるコンテンツＤＢ２２ａは同様の構成を有しており、図３ＡはコンテンツＤＢ１２ａ，２２ａを示す。またサーバ１０に記憶される心拍変動ＤＢ１２ｂ及び端末装置２０に記憶される心拍変動ＤＢ２２ｂは同様の構成を有しており、図３Ｂは心拍変動ＤＢ１２ｂ，２２ｂを示す。図３Ｃは感情ＤＢ１２ｃを示す。

【0021】

コンテンツＤＢ１２ａ，２２ａは、端末装置２０によって再生されるコンテンツを記憶している。図３Ａに示すコンテンツＤＢ１２ａ，２２ａは、コンテンツＩＤ列、コンテンツデータ列等を含む。コンテンツＩＤ列は、各コンテンツに予め割り当てられた識別情報を記憶する。コンテンツデータ列は、各コンテンツの再生用データを記憶する。コンテンツは動画コンテンツであってもよく静止画コンテンツであってもよく、再生用データはコンテンツに係る画像を表示するための表示用データである。なお、再生用データはコンテンツに係る音声を出力するための音声出力用データを含んでいてもよい。コンテンツの再生用データは、コンテンツＤＢ１２ａ，２２ａに記憶されるほかに、記憶部１２，２２の所定領域又は外部の記憶装置に記憶されてもよく、この場合、コンテンツデータ列は、コンテンツの再生用データを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。サーバ１０のコンテンツＤＢ１２ａの記憶内容は、通信部１３又は入力部１４を介して追加、変更又は削除の指示を取得する都度、制御部１１によって追加、変更又は削除される。端末装置２０のコンテンツＤＢ２２ａの記憶内容は、例えばネットワークＮ経由でサーバ１０から更新用のデータを受信した場合に、制御部２１によって更新される。コンテンツＤＢ１２ａ，２２ａの記憶内容は図３Ａに示す例に限定されず、例えばコンテンツに付されたコンテンツ名、コンテンツの再生時間等が記憶されていてもよい。また、コンテンツＤＢ１２ａ，２２ａは異なる構成であってもよく、例えば端末装置２０のコンテンツＤＢ２２ａに、各コンテンツの再生順序が登録されていてもよい。

【0022】

心拍変動ＤＢ１２ｂ，２２ｂは、端末装置２０を用いてコンテンツを視聴した視聴者の情報を記憶する。図３Ｂに示す心拍変動ＤＢ１２ｂ，２２ｂは、コンテンツＩＤ列、視聴ＩＤ列、年齢列、性別列、心拍変動データ列等を含む。コンテンツＩＤ列は、各コンテンツに予め割り当てられた識別情報を記憶する。視聴ＩＤ列は、各コンテンツに対する視聴処理（再生処理）毎に割り当てられた識別情報を記憶する。なお、視聴ＩＤは、例えば各コンテンツの視聴処理（視聴者）毎に割り当てられる。年齢列及び性別列はそれぞれ、それぞれの視聴処理を行った視聴者の年齢及び性別を記憶する。心拍変動データ列は、コンテンツの視聴処理中における視聴者の心拍変動を示すデータを記憶する。心拍変動を示すデータは、心拍変動ＤＢ１２ｂ，２２ｂに記憶されるほかに、記憶部１２，２２の所定領域又は外部の記憶装置に記憶されてもよく、この場合、心拍変動データ列は、心拍変動を示すデータを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。

【0023】

端末装置２０の心拍変動ＤＢ２２ｂに記憶されるコンテンツＩＤ及び視聴ＩＤは、制御部２１がコンテンツの再生処理を開始した場合に、制御部２１によって記憶される。また端末装置２０の心拍変動ＤＢ２２ｂに記憶される年齢、性別及び心拍変動データは、コンテンツの再生処理中に制御部２１が検出する都度、制御部２１によって記憶される。端末装置２０は、心拍変動ＤＢ２２ｂに記憶した各データを、例えばコンテンツ毎又は視聴処理毎にまとめてサーバ１０へ送信する。サーバ１０の心拍変動ＤＢ１２ｂの記憶内容は、制御部１１が例えばネットワークＮ経由で端末装置２０から各データを取得する都度、制御部１１によって記憶される。心拍変動ＤＢ１２ｂ，２２ｂの記憶内容は図３Ｂに示す例に限定されず、また、心拍変動ＤＢ１２ｂ，２２ｂは異なる構成であってもよい。例えばサーバ１０の心拍変動ＤＢ１２ｂに、データの送信元の端末装置２０の識別情報が登録されていてもよい。なお、心拍変動ＤＢ１２ｂ，２２ｂには、コンテンツを視聴した視聴者個人を特定できない形式のデータが記憶されることが好ましい。

【0024】

感情ＤＢ１２ｃは、端末装置２０を用いてコンテンツを視聴した視聴者の感情に関する情報を記憶する。図３Ｃに示す感情ＤＢ１２ｃは、コンテンツＩＤ列、視聴ＩＤ列、年齢列、性別列、感情データ列等を含む。コンテンツＩＤ列は、各コンテンツに予め割り当てられた識別情報を記憶し、視聴ＩＤ列は、各視聴処理（再生処理）に割り当てられた識別情報を記憶し、年齢列及び性別列はそれぞれ、それぞれの視聴処理を行った視聴者の年齢及び性別を記憶する。感情データ列は、コンテンツの視聴中における視聴者の感情を示すデータを記憶し、具体的には喜び列、怒り列、悲しみ列、驚き列、嫌悪列、リラックス列等を含む。喜び列、怒り列、悲しみ列、驚き列、嫌悪列、リラックス列はそれぞれ、コンテンツの視聴中に視聴者が喜び、怒り、悲しみ、驚き、嫌悪、リラックスのそれぞれの感情について感じた可能性を示す数値を記憶する。各感情の数値は、例えばコンテンツの再生開始からの経過時間（再生時間）に対応付けて時系列的に記憶されており、コンテンツの視聴中における視聴者の感情の変化を示す。各感情を示す数値は、心拍変動ＤＢ１２ｂに記憶された各コンテンツの視聴処理における視聴者の心拍変動データを分析して算出される。感情ＤＢ１２ｃに記憶される感情データ以外の各データは、制御部１１が、心拍変動ＤＢ１２ｂに記憶された心拍変動データに基づいて視聴者の感情分析処理を開始した場合に、制御部１１によって記憶される。また感情ＤＢ１２ｃに記憶される感情データは、制御部１１が感情分析処理によって各感情の数値を取得する都度、制御部１１によって記憶される。感情ＤＢ１２ｃの記憶内容は図３Ｃに示す例に限定されず、例えば各視聴処理を行った端末装置２０（心拍変動データを収集した端末装置２０）の識別情報が登録されていてもよい。また、感情ＤＢ１２ｃに記憶される各感情は、図３Ｃに示す例に限定されない。

【0025】

次に、端末装置２０の制御部２１が制御プログラム２２Ｐを実行することによって実現される機能について説明する。図４は、端末装置２０の制御部２１によって実現される機能を示すブロック図、図５は、端末装置２０による処理の説明図である。端末装置２０の制御部２１は、記憶部２２に記憶してある制御プログラム２２Ｐを実行した場合、コンテンツ再生部２０１、撮影部２０２、属性判定部２０３、ヘモグロビン画像生成部２０４、心拍データ生成部２０５、心拍変動データ生成部２０６、出力部２０７の各機能を実現する。なお、本実施形態では、これらの各機能を制御部２１が制御プログラム２２Ｐを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

【0026】

端末装置２０において記憶部２２には、図３Ａに示すようなコンテンツＤＢ２２ａと、図３Ｂに示す構成においてコンテンツＩＤのみが記憶された心拍変動ＤＢ２２ｂとが格納されているものとする。なお、心拍変動ＤＢ２２ｂは、コンテンツＩＤも記憶されていない状態であってもよい。

【0027】

コンテンツ再生部２０１は、コンテンツＤＢ２２ａに記憶されているコンテンツの再生用データに基づいてコンテンツを再生する（コンテンツに係る画像を表示部２４に表示する）。なお、再生用データにコンテンツに係る音声を出力するための音声出力用データが含まれる場合、コンテンツ再生部２０１は、音声出力用データに基づいてコンテンツに係る音声をスピーカ（図示せず）から出力する。コンテンツ再生部２０１は、コンテンツＤＢ２２ａに記憶されている順に各コンテンツを再生してもよいし、コンテンツＤＢ２２ａに再生順序が登録されている場合には、登録された再生順序で各コンテンツを再生してもよい。コンテンツ再生部２０１は、コンテンツの再生処理を開始した場合、このコンテンツのコンテンツＩＤに対応付けて、視聴ＩＤを心拍変動ＤＢ２２ｂに記憶する。なお、視聴ＩＤは、各コンテンツにおいてそれぞれの視聴処理間で重複しないＩＤであればどのような情報でもよい。

【0028】

撮影部（取得部）２０２は、コンテンツ再生部２０１がコンテンツの再生処理を開始した場合、カメラ２６による撮影を開始し、表示部２４に表示されるコンテンツを視聴する視聴者の顔の顔画像（カラーの顔画像データ）を取得する。撮影部２０２は、例えば１秒間に３０枚（３０フレーム）の顔画像を取得し、取得した顔画像を例えば記憶部２２に順次記憶しておく。

【0029】

属性判定部２０３は、撮影部２０２が取得した顔画像（顔画像データ）に基づいて、この顔画像の被写体である人の属性を判定する。属性判定部２０３は例えばテンプレートマッチング技術によって顔画像中の被写体の属性を判定する。具体的には、年齢（年齢層）及び性別を含む人の属性毎に、各属性の人の一般的な顔又は顔の各器官の画像に基づくテンプレートを予め記憶部２２に記憶しておき、属性判定部２０３は、顔画像にいずれかのテンプレートに一致する領域があるか否かを検知し、一致する領域を検知した場合、一致したテンプレートに対応付けられた属性を、ここでの被写体の属性に判定する。属性判定部２０３は、被写体の属性を判定した場合、再生中のコンテンツのコンテンツＩＤと実行中の再生処理（視聴処理）の視聴ＩＤとに対応付けて、判定した属性（年齢及び性別）を心拍変動ＤＢ２２ｂに記憶する。

【0030】

ヘモグロビン画像生成部（抽出部）２０４は、撮影部２０２が取得した顔画像（顔画像データ）に対して色素成分分離処理を行い、ヘモグロビンに対応する色素成分を抽出してヘモグロビン画像（ヘモグロビン成分の顔画像データ）を生成する。なお、ヘモグロビン画像生成部２０４は、撮影部２０２が取得した顔画像から被写体の顔領域を検出し、検出した顔領域に対してのみ色素成分分離を行ってヘモグロビン画像を生成すればよい。この場合、ヘモグロビン画像生成部２０４は、例えば顔領域以外の領域（背景領域）における各画素の画素値を全て０にしてもよい。

【0031】

心拍データ生成部２０５は、ヘモグロビン画像生成部２０４が生成したヘモグロビン画像に基づいて、被写体の人の心拍を示す心拍データ（脈波データ）を生成する。具体的には、心拍データ生成部２０５は、順次生成されるヘモグロビン画像において、被写体の顔領域中の各画素の画素値（ヘモグロビン成分の成分量）の平均値（平均画素値）を算出し、それぞれのヘモグロビン画像における平均画素値の時間変化を心拍データとして生成する。なお、ヘモグロビン成分の成分量は血流量を表すので、ヘモグロビン成分の成分量に基づいて心拍を推定できる。図５Ａは心拍データの一例を示し、図５Ａに示す心拍データは、横軸をコンテンツの再生開始からの経過時間とし、縦軸をヘモグロビン画像における平均画素値として示されている。心拍データ生成部２０５は、ヘモグロビン画像において被写体の顔領域に含まれる全画素の平均画素値の代わりに、顔領域の一部に含まれる画素の平均画素値を算出して心拍データを生成してもよい。例えば、制御部２１は、撮影部２０２が取得した顔画像に基づいて、被写体の人の目、鼻、口等の器官を検出し、例えば額、頬、口の回り等の所定領域を特定する。そして、心拍データ生成部２０５は、ヘモグロビン画像において、特定された額、頬、口の回り等の所定領域に含まれる画素の平均画素値を算出して心拍データを生成してもよい。このように、顔領域の全体における平均画素値の代わりに、所定領域における平均画素値を用いることにより、撮影条件の影響を抑制して精度の高い心拍データを生成できる。

【0032】

心拍データ生成部２０５は、図５Ａに示すような心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対してフィルタ処理を行い、図５Ｂに示すような心拍データを生成する。図５Ｂに示す心拍データは、横軸をコンテンツの再生開始からの経過時間とし、縦軸をフィルタ処理後の平均画素値として示されている。心拍データ生成部２０５は、例えば傾き除去処理及びバンドパスフィルタ処理等のフィルタ処理を行うが、これらの処理に限定されない。心拍データ生成部２０５は、後段の心拍変動データ生成部２０６が精度の高い心拍変動データを生成できるような心拍データが得られる各種処理を行えばよい。

【0033】

心拍変動データ生成部２０６は、心拍データ生成部２０５が生成した心拍データに対して周波数変換処理を行い、被写体の人の心拍変動を示す心拍変動データを生成する。心拍変動データ生成部２０６は、時系列の心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対して、例えばフーリエパワースペクトル変換を行うことによって周波数領域の心拍変動スペクトログラムデータを生成する。なお、心拍変動スペクトログラムデータは、例えば心拍変動周波数の時間変化を示すデータであり、図５Ｃは心拍変動スペクトログラムデータの一例を示す。図５Ｃに示す心拍変動データは、横軸をコンテンツの再生開始からの経過時間とし、縦軸を変動周波数として示されている。フーリエパワースペクトル変換においては、０．７５Ｈｚ～３Ｈｚ（心拍数が４５ｂｐｍ～１８０ｂｐｍ）における最大のパワースペクトルを脈拍と判断する。心拍変動データ生成部２０６は、生成した心拍変動データ（心拍変動スぺクトログラムデータ）を、再生中のコンテンツのコンテンツＩＤ及び実行中の視聴処理の視聴ＩＤに対応付けて心拍変動ＤＢ２２ｂに記憶する。

【0034】

ヘモグロビン画像生成部２０４、心拍データ生成部２０５及び心拍変動データ生成部２０６は、撮影部２０２が被写体（視聴者）の顔画像データを取得する都度、取得した顔画像データに対して上述した各処理を行う。よって、コンテンツ再生部２０１が１つのコンテンツの再生処理を１回行った場合に、再生されたコンテンツに対応する心拍変動データが生成されて心拍変動ＤＢ２２ｂに記憶される。

【0035】

出力部２０７は、心拍変動ＤＢ２２ｂに蓄積された各コンテンツに対応する心拍変動データを通信部２３からサーバ１０へ送信する。具体的には、出力部２０７は、各コンテンツの１回の再生処理毎に、再生されたコンテンツのコンテンツＩＤ、実行された再生処理（視聴処理）の視聴ＩＤ、視聴者の年齢、性別及び心拍変動データを心拍変動ＤＢ２２ｂから読み出し、まとめてサーバ１０へ送信する。なお、出力部２０７は、例えばサーバ１０から心拍変動データの出力要求を受け付けた場合に、それまでに心拍変動ＤＢ２２ｂに蓄積した各コンテンツの心拍変動データをサーバ１０へ送信する。サーバ１０は、出力部２０７が送信したコンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データを受信し、それぞれを対応付けて心拍変動ＤＢ１２ｂに記憶する。これにより、端末装置２０で取得された視聴者の心拍変動データがサーバ１０に蓄積される。なお、出力部２０７は、コンテンツを特定するための情報（コンテンツ情報）と、視聴者の属性に関する情報と共に心拍変動データをサーバ１０へ送信すればよい。

【0036】

本実施形態の端末装置２０では、撮影部２０２は、取得した顔画像データを逐次記憶部２２に記憶し、ヘモグロビン画像生成部２０４は、記憶部２２に記憶された顔画像データを読み出してヘモグロビン画像の生成処理を行う。ヘモグロビン画像が生成された顔画像データは以降の処理では必要ないので、制御部（消去部）２１は、ヘモグロビン画像生成部２０４がヘモグロビン画像を生成した後、顔画像データを記憶部２２から消去（削除）してもよい。なお、制御部２１は、例えば出力部２０７が心拍変動データをサーバ１０へ送信した後に、この心拍変動データを生成する際に用いた顔画像データを記憶部２２から消去する構成でもよい。このように視聴者個人を特定できる顔画像データを記憶部２２から消去することによって、端末装置２０に個人情報が残ることを防止できる。

【0037】

次に、サーバ１０の制御部１１が制御プログラム１２Ｐを実行することによって実現される機能について説明する。図６は、サーバ１０の制御部１１によって実現される機能を示すブロック図、図７は、画面例を示す模式図である。サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、心拍変動データ取得部１０１、心拍変動データ記憶部１０２、感情分析部１０３、レポート生成部１０４、出力部１０５の各機能を実現する。なお、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

【0038】

心拍変動データ取得部（データ取得部）１０１は、端末装置２０（出力部２０７）が送信した心拍変動データを通信部１３にて取得する。具体的には、心拍変動データ取得部１０１は、端末装置２０から各コンテンツの１回の再生処理毎に、再生されたコンテンツのコンテンツＩＤ、実行された再生処理の視聴ＩＤ、視聴者の年齢、性別及び心拍変動データをまとめて取得する。心拍変動データ記憶部１０２は、心拍変動データ取得部１０１が取得したコンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データを対応付けて心拍変動ＤＢ１２ｂに記憶する。心拍変動データ記憶部１０２は、心拍変動データ取得部１０１がいずれかの端末装置２０から心拍変動データを取得する都度、取得した心拍変動データを心拍変動ＤＢ１２ｂに記憶する。これにより、複数の端末装置２０のそれぞれにおいてコンテンツの再生中に取得（収集）された視聴者の心拍変動データをサーバ１０に蓄積することができる。

【0039】

感情分析部１０３は、心拍変動ＤＢ１２ｂに記憶した心拍変動データに基づいて、各視聴者の感情を分析し、各視聴者の感情を示す感情データを生成する。感情分析部１０３は例えば、喜び、怒り、悲しみ、驚き、嫌悪、リラックスの各感情（感情パラメータ）について、それぞれの程度を示す数値（スコア、分析値）を、例えば１０点満点で取得（算出）する。なお、各感情の程度が高い程大きい値とする。感情分析部１０３は、心拍変動データにおいて、例えばコンテンツの再生開始から所定時間（例えば１／３０秒）毎における変動周波数に基づいて対応する各感情の数値を決定し、コンテンツの視聴中の各感情の時間変化を示す感情データを生成する。具体的には、例えば変動周波数における各周波数帯毎に各感情の程度を示す数値を予め設定しておき、感情分析部１０３は、心拍変動データにおいて、コンテンツの再生開始から所定時間毎の変動周波数の値に対応する周波数帯に設定された各感情の数値を、この時点での感情の程度を示す数値に決定する。例えばリラックスの感情について、０．０５Ｈｚ～０．１５Ｈｚの周波数帯に、リラックスの程度が低いことを示す数値（例えば０に近い値）が設定され、０．１５Ｈｚ～０．４Ｈｚの周波数帯に、リラックスの程度が高いことを示す数値（例えば１０に近い値）が設定されてもよい。なお、それぞれの周波数帯において、段階的に増減する数値が設定されてもよい。また、感情毎に各感情の程度を示す数値に対応する周波数帯を設定しておいても、感情分析部１０３は同様に、コンテンツの再生開始から所定時間毎の変動周波数に対応する各感情の程度を示す数値を特定できる。

【0040】

感情分析部１０３は、感情の分析処理を行う場合、心拍変動ＤＢ１２ｂからコンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データを読み出し、読み出したコンテンツＩＤ、視聴ＩＤ、年齢及び性別を対応付けて感情ＤＢ１２ｃに記憶する。そして、感情分析部１０３は、心拍変動データに基づいてコンテンツの再生開始から所定時間毎の感情の分析を行い、分析の結果得られた各感情の感情データを、先に記憶したコンテンツＩＤ、視聴ＩＤ、年齢及び性別に対応付けて感情ＤＢ１２ｃに記憶する。これにより、コンテンツの再生中（視聴中）における視聴者の各感情の時間変化を示す感情データが生成されて感情ＤＢ１２ｃに記憶される。なお、感情分析部１０３は、逆変換処理によって心拍変動データから心拍データ（脈波データ）を生成し、心拍データに基づいて視聴者の感情を分析し、視聴者の感情を示す感情データを生成してもよい。例えば感情分析部１０３は、心拍データにおいて心拍数のピーク値やピーク間の時間等を検出し、これらの検出結果に基づいて各感情の程度を判定してもよい。この場合にも、心拍データにおける心拍数のピーク値やピーク間の時間等に各感情の程度を示す数値を予め設定しておくことにより、感情分析部１０３は、コンテンツの再生開始から所定時間毎における心拍数のピーク値やピーク間の時間等に対応する各感情の数値を特定できる。また、感情毎に各感情の程度を示す数値に対応付けて、一般的な心拍数のピーク値やピーク間の時間等を予め設定しておくことにより、感情分析部１０３は、コンテンツの再生開始から所定時間毎における心拍数のピーク値やピーク間の時間等に対応する各感情の程度を示す数値を特定できる。

【0041】

レポート生成部１０４は、感情ＤＢ１２ｃに蓄積された感情データに基づいて、各コンテンツに対する視聴者の感情レポートを生成する。例えばレポート生成部１０４は、感情レポートを生成すべきコンテンツのコンテンツＩＤ及びコンテンツデータ（再生用データ）をコンテンツＤＢ１２ａから読み出し、このコンテンツに対する全ての感情データを感情ＤＢ１２ｃから読み出す。レポート生成部１０４は、ＤＢ１２ａ，１２ｃから読み出した各情報に基づいて、図７Ａ，Ｂに示すような感情レポートを表示するための表示データを生成する。図７Ａ，Ｂはそれぞれ、感情レポートに基づく表示画面の例を示す。図７Ａに示す画面は、分析対象のコンテンツのコンテンツＩＤ、コンテンツ名及び再生時間を表示する。コンテンツ名及び再生時間は、例えばコンテンツＤＢ１２ａに記憶されており、レポート生成部１０４がコンテンツＤＢ１２ａから読み出す。また図７Ａに示す画面は、コンテンツ領域Ｒ１、ボタン領域Ｒ２及びレポート領域Ｒ３を有し、コンテンツ領域Ｒ１には、コンテンツＤＢ１２ａから読み出したコンテンツデータが再生（表示）される。ボタン領域Ｒ２には、コンテンツ領域Ｒ１で再生されるコンテンツに対して再生指示、停止指示、早送り指示、早戻し指示等の操作を受け付けるボタンが表示される。またボタン領域Ｒ２には、コンテンツ領域Ｒ１に表示中の画像（場面）におけるコンテンツの再生開始からの経過時間を示すインジケータが表示されており、インジケータの下部には、表示中の場面における再生開始からの経過時間が表示されている。なお、インジケータは、コンテンツ領域Ｒ１で再生が開始（再開）される時点として、コンテンツの再生開始から再生終了までの間の任意の時点を受け付けることができ、インジケータが任意の時点を受け付けた場合、コンテンツ領域Ｒ１には、インジケータが受け付けた時点からコンテンツが再生される。

【0042】

レポート領域Ｒ３には、コンテンツ領域Ｒ１で再生されるコンテンツに対する各感情のレポートが表示される。図７Ａに示す感情レポートを生成する場合、レポート生成部１０４は、感情ＤＢ１２ｃから読み出したコンテンツに対する全ての感情データに基づいて、コンテンツの再生開始から所定時間毎の各感情の数値の平均値を算出し、各感情について、コンテンツを視聴した視聴者の平均値（平均的な度合）の時間変化（分析値）を示す感情レポートを生成する。図７Ａに示す感情レポートは、それぞれの感情の程度を縦長の矩形による感情ゲージで示しており、感情ゲージの下端は最低値を示し、上端は最高値を示し、下端からの色領域（図７Ａではハッチング領域）の大きさによって感情の程度を示す。図７Ａに示す画面は例えば、コンテンツ領域Ｒ１で再生されるコンテンツの再生タイミング（再生開始からの経過時間）と、レポート領域Ｒ３に表示される各感情の出現タイミング（視聴者が各感情を抱いたタイミング）とを同期して表示する。即ち、各感情に対する分析値とコンテンツとが、コンテンツの再生開始からの経過時間に同期して表示される。よって、コンテンツの再生タイミングのそれぞれにおける各感情の程度を容易に把握できる。即ち、コンテンツの各場面における視聴者の感情及び感情の変化を容易に把握できる。なお、レポート生成部１０４は、感情ＤＢ１２ｃから読み出した全ての視聴者の感情データ（各感情の数値）の平均値に基づいて各感情の感情レポートを生成するほかに、各感情について視聴者の属性（年齢及び性別）毎の感情レポートを生成してもよい。この場合、レポート生成部１０４は、所定の属性の視聴者の感情データを感情ＤＢ１２ｃから読み出し、読み出した感情データ（各感情の数値）の平均値に基づいて各感情の感情レポートを生成する。

【0043】

図７Ｂに示す画面は、分析対象のコンテンツのコンテンツＩＤ、コンテンツ名及び再生時間と、コンテンツに対する各感情について属性（年齢及び性別）毎の感情レポートを表示する。図７Ｂに示す感情レポートを生成する場合、レポート生成部１０４は、感情ＤＢ１２ｃに蓄積してあるコンテンツに対する感情データを、属性毎に読み出す。属性は、例えば１０代の男女を示すＴ層、２０歳～３４歳の男性を示すＭ１層、３５歳～４９歳の男性を示すＭ２層、５０歳以上の男性を示すＭ３層、２０歳～３４歳の女性を示すＦ１層、３５歳～４９歳の女性を示すＦ２層、５０歳以上の女性を示すＦ３層に区分できるが、これらの区分に限定されない。レポート生成部１０４は、属性毎に各属性の視聴者の感情データを感情ＤＢ１２ｃから読み出す。レポート生成部１０４は、属性毎に読み出した感情データから、それぞれの属性について各感情の最大値を抽出する。レポート生成部１０４は、各感情について、属性毎に抽出した最大値を、それぞれの属性に対応付けて表示するグラフ（感情レポート）を生成する。図７Ｂに示す感情レポートでは、例えば実線は喜びの感情について属性毎の最大値を示しており、破線は悲しみの感情について属性毎の最大値を示している。

【0044】

なお、レポート生成部１０４は、各感情について属性毎の最大値を示す感情レポートを生成するほかに、各感情について属性毎の平均値を示す感情レポートを生成してもよい。この場合、レポート生成部１０４は、属性毎に読み出した感情データに基づいて、例えばそれぞれの視聴者における各感情の数値の平均値を算出し、更に全ての視聴者における各感情の数値の平均値を算出する。これにより、それぞれの属性について、コンテンツに対する各感情における全視聴者の平均値（平均的な度合）が得られる。レポート生成部１０４は、各感情について属性毎に算出した平均値をそれぞれの属性に対応付けて表示するグラフ（感情レポート）を生成する。この場合にも、図７Ｂに示すようなグラフで属性毎の各感情の平均値を表示できる。また、図７Ｂに示す画面において、コンテンツ全体における感情の最大値や平均値を示す感情レポートの代わりに、コンテンツの再生開始からの経過時間帯毎における感情の最大値や平均値を示す感情レポートを表示してもよい。更に、図７Ｂに示す画面に、図７Ａと同様に、コンテンツが再生されるコンテンツ領域や、再生されるコンテンツに対して再生指示、停止指示、早送り指示、早戻し指示等の操作を受け付けるボタンが表示されるボタン領域等を設けてもよい。

【0045】

レポート生成部１０４は、図７Ａに示す感情レポートと図７Ｂに示す感情レポートとを各別に生成してもよいし、図７Ａに示す感情レポートと図７Ｂに示す感情レポートとを１つの画面で表示するための表示データを生成してもよい。上述した感情レポートのほかに、レポート生成部１０４は例えば、各感情について最大値となった時点の再生開始からの経過時間を示す感情レポート、各感情について所定値以上の値となった時点の再生開始からの経過時間を示す感情レポート等を生成してもよい。またレポート生成部１０４は例えば、各感情について所定値以上の値となった時間の合計や、所定値未満の値となった時間の合計等を示す感情レポートを生成してもよい。これらの感情レポートも属性毎に生成されてもよい。

【0046】

出力部１０５は、レポート生成部１０４が生成した感情レポート（表示データ）を通信部１３から所定の装置へ送信する。なお、例えばサーバ１０が外部装置からあるコンテンツに対する感情レポートの生成要求を受信した場合に、レポート生成部１０４は、要求されたコンテンツに対する感情レポートを生成し、出力部１０５は、要求してきた外部装置に感情レポートを出力する。また、レポート生成部１０４は、所定のタイミングで各コンテンツに対する感情レポートを生成して記憶部１２に記憶しておき、サーバ１０が外部装置からあるコンテンツに対する感情レポートを要求された場合に、出力部１０５は、要求された感情レポートを記憶部１２から読み出し、要求してきた外部装置に出力してもよい。出力部１０５が出力した感情レポートを受信した外部装置は、受信した感情レポートに基づいて図７Ａ，Ｂに示すような画面を表示部に表示する。これにより、各コンテンツに対する視聴者の感情の変化を通知できる。

【0047】

以下に、上述した構成の感情分析システムにおいて各装置が行う処理について説明する。図８は、端末装置２０による心拍変動データの取得処理の手順を示すフローチャートである。以下の処理は、端末装置２０の記憶部２２に記憶してある制御プログラム２２Ｐに従って制御部２１によって実行される。

【0048】

端末装置２０の制御部２１は、コンテンツＤＢ２２ａに記憶されているコンテンツの再生用データに基づいてコンテンツの再生処理を開始する（Ｓ１１）。なお、コンテンツの再生を開始するタイミングは、例えば入力部２５を介して再生指示が入力された場合や、通信部２３を介して外部装置から再生指示を取得した場合等である。制御部２１は、再生を開始したコンテンツのコンテンツＩＤと、この再生処理（視聴処理）に対して発行した視聴ＩＤとを対応付けて心拍変動ＤＢ２２ｂに記憶しておく。

【0049】

制御部２１は、カメラ２６による撮影を開始し、再生中のコンテンツを視聴する視聴者の顔画像を取得する（Ｓ１２）。ここでは、制御部２１は１枚の静止画である顔画像を取得する。制御部２１は、取得した顔画像（顔画像データ）に基づいて、顔画像中の被写体である視聴者の属性（年齢及び性別）を判定する（Ｓ１３）。制御部２１は例えばテンプレートマッチング技術によって被写体の属性を判定し、判定した属性を、再生中のコンテンツのコンテンツＩＤ及び実行中の再生処理の視聴ＩＤに対応付けて心拍変動ＤＢ２２ｂに記憶しておく。

【0050】

制御部２１は、ステップＳ１２で取得した顔画像に対してヘモグロビンに対応する色素成分を抽出する分離処理を行ってヘモグロビン画像を生成し（Ｓ１４）、ヘモグロビン画像に基づいて、被写体（視聴者）の心拍を示す心拍データを生成する（Ｓ１５）。ここでは、制御部２１は、ヘモグロビン画像において被写体の顔領域中の各画素の画素値（ヘモグロビン成分の成分量）の平均値（平均画素値）を算出し、心拍データとして、この顔画像を撮影した時点における再生開始からの経過時間（再生タイミング）に対応付けて記憶部２２に記憶する。なお、制御部２１は、コンテンツの再生開始後、顔画像を取得した場合、取得時点におけるコンテンツの再生開始からの経過時間を特定しておく。

【0051】

制御部２１は、コンテンツを最後まで再生することによってコンテンツの再生処理を終了したか否かを判断しており（Ｓ１６）、終了していないと判断した場合（Ｓ１６：ＮＯ）、ステップＳ１２で顔画像を取得してから所定時間が経過したか否かを判断する（Ｓ１７）。制御部２１は例えば１秒間に３０枚の顔画像を取得する場合、１／３０秒が経過したか否かを判断する。所定時間が経過していないと判断した場合（Ｓ１７：ＮＯ）、制御部２１は、ステップＳ１６～Ｓ１７の処理を繰り返し、所定時間が経過したと判断した場合（Ｓ１７：ＹＥＳ）、ステップＳ１２の処理に戻る。そして、制御部２１は、視聴者の顔画像を取得し（Ｓ１２）、取得した顔画像に基づいてステップＳ１３～Ｓ１５の処理を繰り返す。これにより、コンテンツの再生中に所定時間毎に取得した視聴者の顔画像に基づいて、所定時間毎の視聴者の心拍を示す心拍データが生成されて記憶部２２に記憶される。

【0052】

コンテンツの再生処理を終了したと判断した場合（Ｓ１６：ＹＥＳ）、制御部２１は、上述した処理によって生成した心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対してフィルタ処理を行う（Ｓ１８）。そして制御部２１は、フィルタ処理後の心拍データに対して周波数変換処理を行い（Ｓ１９）、心拍変動データ（周波数領域の心拍変動スペクトログラム）を生成し、生成した心拍変動データをコンテンツＩＤ及び視聴ＩＤに対応付けて心拍変動ＤＢ２２ｂに記憶する（Ｓ２０）。これにより、コンテンツの視聴中における視聴者の心拍変動を示す心拍変動データが生成されて心拍変動ＤＢ２２ｂに記憶される。なお、制御部２１は、異なるコンテンツの再生処理を連続して行う場合、１つのコンテンツの再生処理を終了した後、このコンテンツに対してステップＳ１８～Ｓ２０の処理を行いつつ、次のコンテンツに対してステップＳ１１以降の処理を実行する。

【0053】

図９は、サーバ１０による感情分析処理の手順を示すフローチャートである。以下の処理は、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。サーバ１０の制御部１１は、端末装置２０が送信した心拍変動データを通信部１３にて取得し（Ｓ３１）、取得した心拍変動データを心拍変動ＤＢ１２ｂに記憶する（Ｓ３２）。なお、制御部１１は、端末装置２０から、各コンテンツの１回の再生処理毎に、コンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データをまとめて取得する。端末装置２０からサーバ１０へ心拍変動データを送信するタイミングは、例えば１日に１回の所定時刻、１週間に１回の所定時刻、コンテンツに設定された再生可能期間の満了後等とすることができる。また、端末装置２０は、送信タイミングが到来した場合に、心拍変動データをサーバ１０へ送信してもよいし、サーバ１０からの送信要求に応じて送信してもよい。

【0054】

制御部１１は、心拍変動ＤＢ１２ｂに記憶した各コンテンツに対する心拍変動データに基づいて、各コンテンツに対するそれぞれの視聴者の感情を分析する（Ｓ３３）。例えば制御部１１は、心拍変動データ（心拍変動スぺクトログラム）における各変動周波数の値に応じて、喜び、怒り、悲しみ、驚き、嫌悪、リラックス等のそれぞれの感情パラメータに対して、それぞれの程度を示す数値（分析値）を決定する。制御部１１は、各感情について、コンテンツの再生開始からの逐次タイミング（例えば１／３０秒毎）での数値を決定することにより、コンテンツの再生開始から再生終了までの間における視聴者の各感情の時間変化を示す感情データを生成する。制御部１１は、心拍変動ＤＢ１２ｂから読み出したコンテンツＩＤ、視聴ＩＤ、年齢及び性別に対応付けて、生成した各感情の感情データを感情ＤＢ１２ｃに記憶する（Ｓ３４）。

【0055】

制御部１１は、各コンテンツに対して感情ＤＢ１２ｃに記憶した感情データに基づいて、各コンテンツに対する複数の視聴者の感情を総合的に評価した感情レポートを生成する（Ｓ３５）。制御部１１は、感情レポートを生成すべきコンテンツに対する全ての感情データを感情ＤＢ１２ｃから読み出し、読み出した感情データに基づいて、図７Ａや図７Ｂに示すような感情レポートを生成する。なお、制御部１１が生成する感情レポートは、例えばコンテンツの再生開始から再生終了までの間において各感情について、複数の視聴者の平均値の時間変化、所定の時間帯毎又は属性毎の平均値の時間変化、複数の視聴者における最大値や平均値、所定の時間帯毎又は属性毎の最大値や平均値等、コンテンツに対する視聴者の感情を評価できるレポートを通知する。制御部１１は、生成した感情レポートを、例えばコンテンツＩＤに対応付けて記憶部１２に記憶しておき、例えば外部装置から所定のコンテンツに対する感情レポートの要求を受け付けた場合に、要求された感情レポートを要求元の外部装置へ提供する。

【0056】

本実施形態では、コンテンツを視聴する視聴者の顔画像から、視聴者の視聴中の感情の変化（時間変化）を取得することができる。よって、視聴者の感情の時間変化に基づいて、コンテンツの再生開始からの各時点における視聴者の感情を把握できる。また本実施形態では、端末装置２０がサーバ１０へ心拍変動データを送信することにより、端末装置２０及びサーバ１０間で、視聴者個人を特定できない情報（心拍変動データ）のみが送受信される。即ち、例えば顔画像のように視聴者個人を特定できるデータを送受信しないことにより、個人情報の漏洩を防止できる。なお、周波数変換を行う前の心拍データを送受信してもよく、この場合、心拍データを受信したサーバ１０が、心拍データから心拍変動データを生成する処理を行う。また、端末装置２０において、視聴者個人を特定できる顔画像等のデータを、不要となった後に記憶部２２から消去しておくことにより、端末装置２０に個人情報が残ることを防止できる。なお、顔画像データだけでなくヘモグロビン画像データについても、生成された後に一旦記憶部２２に記憶される場合、不要となった後に記憶部２２から消去しておいてもよい。また、端末装置２０は、収集（蓄積）した心拍変動データを直接サーバ１０へ送信するように構成してもよく、この場合、端末装置２０及びサーバ１０間の通信は有線通信であっても無線通信であってもよい。

【0057】

（実施形態２）
ショッピングモール等に設けられたフードコート内の飲食店で料理を注文したユーザに端末装置が貸し出され、注文した料理が出来上がったことを端末装置によって通知する通知システムに適用した感情分析システムについて説明する。図１０は、実施形態２の感情分析システムの構成例を示すブロック図である。本実施形態の感情分析システムは、サーバ１０及び端末装置２０のほかに通知装置３０を含み、通知装置３０は複数の端末装置２０のそれぞれと無線通信を行うように構成されている。本実施形態では、通知装置３０とそれぞれの端末装置２０とは直接通信を行う構成とするが、ネットワークＮ経由で通信を行う構成でもよい。本実施形態では、例えば各店舗に１つの通知装置３０及び複数の端末装置２０が用意され、各店舗に設けられた通知装置３０は、各店舗用に用意された複数の端末装置２０との間で通信を行う。本実施形態のサーバ１０は実施形態１と同じ構成を有し、同様の処理を行う。

【0058】

端末装置２０は、実施形態１と同じ構成のほかに、無線通信部２７及び通知部２８を有する。無線通信部２７は、例えば特定小電力無線によって外部装置と通信するためのインタフェースであり、本実施形態では通知装置３０との通信を行う。なお、無線通信部２７は、Bluetooth（登録商標）やWi-Fi等の無線通信を行う構成でもよい。通知部２８は、例えばバイブレータ、ランプ、ブザー等を含み、制御部２１からの指示に従って、バイブレータによる振動、ランプの点灯又は点滅、ブザーの鳴動等を行うことにより、端末装置２０を貸し出されたユーザに所定の状況（注文した料理が出来上がったこと）を通知する。なお、通知部２８は、スピーカによって所定のメッセージを音声出力することにより通知する構成でもよい。また、通知部２８の代わりに表示部２４に所定のメッセージを表示することにより通知する構成でもよい。

【0059】

通知装置３０は、制御部３１、記憶部３２、入力部３３、表示部３４、無線通信部３５等を含み、これらの各部はバスを介して相互に接続されている。通知装置３０の各部は端末装置２０の各部と同様の構成を有しており、同様の構成については詳細な説明を省略する。通知装置３０の無線通信部３５は端末装置２０の無線通信部２７との間で通信を行う。また、通知装置３０の記憶部３２には端末ＤＢ３２ａが記憶されている。端末ＤＢ３２ａには、通知装置３０が通信を行う複数の端末装置２０のそれぞれを識別するための識別情報（例えば端末ＩＤ）と、それぞれの端末装置２０との間で無線通信を行うための宛先情報とが対応付けて記憶してある。なお、通知装置３０は、上述した構成のほかに、ネットワークＮに接続するためのインタフェース等が設けられていてもよい。

【0060】

図１１は、実施形態２の端末装置２０による心拍変動データの取得処理の手順を示すフローチャートである。図１１に示す処理は、図８に示す処理においてステップＳ１６の代わりにステップＳ５１を追加し、ステップＳ１８の前にステップＳ５２，Ｓ５３を追加し、通知装置３０が行う処理としてステップＳ４１，Ｓ４２を追加したものである。図８と同様のステップについては説明を省略する。

【0061】

本実施形態において、例えば飲食店の従業員は、料理が注文されて料金の支払いが完了したユーザに対して１つの端末装置２０を貸し出す。そして従業員は、料理が出来上がった場合、この料理を注文したユーザに貸し出した端末装置２０に通知処理を行わせるために、この端末装置２０の端末ＩＤを通知装置３０の入力部３３にて入力する。通知装置３０の制御部３１は、入力部３３を介して端末ＩＤを受け付けたか否かを判断しており（Ｓ４１）、受け付けていないと判断する場合（Ｓ４１：ＮＯ）、受け付けるまで待機する。制御部３１は、端末ＩＤを受け付けたと判断した場合（Ｓ４１：ＹＥＳ）、受け付けた端末ＩＤに対応する宛先情報を端末ＤＢ３２ａから読み出し、読み出した宛先情報に基づいて無線通信部３５によって通知信号を送信する（Ｓ４２）。通知装置３０の制御部３１は、端末ＩＤを受け付ける都度、受け付けた端末ＩＤの端末装置２０に通知信号を送信する。

【0062】

端末装置２０の制御部２１は、実施形態１と同様にステップＳ１１～Ｓ１５の処理を行いつつ、通知装置３０から通知信号を受信したか否かを判断しており（Ｓ５１）、受信していないと判断した場合（Ｓ５１：ＮＯ）、ステップＳ１７の処理に移行する。このような処理により、制御部２１は、コンテンツを視聴中の視聴者の顔画像に基づいて視聴者の心拍データを生成して記憶部２２に記憶する。通知装置３０から通知信号を受信したと判断した場合（Ｓ５１：ＹＥＳ）、制御部２１は通知部２８による通知処理を行う（Ｓ５２）。通知部２８は例えばバイブレータによる振動、ランプの点灯又は点滅、ブザーの鳴動等を開始し、注文した料理が出来上がったことをユーザに通知する。そして制御部２１は、コンテンツの再生処理を終了し（Ｓ５３）、上述した処理によって生成した心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対して、ステップＳ１８～Ｓ２０の処理を行う。

【0063】

上述した処理により、注文した料理が出来上がるまでの待ち時間において、ユーザはコンテンツを視聴して楽しむことができると共に、ユーザのコンテンツ視聴中の心拍変動を示す心拍変動データを収集できる。上述した処理において、制御部２１は、料理が出来上がったことを通知する通知処理を行った場合、例えば入力部２５を介して通知処理の終了指示を受け付けた後に、コンテンツの再生処理を終了してもよい。例えばバイブレータによる振動の停止指示、ランプの消灯指示、ブザーの消音指示等の操作が入力部２５を介して行われた場合に、コンテンツの再生処理を終了してもよい。また、通知処理の終了指示とは別にコンテンツ再生の終了指示が入力部２５を介して行われた場合に、コンテンツの再生処理を終了するようにしてもよい。この場合、コンテンツを視聴中のユーザは、見たい場面までコンテンツを視聴でき、コンテンツの視聴時間が長くなることが期待できる。

【0064】

本実施形態において、サーバ１０は図９に示す処理と同様の処理を行い、複数の端末装置２０から収集した多数の視聴者の心拍変動データに基づいて、各コンテンツに対する感情レポートを生成できる。本実施形態では、実施形態１と同様の効果が得られる。即ち、コンテンツを視聴する視聴者の顔画像から、視聴者の視聴中の感情の変化（時間変化）を取得でき、複数の視聴者の感情の時間変化に基づいて、コンテンツに対する視聴者の感情レポートを提供できる。また本実施形態では、例えばフードコートの飲食店等で料理を注文したユーザが、料理が出来上がるまでの待ち時間にコンテンツを視聴することにより、待ち時間を楽しむことができる。なお、本実施形態の端末装置２０で再生されるコンテンツは、例えばフードコートが設けられたショッピングモール内の店舗の広告、イベント、キャンペーン、クーポン等の情報を通知するためのコンテンツ、ショッピングモールや店舗に対するアンケートの回答やクレーム等を受け付けるためのコンテンツ等を用いることができる。なお、端末装置２０は入力部２５を介してアンケートの回答やクレームの入力等を受け付けることができる。

【0065】

上述した感情分析システムは、例えば、美術館や博物館等で入館者に端末装置が貸し出され、展示作品に対する解説コンテンツを端末装置で再生することによって展示作品の解説等を行うシステムにも適用できる。このようなシステムに適用した場合、端末装置２０によって展示作品の解説を行えるだけでなく、解説コンテンツを視聴する入館者の感情を分析することにより、展示作品や展示作品に関する解説に対して入館者の関心の有無等を把握できる。

【0066】

実施形態１，２の感情分析システムにおいて、端末装置２０で再生されるコンテンツはどのようなコンテンツでもよく、どのようなコンテンツ対しても視聴中の視聴者の感情レポートを生成できる。例えば動画コンテンツに限らず、入力部２５を操作することによってページ送りができる電子書籍であってもよい。この場合、ユーザが読書中のページ番号に対応付けてユーザの感情を分析することにより、各ページに対するユーザの感情レポートを生成できる。また、複数の選択肢のいずれかを選択するクイズ、ゲーム、アンケート等のコンテンツを用いてもよい。この場合、端末装置２０は入力部２５を介して選択肢に対する選択を受け付けることができ、それぞれの選択肢を受け付けた際のユーザの感情を分析できる。またアンケートが複数の質問を有する場合に、各質問に回答する回答者（ユーザ）の顔画像データに基づいて、各質問に対する回答者の感情を分析でき、各質問に対する感情データを生成できる。また、複数の回答者の感情データを用いることにより、各質問に対する回答者全体の感情レポートを生成できる。

【0067】

また、例えば従業員の満足度アンケート、ストレスチェック、３６０度評価調査等の従業員アンケートをコンテンツとして用いることができる。例えばアンケートがストレスチェックに関する質問を含む場合、端末装置２０の制御部２１は、各質問を表示部２４に表示し、各質問に対する回答者の回答を入力部２５にて受け付けると共に、回答者の顔画像に基づいて回答時の感情を分析して感情データを生成する。この場合、端末装置２０は、質問に対して回答者が意図して回答した内容と、回答者が意図せずに顔画像から分析された質問回答時の感情とを取得できる。よって、端末装置２０は、回答者の意識下での回答内容と、回答者が意図しない感情から読み取れる回答者の真意とを取得することができ、これらの情報に基づいて、回答者が回答した内容に対する真偽を客観的に判定することができ、回答者に対するストレスチェックを正確に行うことができる。また、端末装置２０は、回答者の意識下での回答内容と、回答者が意図しない真意とを対応付けて所定装置へ出力することができる。ここでの所定装置は例えばストレスチェックの回答情報を収集する装置等である。このように各質問について、回答者による回答内容だけでなく、回答者が回答時に意図しない真意（感情）を収集できるので、回答者の真意に基づいて、今後の働き方の改善方法を検討でき、働き方改革を進めることが可能となる。

【0068】

実施形態１，２の感情分析システムにおいて、端末装置２０が行う処理を、店舗等に設置されたデジタルサイネージが行うように構成してもよい。例えばデジタルサイネージに、店舗又は商品等に関する広告コンテンツを表示し、広告コンテンツを視聴しているユーザの顔画像からユーザの感情の変化（感情レポート）を取得するように構成することができる。このような構成により、表示中の商品等に対するユーザの関心度を測定できる。よって、ユーザの関心度に応じて、表示する広告コンテンツを切り替えることにより、ユーザが興味のある商品等の広告を表示することができ、商品の宣伝を効率良く行うことができる。また、デジタルサイネージ及び端末装置２０に、例えば商品名又は商品のパッケージ画像等を表示し、視聴するユーザの感情を取得することにより、表示中の商品に対するユーザの認知度を測定することもできる。この場合には、複数のユーザの認知度を集計することにより、商品の認知度又は広告による宣伝効果を測定できる。

【0069】

実施形態１，２の感情分析システムにおいて、端末装置２０で再生されるコンテンツは、映画、ドラマ、アニメ等の動画コンテンツのほかに、ゲームコンテンツであってもよい。この場合、ゲーム中のステージ、レベル、コース、シーン等の各単位に対応付けてユーザの感情を分析することにより、各単位に対するユーザの感情レポートを生成できる。また、ゲームの開始時点、チュートリアルの再生時点、ゲーム内の各イベントの発生時点、課金時点、終了時点等の各タイミングに対応付けてユーザの感情を分析することにより、各タイミングでのユーザの感情レポートを生成できる。このようにゲーム中のユーザの感情の変化を分析することにより、ユーザがゲームを楽しんでいるタイミング及びゲーム中の箇所、並びに、ユーザがゲームを楽しんでいない又はゲームを終了するタイミング及びゲーム中の箇所を判定できる。よって、ユーザがゲームを終了する理由を分析することができ、分析結果を用いることにより、ユーザが飽きないゲームを製作することが可能となる。

【0070】

（実施形態３）
美術館や博物館等で入館者に端末装置が貸し出され、展示作品に対する解説コンテンツを端末装置で再生することによって展示作品の解説等を行うシステムに適用した感情分析システムについて説明する。本実施形態の感情分析システムは、実施形態１の各装置と同様の装置によって実現できるので、構成については説明を省略する。

【0071】

図１２及び図１３は、実施形態３の端末装置２０による心拍変動データの取得処理の手順を示すフローチャート、図１４は画面例を示す模式図である。図１２及び図１３に示す処理は、図８に示す処理においてステップＳ１１の前にステップＳ６１～Ｓ６２を追加し、ステップＳ１６の代わりにステップＳ６３～Ｓ６５を追加し、ステップＳ２０の後にステップＳ６６を追加したものである。図８と同様のステップについては説明を省略する。

【0072】

本実施形態では、例えば美術館の入館者が入館する際に、端末装置２０を借り受ける。端末装置２０は、美術館内に展示されている展示品のそれぞれに対する解説コンテンツをコンテンツＤＢ２２ａに記憶しており、表示部２４に図１４Ａに示すようなコンテンツ一覧を表示している。なお、本実施形態におけるコンテンツＩＤは、解説コンテンツに割り当てられた識別情報であり、即ち、各展示品に割り当てられた識別情報である。コンテンツ一覧は、美術館内の各展示品のサムネイル画像を表示しており、それぞれのサムネイル画像に対応付けて、各展示品に関する解説コンテンツの再生指示を受け付けるための「解説を再生」ボタンが設けられている。よって、入館者は、解説を聴きたい展示品がある場合、展示品のサムネイル画像に対応する「解説を再生」ボタンを操作することにより、解説コンテンツの再生を指示する。

【0073】

よって、本実施形態において、端末装置２０の制御部２１は、美術館内の展示品のサムネイル画像を含むコンテンツ一覧を表示しており（Ｓ６１）、コンテンツ一覧を介して、いずれかの解説コンテンツの再生指示を受け付けたか否かを判断する（Ｓ６２）。再生指示を受け付けていないと判断した場合（Ｓ６２：ＮＯ）、制御部２１は、受け付けるまで待機する。いずれかの解説コンテンツの再生指示を受け付けたと判断した場合（Ｓ６２：ＹＥＳ）、制御部２１は、再生指示を受け付けた解説コンテンツの再生処理を開始する（Ｓ１１）。具体的には、制御部２１は、再生指示された解説コンテンツの再生用データをコンテンツＤＢ２２ａから読み出し、読み出した再生用データに基づく再生処理を行う。図１４Ｂは解説コンテンツの再生画面例を示しており、再生画面は、展示品に関する解説を表示する。なお、解説コンテンツは動画データであっても静止画データであってもよく、音声データが含まれていてもよい。また、図１４Ｂに示す再生画面には、展示品に関する感想を入力するための入力欄と、展示品が気に入ったことを通知するためのいいねボタンと、表示中の解説コンテンツの表示終了を指示するための終了ボタンとが設けられている。なお、解説コンテンツに音声データが含まれる場合、制御部２１は、スピーカ（図示せず）を介して音声データの再生処理も行う。制御部２１は、解説コンテンツの再生処理を開始した場合、再生を開始した解説コンテンツのコンテンツＩＤと、この再生処理に対して発行した視聴ＩＤとを対応付けて心拍変動ＤＢ２２ｂに記憶しておく。

【0074】

その後、制御部２１は、図８中のステップＳ１２～Ｓ１５と同様の処理を行い、再生中の解説コンテンツを視聴するユーザ（視聴者）の顔画像に基づいて、ユーザの属性（年齢及び性別）を判定し、ユーザの心拍を示す心拍データを生成する。なお、ユーザは、再生画面によって展示品の解説を視聴し、必要に応じて入力部２５を介して入力欄に感想を入力し、展示品が気に入った場合には入力部２５を介していいねボタンを操作する。制御部２１は、図１４Ｂに示すような再生画面において、ユーザによるいいねボタンの操作又は入力欄への感想の入力を受け付けたか否かを判断する（Ｓ６３）。いいねボタンの操作又は感想の入力のいずれかを受け付けたと判断した場合（Ｓ６３：ＹＥＳ）、制御部２１は、再生中の解説コンテンツのコンテンツＩＤに対応付けて、いいねボタンが操作されたことを示す情報、又は受け付けた感想を記憶部２２に記憶する（Ｓ６４）。なお、制御部２１は、コンテンツＩＤに対応付けて、いいねボタンが操作されたことを示す情報、又は受け付けた感想を心拍変動ＤＢ２２ｂに記憶するように構成されていてもよい。

【0075】

制御部２１は、いいねボタンの操作及び感想の入力のいずれも受け付けていないと判断した場合（Ｓ６３：ＮＯ）、ステップＳ６４の処理をスキップし、ステップＳ６５の処理に移行する。制御部２１は、図１４Ｂに示すような再生画面において、ユーザが終了ボタンを操作することにより、再生中の解説コンテンツの再生終了の指示を受け付けたか否かを判断する（Ｓ６５）。制御部２１は、再生終了の指示を受け付けていないと判断した場合（Ｓ６５：ＮＯ）、ステップＳ１７の処理に移行し、再生終了の指示を受け付けたと判断した場合（Ｓ６５：ＹＥＳ）、ステップＳ１８の処理に移行する。これにより、各展示品の解説コンテンツの再生中に所定時間毎に取得したユーザの顔画像に基づいて、所定時間毎のユーザの心拍を示す心拍データが生成されて記憶部２２に記憶される。また制御部２１は、図８中のステップＳ１８～Ｓ２０の処理を行うことにより、生成した心拍データ（ヘモグロビン画像における平均画素値の時間変化）に基づいて、解説コンテンツの視聴中におけるユーザの心拍変動を示す心拍変動データが生成されて心拍変動ＤＢ２２ｂに記憶される。

【0076】

ステップＳ２０の処理後、制御部２１は、入力部２５を介した操作に応じて、解説コンテンツの再生処理の終了指示を受け付けたか否かを判断する（Ｓ６６）。例えば図１４Ａに示すコンテンツ一覧又は図１４Ｂに示す再生画面中に、端末装置２０の動作終了（解説処理の終了）を指示するための終了ボタンを設けておき、終了ボタンが操作された場合に、再生処理の終了指示を受け付けるように構成されていてもよい。なお、このような終了ボタンは、ユーザが端末装置２０の利用を終了する際に操作してもよく、端末装置２０が美術館に返却された後に美術館のスタッフ等によって操作されてもよい。制御部２１は、再生処理の終了指示を受け付けていないと判断した場合（Ｓ６６：ＮＯ）、ステップＳ６１の処理に戻り、図１４Ａに示すようなコンテンツ一覧の表示に戻り、終了指示を受け付けたと判断した場合（Ｓ６６：ＹＥＳ）、処理を終了する。上述した処理により、ユーザは美術館等の展示品に関する解説を受けることができると共に、ユーザのコンテンツ視聴中の心拍変動を示す心拍変動データを収集できる。

【0077】

図１５は、実施形態３のサーバ１０による感情分析処理の手順を示すフローチャートである。図１５に示す処理は、図９に示す処理においてステップＳ３５の代わりにステップＳ７１～Ｓ７３を追加したものである。図９と同様のステップについては説明を省略する。本実施形態において、サーバ１０の制御部１１は、図９中のステップＳ３１～Ｓ３４と同様の処理を行う。これにより、サーバ１０は、端末装置２０が送信した心拍変動データを受信し、受信した心拍変動データに基づいて、各解説コンテンツ（解説コンテンツに対応する展示品）に対するユーザの感情を分析し、ユーザの各感情の時間変化を示す感情データを生成する。なお、本実施形態では、端末装置２０が心拍変動データをサーバ１０へ送信するタイミングは、ユーザが端末装置２０の利用を終了したタイミングとしてもよい。また、本実施形態では、端末装置２０は、端末装置２０に割り当てられた識別子（例えば端末ＩＤ）又はユーザに割り当てられた識別子（例えばユーザＩＤ）に対応付けて心拍変動データをサーバ１０へ送信する。よって、サーバ１０は、端末ＩＤ又はユーザＩＤに対応付けて心拍変動データを例えば心拍変動ＤＢ１２ｂに記憶し、ステップＳ３４で生成した各感情の感情データを、端末ＩＤ又はユーザＩＤに対応付けて感情ＤＢ１２ｃに記憶する。

【0078】

ステップＳ３４の処理後、制御部１１（箇所抽出部）は、端末ＩＤ又はユーザＩＤに対応付けて感情ＤＢ１２ｃに記憶した各解説コンテンツに対する感情データに基づいて、ユーザが所定の感情を抱いた箇所を抽出する（Ｓ７１）。例えば制御部１１は、各解説コンテンツに対する感情データに基づいて、例えば喜びの感情パラメータのスコアが所定値以上であった解説コンテンツを特定し、特定した解説コンテンツに対応するコンテンツＩＤを抽出する。そして制御部１１（アルバム生成部）は、抽出したコンテンツＩＤに対応する解説コンテンツ又は展示品のサムネイル画像等を用いてアルバムデータを生成する（Ｓ７２）。これにより、ユーザが所定の感情を抱いたコンテンツ又は展示品をまとめて閲覧できるアルバムを生成できる。制御部１１は、生成したアルバムデータを端末ＩＤ又はユーザＩＤに対応付けて記憶部１２に記憶し（Ｓ７３）、処理を終了する。

【0079】

上述した処理により、解説コンテンツ及び展示品を見たユーザの感情に応じたアルバムデータを生成できるので、ユーザが無意識に所定の感情を抱いた解説コンテンツ又は展示品をまとめて閲覧できるアルバムを提供できる。なお、アルバムデータを生成する感情は、例えば喜び、怒り、悲しみ、驚き、嫌悪、リラックス等の感情パラメータのいずれかが予め設定されていてもよく、また、ユーザからの選択によって変更できるように構成されていてもよい。また、サーバ１０は、端末ＩＤ又はユーザＩＤに対応付けて記憶部１２に記憶したアルバムデータを、例えばユーザが所有するユーザ端末（図示せず）に提供できるように構成されている。サーバ１０は、例えばユーザ端末から、端末ＩＤ又はユーザＩＤを指定してアルバムデータの要求を受け付けた場合、要求されたアルバムデータを要求元のユーザ端末へ送信してもよい。これにより、ユーザは、自身のユーザ端末においてアルバムを閲覧できるので、美術館での展示品の鑑賞だけでなく、美術館での鑑賞後にアルバムによって展示品又は解説コンテンツを振り返ることができる。

【0080】

なお、サーバ１０がアルバムデータをユーザ端末へ送信する場合、例えばサーバ１０が、端末ＩＤ又はユーザＩＤに応じたＱＲコード（登録商標）を発行し、発行したＱＲコードをユーザ端末へ送信してもよい。この場合、ユーザ端末は、ＱＲコードを読み取って得られた宛先情報（例えばＵＲＬ（Uniform Resource Locator））に基づいてアルバムデータを要求し、サーバ１０からアルバムデータを取得することができる。また、例えばサーバ１０がユーザＩＤに対応付けてアルバムデータを記憶する構成において、端末装置２０を用いてネットワークＮ経由でユーザＩＤに基づいてアルバムデータをサーバ１０からダウンロードできるように構成してもよい。この場合、同じ美術館又は他の美術館で貸し出された端末装置２０において、前回鑑賞した際に生成されたアルバムを見ながら展示品を鑑賞することができる。

【0081】

本実施形態において、サーバ１０は、端末装置２０から受信した心拍変動データに基づいてアルバムデータを生成するか否かを、ユーザからの要求に応じて切り替えてもよい。例えば、サーバ１０は、端末装置２０又はユーザのユーザ端末からアルバムデータの要求を受け付けた後に、アルバムデータの生成処理を行い、端末装置２０又はユーザ端末へ送信してもよい。このような構成とすることにより、アルバムデータの生成処理を不用意に行うことなく、処理負荷の増加を抑制できる。なお、本実施形態においても、サーバ１０の制御部１１は、図９中のステップＳ３５の処理を行い、複数の端末装置２０から収集した多数の視聴者の心拍変動データに基づいて、各コンテンツに対する感情レポートを生成してもよい。この場合、展示品を鑑賞する入館者の感情を分析し、各展示品について入館者の関心の有無等を把握できる。

【0082】

本実施形態において、端末装置２０で再生されるコンテンツは美術館等の展示品に対する解説コンテンツのほかに、観光地及び観光スポット等を解説又は案内するためのコンテンツであってもよく、映画、アニメ及びドラマ等のようにそれ自体が鑑賞対象である電子データ（コンテンツ）であってもよい。観光案内用のコンテンツを用いる場合、ユーザの心拍変動データに基づいて、ユーザが所定の感情を抱いた箇所（観光地又は観光スポット）を抽出し、抽出した箇所の写真又は解説等をまとめたアルバムデータを生成することができる。また、映画、アニメ及びドラマ等の映像コンテンツを用いる場合、ユーザの心拍変動データに基づいて、ユーザが所定の感情を抱いた箇所（シーン）を抽出し、例えばユーザが気に入ったシーンをまとめたアルバムデータを生成することができる。

【0083】

（実施形態４）
ユーザが自身のユーザ端末（端末装置２０）を使用している場合に、ユーザの顔画像に基づいてユーザの健康状態を判定する分析システムについて説明する。本実施形態の分析システムは、実施形態１の各装置と同様の装置によって実現できるので、構成については説明を省略する。なお、本実施形態では、端末装置２０はユーザが所有するユーザ端末である。

【0084】

図１６は、実施形態４の端末装置２０による健康状態判定処理の手順を示すフローチャートである。以下の処理は、端末装置２０の記憶部２２に記憶してある制御プログラム２２Ｐに従って制御部２１によって実行される。本実施形態において、例えばユーザが端末装置２０を用いてテレビ電話中、又は、電子メール、ＬＩＮＥ（登録商標）、ＳＮＳ（Social Networking Service ）に関する操作中の場合、端末装置２０の制御部２１は、カメラ２６による撮影を開始し、操作中のユーザの顔画像を取得する（Ｓ８１）。ここでは、制御部２１は、図８中のステップＳ１２と同様の処理を行う。

【0085】

制御部２１は、図８中のステップＳ１３と同様の処理を行い、取得した顔画像（顔画像データ）に基づいてユーザの属性（年齢及び性別）を判定する（Ｓ８２）。次に制御部２１は、図８中のステップＳ１４と同様の処理を行い、ステップＳ８１で取得した顔画像に対してヘモグロビンに対応する色素成分を抽出する分離処理を行ってヘモグロビン画像を生成する（Ｓ８３）。そして、制御部２１は、生成したヘモグロビン画像に基づいて、ユーザのヘモグロビン色素濃度（ヘモグロビン濃度）を算出する（Ｓ８４）。例えば制御部２１は、ヘモグロビン画像においてユーザの顔領域中の各画素の画素値（ヘモグロビン成分の成分量）の平均値（平均画素値）を算出し、算出した値に対応するヘモグロビン色素濃度を特定する。なお、ヘモグロビン画像における平均画素値と、平均画素値に対応するヘモグロビン色素濃度とを対応付けて記憶部２２に記憶しておくことにより、制御部２１は、ヘモグロビン画像の平均画素値からユーザのヘモグロビン色素濃度を特定できる。

【0086】

制御部２１は、算出したヘモグロビン色素濃度が所定範囲内であるか否かを判断し（Ｓ８５）、所定範囲内でないと判断した場合（Ｓ８５：ＮＯ）、ユーザの健康状態がよくない可能性があることを通知する（Ｓ８６）。例えば制御部２１は、健康状態がよくない可能性があることを示すメッセージを表示部２４に表示して通知する。なお、端末装置２０がランプを有する場合、ランプを点灯又は点滅させることによって通知してもよく、端末装置２０がスピーカ又はブザーを有する場合、スピーカによる音声出力又はブザーの鳴動によって通知してもよい。ヘモグロビン色素濃度が所定範囲内であると判断した場合（Ｓ８５：ＹＥＳ）、制御部２１は、ステップＳ８６の処理をスキップして処理を終了する。

【0087】

上述した処理により、ユーザの顔画像に基づいてユーザの健康状態を判定することができ、健康状態がよくない可能性がある場合に通知することができる。よって、ユーザは端末装置２０を使用（操作）しているだけで意識することなく、健康状態の判定を行うことができる。例えば体内の水分量が低下すると血液中のヘモグロビン濃度が上昇するので、ヘモグロビン濃度によって熱中症を発症する気配があるか否かの判断が行われている。本実施形態では、ユーザの顔画像からユーザのヘモグロビン濃度を検出するので、血液検査を行うことなく、熱中症を発症する気配があるか否かの判断が可能となる。よって、熱中症の可能性がある場合に、水分補給の提案及び日陰への誘導等を行うことにより、早期の処置が可能となる。また、例えば建設現場又は工事現場等で作業中の作業者が用いるタブレット端末を端末装置２０としてもよい。この場合、タブレット端末を操作する作業者の顔画像を撮影することによって、顔画像から作業者の健康状態を判定できる。また、例えば観光地等の屋外に長時間いる観光客に観光ガイドアプリを提供する場合に、観光ガイドアプリに、本実施形態のような健康状態を判定する機能を追加して提供してもよい。この場合、観光ガイドアプリは利用者に観光ガイドを提供すると共に、利用者の健康状態を判定し、健康状態がよくない可能性がある場合には通知することができる。

【0088】

本実施形態では、ヘモグロビン画像に基づいてユーザの健康状態を判定するが、例えば、ヘモグロビン画像に基づいてユーザの心拍を示す心拍データを生成し、心拍データも考慮してユーザの健康状態を判定してもよい。この場合、ヘモグロビン濃度の変化だけでなく、心拍の変動に基づいて不整脈等の健康状態をチェックできる。また、本実施形態の構成は、上述した実施形態１～３の感情分析システムにも適用できる。実施形態１－２の感情分析システムに適用した場合、端末装置２０において、各種のコンテンツをユーザに提供しつつ、ユーザの顔画像に基づいて健康状態を判定できる。また実施形態３の感情分析システムに適用した場合、美術館等で貸し出される端末装置２０において、展示品の解説コンテンツをユーザ（入館者）に提供しつつ、ユーザの顔画像に基づいて健康状態を判定できる。

【0089】

上述した各実施形態において、端末装置２０は、例えばスマートフォンに所定のアプリケーションプログラムをインストールすることによって実現されてもよい。なお、カメラを有するスマートフォンでは、カメラによる撮影が行われた場合に、取得された撮影画像に対してホワイトバランス処理等の画質を補正する処理（画質補正処理）が自動的に行われるように構成されている場合がある。このような画質補正機能を有するスマートフォンを用いて端末装置２０を実現する場合、制御部２１は、カメラ２６で顔画像データを取得した場合に、顔画像データに対して画質補正処理を行う補正部として機能する。このような構成においては、制御部（禁止部）２１は、視聴者の顔画像に基づいて視聴者の感情分析を行う場合には、カメラ２６で撮影した視聴者の顔画像に対する画質補正処理の実行を禁止するように構成される。自動的に実行される画質補正処理を行わないことにより、視聴者の顔画像を忠実に取得でき、このような顔画像に基づいて視聴者の感情を精度よく分析できる。

【0090】

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0091】

１０ サーバ（情報処理装置）
１１ 制御部
１２ 記憶部
２０ 端末装置
２１ 制御部
２２ 記憶部
２４ 表示部
２６ カメラ
１０１ 心拍変動データ取得部
１０３ 感情分析部
１０４ レポート生成部
２０２ 撮影部
２０４ ヘモグロビン画像生成部
２０５ 心拍データ生成部
２０６ 心拍変動データ生成部
２０７ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】