知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084340
(43)【公開日】2024-06-25
(54)【発明の名称】システム、方法、サーバ装置及びプログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240618BHJP
【ＦＩ】
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022198553
(22)【出願日】2022-12-13
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100168310
【弁理士】
【氏名又は名称】▲高▼橋 幹夫
(72)【発明者】
【氏名】川崎 大輔
(72)【発明者】
【氏名】日比 康貴
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC11
5L050CC11
(57)【要約】
【課題】利用者の個人情報等を保護しつつ利用者の感情を解析可能とするシステムを提供する。
【解決手段】システムは、複数の端末と、サーバ装置と、を含む。複数の端末のそれぞれは、バイタルデータ取得手段と、顔画像取得手段と、生成手段と、を備える。バイタルデータ取得手段は、所持者が装着しているウェアラブル端末から所持者のバイタルデータを取得する。顔画像取得手段は、所持者の顔画像を取得する。生成手段は、バイタルデータと顔画像を用いて、所持者の感情に関する感情情報を生成し、生成された感情情報を含む感情情報通知をサーバ装置に送信する。サーバ装置は、受信手段と、解析手段と、を備える。受信手段は、端末から感情情報通知を受信する。解析手段は、受信した感情情報通知それぞれに含まれる感情情報を解析し、複数の利用者全体の感情の変化を示す解析結果を生成する。
【選択図】図１
【解決手段】システムは、複数の端末と、サーバ装置と、を含む。複数の端末のそれぞれは、バイタルデータ取得手段と、顔画像取得手段と、生成手段と、を備える。バイタルデータ取得手段は、所持者が装着しているウェアラブル端末から所持者のバイタルデータを取得する。顔画像取得手段は、所持者の顔画像を取得する。生成手段は、バイタルデータと顔画像を用いて、所持者の感情に関する感情情報を生成し、生成された感情情報を含む感情情報通知をサーバ装置に送信する。サーバ装置は、受信手段と、解析手段と、を備える。受信手段は、端末から感情情報通知を受信する。解析手段は、受信した感情情報通知それぞれに含まれる感情情報を解析し、複数の利用者全体の感情の変化を示す解析結果を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含み、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する、バイタルデータ取得手段と、
前記所持者を撮影することで前記所持者の顔画像を取得する、顔画像取得手段と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信する、生成手段と、
を備え、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、システム。
サーバ装置と、
を含み、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する、バイタルデータ取得手段と、
前記所持者を撮影することで前記所持者の顔画像を取得する、顔画像取得手段と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信する、生成手段と、
を備え、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、システム。
【請求項2】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
前記複数の利用者それぞれの顔情報を記憶する、サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、
前記画像データに写る複数の顔画像それぞれについて、前記画像データから抽出された複数の顔画像と前記記憶された顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る各顔画像に対応する利用者を特定し、
前記特定した利用者の端末に、前記特定された利用者の顔画像を送信し、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記サーバ装置から取得した顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
前記複数の利用者を撮影可能に設置された、カメラ装置と、
前記複数の利用者それぞれの顔情報を記憶する、サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、
前記画像データに写る複数の顔画像それぞれについて、前記画像データから抽出された複数の顔画像と前記記憶された顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る各顔画像に対応する利用者を特定し、
前記特定した利用者の端末に、前記特定された利用者の顔画像を送信し、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記サーバ装置から取得した顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
【請求項3】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、前記取得した画像データを前記複数の端末それぞれに送信し、
前記複数の端末のそれぞれは、
所持者の顔画像を記憶し、
前記画像データから抽出された複数の顔画像と前記記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る複数の顔画像のなかから前記所持者の顔画像を特定し、
前記所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記特定された所持者の顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
前記複数の利用者を撮影可能に設置された、カメラ装置と、
サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、前記取得した画像データを前記複数の端末それぞれに送信し、
前記複数の端末のそれぞれは、
所持者の顔画像を記憶し、
前記画像データから抽出された複数の顔画像と前記記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る複数の顔画像のなかから前記所持者の顔画像を特定し、
前記所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記特定された所持者の顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
【請求項4】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含むシステムにおいて、
前記複数の端末のそれぞれが、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記所持者を撮影することで前記所持者の顔画像を取得し、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置が、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、方法。
サーバ装置と、
を含むシステムにおいて、
前記複数の端末のそれぞれが、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記所持者を撮影することで前記所持者の顔画像を取得し、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置が、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、方法。
【請求項5】
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末それぞれから、前記複数の端末それぞれが各所持者を撮影することで得られる顔画像と前記各所持者が装着しているウェアラブル端末から得られるバイタルデータを用いて生成された前記各所持者の感情に関する感情情報を含む感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、サーバ装置。
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、サーバ装置。
【請求項6】
前記解析手段は、所定のタイミング又は所定の期間における、前記複数の利用者それぞれの感情が数値化された感情スコアの平均値を計算することで、前記解析結果を生成する、請求項５に記載のサーバ装置。
【請求項7】
端末に搭載されたコンピュータに、
自装置の所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する処理と、
前記所持者を撮影することで前記所持者の顔画像を取得する処理と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成する処理と、
前記生成された感情情報を含む感情情報通知をサーバ装置に送信する処理と、
を実行させるためのプログラム。
自装置の所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する処理と、
前記所持者を撮影することで前記所持者の顔画像を取得する処理と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成する処理と、
前記生成された感情情報を含む感情情報通知をサーバ装置に送信する処理と、
を実行させるためのプログラム。
【請求項8】
前記所持者の顔情報を記憶する処理と、
前記記憶された顔情報と前記撮影により得られた顔画像を用いた１対１照合を実行する処理と、
をさらに実行させ、
前記感情情報を生成する処理は、前記１対１照合に成功した前記撮影により得られた顔画像を用いて前記感情情報を生成する、請求項７に記載のプログラム。
前記記憶された顔情報と前記撮影により得られた顔画像を用いた１対１照合を実行する処理と、
をさらに実行させ、
前記感情情報を生成する処理は、前記１対１照合に成功した前記撮影により得られた顔画像を用いて前記感情情報を生成する、請求項７に記載のプログラム。
【請求項9】
前記感情情報通知を前記サーバ装置に送信する処理は、前記感情情報を前記サーバ装置に送信することに対する前記所持者の同意が得られた場合に、前記感情情報通知を前記サーバ装置に送信する、請求項８に記載のプログラム。
【請求項10】
前記感情情報を生成する処理は、機械学習により得られた学習モデルに前記取得されたバイタルデータと前記取得された顔画像を入力することで、前記所持者の感情を数値化した感情スコアを取得すると共に、前記感情スコアの時系列データを前記感情情報として生成する、請求項７乃至９のいずれか一項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、システム、方法、サーバ装置及びプログラムに関する。
【背景技術】
【0002】
映画館等で提示されるコンテンツに対する利用者の反応（感情）を推定する技術が存在する。例えば、特許文献１には、提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する反応情報利用部を有する情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１９／０７３６６１号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１のように、利用者の感情を推定するためには当該利用者の顔画像等が必要となる。特許文献１では、利用者とは異なる第三者により管理されている装置が、顔画像等を用いて利用者の感情に関する処理を実行している。近年、個人情報やプライバシーに対する利用者の意識は変化している。そのため、第三者に顔画像等を渡すことを躊躇する（嫌がる）利用者も多い。
【0005】
本発明は、利用者の個人情報等を保護しつつ利用者の感情を解析可能とすることに寄与する、システム、方法、サーバ装置及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、サーバ装置と、を含み、前記複数の端末のそれぞれは、所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する、バイタルデータ取得手段と、前記所持者を撮影することで前記所持者の顔画像を取得する、顔画像取得手段と、前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信する、生成手段と、を備え、前記サーバ装置は、前記複数の端末それぞれから前記感情情報通知を受信する、受信手段と、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、を備える、システムが提供される。
【0007】
本発明の第２の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、前記複数の利用者を撮影可能に設置された、カメラ装置と、前記複数の利用者それぞれの顔情報を記憶する、サーバ装置と、を含み、前記サーバ装置は、前記カメラ装置から画像データを取得し、前記画像データに写る複数の顔画像それぞれについて、前記画像データから抽出された複数の顔画像と前記記憶された顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る各顔画像に対応する利用者を特定し、前記特定した利用者の端末に、前記特定された利用者の顔画像を送信し、前記複数の端末のそれぞれは、所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、前記取得されたバイタルデータと前記サーバ装置から取得した顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、前記サーバ装置は、前記複数の端末それぞれから前記感情情報通知を受信し、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システムが提供される。
【0008】
本発明の第３の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、前記複数の利用者を撮影可能に設置された、カメラ装置と、サーバ装置と、を含み、前記サーバ装置は、前記カメラ装置から画像データを取得し、前記取得した画像データを前記複数の端末それぞれに送信し、前記複数の端末のそれぞれは、所持者の顔画像を記憶し、前記画像データから抽出された複数の顔画像と前記記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る複数の顔画像のなかから前記所持者の顔画像を特定し、前記所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、前記取得されたバイタルデータと前記特定された所持者の顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、前記サーバ装置は、前記複数の端末それぞれから前記感情情報通知を受信し、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システムが提供される。
【0009】
本発明の第４の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、サーバ装置と、を含むシステムにおいて、前記複数の端末のそれぞれが、所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、前記所持者を撮影することで前記所持者の顔画像を取得し、前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、前記サーバ装置が、前記複数の端末それぞれから前記感情情報通知を受信し、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、方法が提供される。
【0010】
本発明の第５の視点によれば、同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末それぞれから、前記複数の端末それぞれが各所持者を撮影することで得られる顔画像と前記各所持者が装着しているウェアラブル端末から得られるバイタルデータを用いて生成された前記各所持者の感情に関する感情情報を含む感情情報通知を受信する、受信手段と、前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、を備える、サーバ装置が提供される。
【0011】
本発明の第６の視点によれば、端末に搭載されたコンピュータに、自装置の所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する処理と、前記所持者を撮影することで前記所持者の顔画像を取得する処理と、前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成する処理と、前記生成された感情情報を含む感情情報通知をサーバ装置に送信する処理と、を実行させるためのプログラムが提供される。
【発明の効果】
【0012】
本発明の各視点によれば、利用者の個人情報等を保護しつつ利用者の感情を解析可能とすることに寄与する、システム、方法、サーバ装置及びプログラムが提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
【0015】
一実施形態に係るシステムは、複数の端末１０１と、サーバ装置１０２と、を含む（図１参照）。複数の端末１０１は、同じコンテンツが提供される、複数の利用者それぞれにより所持される。複数の端末１０１のそれぞれは、バイタルデータ取得手段１１１と、顔画像取得手段１１２と、生成手段１１３と、を備える。バイタルデータ取得手段１１１は、所持者が装着しているウェアラブル端末から所持者のバイタルデータを取得する（図２のステップＳ１）。顔画像取得手段１１２は、所持者を撮影することで所持者の顔画像を取得する（ステップＳ２）。生成手段１１３は、取得されたバイタルデータと取得された顔画像を用いて、所持者の感情に関する感情情報を生成し、当該生成された感情情報を含む感情情報通知をサーバ装置１０２に送信する（ステップＳ３）。サーバ装置１０２は、受信手段１２１と、解析手段１２２と、を備える。受信手段１２１は、複数の端末１０１それぞれから感情情報通知を受信する（ステップＳ４）。解析手段１２２は、受信した感情情報通知それぞれに含まれる感情情報を解析し、複数の利用者全体の感情の変化を示す解析結果を生成する（ステップＳ５）。
【0016】
複数の端末１０１それぞれは、所持者（所有者）の顔画像を取得し、当該取得した顔画像とウェアラブル端末から取得したバイタルデータを用いて感情情報（感情スコア）を算出する。即ち、所持者の顔画像取得処理や当該所持者の個人的な情報（顔画像、バイタルデータ）を用いた感情情報の算出処理は端末１０１の内部で完結している。そのため、外部のサーバ装置１０２に上記個人的な情報が渡されることがない。従って、利用者の個人情報が的確に保護される。また、サーバ装置１０は、各端末所持者の感情情報を使った解析処理を実行する。その結果、利用者の個人情報等を保護しつつ利用者の感情を解析可能とするシステムが提供される。
【0017】
以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
【0018】
［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。
第１の実施形態について、図面を用いてより詳細に説明する。
【0019】
第１の実施形態に係る感情解析システム（情報処理システム）では、映画やセミナーなど複数の利用者に同一のコンテンツが提供される。第１の実施形態では、例えば、図３に示すように、講演者によるセミナーを想定し説明を行う。感情解析システムは、複数のセミナー参加者全体の感情（感想）を解析する。
【0020】
具体的には、感情解析システムは、多くの聴衆が提供されたコンテンツに対して興味を示すポイント（時間帯）や退屈しているポイント等を算出する。感情解析システムは、算出した結果を解析結果としてセミナー主催者や講演者等に提供する。
【0021】
【0022】
例えば、サーバ装置１０は、セミナーを主催する企業等により管理、運営される。サーバ装置１０は、当該企業の建物内に設置されていてもよいし、ネットワーク上（クラウド上）に設置されていてもよい。
【0023】
各セミナー参加者は、ウェアラブル端末２０を装着している。例えば、参加者がセミナー会場に入場する際、ウェアラブル端末２０が各参加者に配られる。あるいは、各参加者は、予めウェアラブル端末２０を所有していてもよい。
【0024】
同じコンテンツが提供される、セミナー等の各参加者（システムの利用者）のそれぞれは、端末３０を所持する。端末３０は、例えば、スマートフォン、タブレット等のモバイル型端末である。
【0025】
ウェアラブル端末２０と端末３０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信手段により通信可能に構成されている。また、端末３０は、無線ＬＡＮ（Local Area Network）やモバイル回線を介してサーバ装置１０と通信可能に構成されている。
【0026】
図４に示す感情解析システムの構成は例示であって、その構成を限定する趣旨ではない。例えば、複数のサーバ装置１０がシステムに含まれていてもよい。また、図４には３人の聴衆を図示しているが、感情解析システムを利用する利用者の数を３人に限定する趣旨ではないことは勿論である。
【0027】
［概略動作］
続いて、第１の実施形態に係る感情解析システムの概略動作について説明する。
続いて、第１の実施形態に係る感情解析システムの概略動作について説明する。
【0028】
＜参加者登録＞
セミナー参加者は、セミナーの開始前に参加者登録を行う。具体的には、セミナー参加者は、端末３０を操作してサーバ装置１０にアクセスする。参加者は、サーバ装置１０が提供するＷＥＢ（ウェブ）ページ等において、参加者登録を行う。
セミナー参加者は、セミナーの開始前に参加者登録を行う。具体的には、セミナー参加者は、端末３０を操作してサーバ装置１０にアクセスする。参加者は、サーバ装置１０が提供するＷＥＢ（ウェブ）ページ等において、参加者登録を行う。
【0029】
例えば、セミナー参加者は、端末３０を操作して、ユーザＩＤをサーバ装置１０に入力する（図５参照）。例えば、端末３０が受信可能なメールアドレスがユーザＩＤとしてサーバ装置１０に入力される。
【0030】
あるいは、セミナー参加者は、性別や所属企業等の情報をサーバ装置１０に入力してもよい。サーバ装置１０は、セミナー参加者が入力した情報をユーザＩＤと共に管理する。
【0031】
＜バイタルデータの取得＞
ウェアラブル端末２０は、自端末の装着者（セミナー参加者等）のバイタルデータを取得する。例えば、ウェアラブル端末２０は、セミナーが開催されている間、利用者の脈拍、血圧、呼吸、体温等のバイタル（バイタルサイン）を取得する。
ウェアラブル端末２０は、自端末の装着者（セミナー参加者等）のバイタルデータを取得する。例えば、ウェアラブル端末２０は、セミナーが開催されている間、利用者の脈拍、血圧、呼吸、体温等のバイタル（バイタルサイン）を取得する。
【0032】
ウェアラブル端末２０は、定期的又は所定のタイミングで、取得したバイタルデータを端末３０に送信する。ウェアラブル端末２０は、自装置を装着している利用者が所持する端末３０に取得したバイタルデータを送信する（図６参照）。
【0033】
＜顔画像の取得＞
各利用者の端末３０は、セミナーが開催されている間、その所持者を撮影可能に設置される。端末３０は、所持者の顔を撮影可能に設置される。端末３０は、セミナーが終了するまで所持者の顔を撮影し続ける。
各利用者の端末３０は、セミナーが開催されている間、その所持者を撮影可能に設置される。端末３０は、所持者の顔を撮影可能に設置される。端末３０は、セミナーが終了するまで所持者の顔を撮影し続ける。
【0034】
端末３０は、所持者の顔を撮影することで、所持者（セミナー参加者）の顔画像を含む画像データを取得する。端末３０は、取得した画像データのなかから顔画像を抽出する。その際、端末３０は、自装置に予め格納された顔画像と同一人物の顔画像と判定される顔画像を抽出する。
【0035】
＜感情情報の算出＞
端末３０は、ウェアラブル端末２０から取得したバイタルデータと撮影により得られた顔画像を用いてセミナー参加者の感情に関する情報（感情情報）を算出する。
端末３０は、ウェアラブル端末２０から取得したバイタルデータと撮影により得られた顔画像を用いてセミナー参加者の感情に関する情報（感情情報）を算出する。
【0036】
具体的には、端末３０は、バイタルデータと顔画像を用いてセミナー参加者による「楽しい」、「退屈」といった感情を数値化した感情スコアを算出する。例えば、端末３０は、セミナー参加者のバイタルデータと顔画像を用いて感情スコアをリアルタイムに算出する。例えば、端末３０は、時刻ｔ１＝＋１０（極めて楽しい）、時刻ｔ２＝－１０（極めて退屈）といった利用者の感情を数値化した感情スコアの時系列データを算出する。
【0037】
セミナーが終了すると、端末３０は、算出した感情情報（感情スコアの時系列データ）とユーザＩＤを含む感情情報通知をサーバ装置１０に送信する。端末３０は、感情情報等をサーバ装置１０に送信する前に、算出された感情情報の送信に関する同意（所持者の同意）を取得する。なお、当該同意は、セミナー開始時に取得されてもよい。
【0038】
＜感情解析＞
サーバ装置１０は、取得した感情情報を用いてセミナー参加者の感情を解析する。サーバ装置１０は、セミナー参加者全体（平均的な参加者）の感情の変化を含む解析結果を生成する。具体的には、サーバ装置１０は、取得した感情情報を用いて多くの聴衆が興味を持った時間帯、多くの聴衆が退屈に感じた時間帯等に関する情報を「感情解析結果」として算出する。
サーバ装置１０は、取得した感情情報を用いてセミナー参加者の感情を解析する。サーバ装置１０は、セミナー参加者全体（平均的な参加者）の感情の変化を含む解析結果を生成する。具体的には、サーバ装置１０は、取得した感情情報を用いて多くの聴衆が興味を持った時間帯、多くの聴衆が退屈に感じた時間帯等に関する情報を「感情解析結果」として算出する。
【0039】
算出された感情解析結果は、セミナー主催者等に提供される。セミナー主催者等は、感情解析結果を用いて業務改善（セミナー内容の改善）に役立てる。
【0040】
続いて、第１の実施形態に係る感情解析システムに含まれる各装置の詳細について説明する。
【0041】
［端末］
端末３０には、スマートフォン、携帯電話機、ゲーム機、タブレット等の携帯端末装置が例示される。端末３０は、利用者の操作を受け付け、ウェアラブル端末２０及びサーバ装置１０と通信可能であれば任意の機器、デバイスとすることができる。
端末３０には、スマートフォン、携帯電話機、ゲーム機、タブレット等の携帯端末装置が例示される。端末３０は、利用者の操作を受け付け、ウェアラブル端末２０及びサーバ装置１０と通信可能であれば任意の機器、デバイスとすることができる。
【0042】
図７は、第１の実施形態に係る端末３０の処理構成（処理モジュール）の一例を示す図である。図７を参照すると、端末３０は、通信制御部２０１と、原本顔画像管理部２０２と、参加者登録制御部２０３と、バイタルデータ取得部２０４と、顔画像取得部２０５と、感情情報生成部２０６と、記憶部２０７と、を備える。
【0043】
通信制御部２０１は、他の装置との間の通信を制御する手段である。例えば、通信制御部２０１は、サーバ装置１０からデータ（パケット）を受信する。また、通信制御部２０１は、サーバ装置１０に向けてデータを送信する。通信制御部２０１は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部２０１は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部２０１を介して他の装置とデータの送受信を行う。通信制御部２０１は、他の装置からデータを受信する受信部としての機能と、他の装置に向けてデータを送信する送信部としての機能と、を備える。
【0044】
通信制御部２０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信に対応しており、当該近接無線通信によりウェアラブル端末２０と通信する。なお、端末３０とウェアラブル端末２０がＢｌｕｅｔｏｏｔｈ（登録商標）により通信する場合に必要なペアリング処理は、例えば、セミナー参加者がウェアラブル端末２０を受け取った際に行われる。
【0045】
原本顔画像管理部２０２は、端末３０の所持者（所有者）の顔画像を管理する手段である。原本顔画像管理部２０２は、種々の認証処理、照合処理で用いる顔情報の原本となる顔画像（以下、原本顔画像と表記する）を取得する。例えば、原本顔画像管理部２０２は、図８に示すようなＧＵＩ（Graphical User Interface）を用いて原本顔画像を取得する。
【0046】
原本顔画像管理部２０２は、取得した原本顔画像を記憶部２０７に記憶する。その際、原本顔画像管理部２０２は、原本顔画像に暗号化処理を施し、暗号化された原本顔画像を記憶部２０７に格納してもよい。
【0047】
また、原本顔画像管理部２０２は、取得した原本顔画像から特徴量を生成し、当該生成した特徴量を記憶部２０７に格納してもよい。以降の説明において、原本顔画像から生成された特徴量を「原本特徴量」と表記する。記憶部２０７は、端末所持者の顔情報（原本顔画像、原本特徴量）を記憶する。
【0048】
なお、特徴量の生成処理に関しては既存の技術を用いることができるので、その詳細な説明を省略する。例えば、原本顔画像管理部２０２は、顔画像から目、鼻、口等を特徴点として抽出する。その後、原本顔画像管理部２０２は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算する（複数の特徴量からなる特徴ベクトルを生成する）。
【0049】
参加者登録制御部２０３は、利用者の参加者登録に関する制御を実行する手段である。参加者登録制御部２０３は、利用者（セミナー参加者）の操作に応じて、サーバ装置１０が提供するＷＥＢページにアクセスする。
【0050】
参加者登録制御部２０３は、サーバ装置１０が提供するＧＵＩに利用者が入力した情報を取得する。参加者登録制御部２０３は、取得した情報（例えば、メールアドレス）をサーバ装置１０に送信する。
【0051】
バイタルデータ取得部２０４は、バイタルデータの取得に関する制御を行う手段である。バイタルデータ取得部２０４は、端末３０の所持者が装着しているウェアラブル端末２０から当該所持者のバイタルデータを取得する。
【0052】
具体的には、バイタルデータ取得部２０４は、自装置（端末３０）と通信可能な状態にあるウェアラブル端末２０からバイタルデータを受信する。より具体的には、バイタルデータ取得部２０４は、ペアリングが完了したウェアラブル端末２０からバイタルデータを取得する。
【0053】
バイタルデータ取得部２０４は、取得したバイタルデータを記憶部２０７に記憶する。バイタルデータ取得部２０４は、取得したバイタルデータ（脈拍等の具体的な数値）とバイタルデータ取得時刻を対応付けて記憶部２０７に記憶する。
【0054】
顔画像取得部２０５は、顔画像の取得に関する制御を行う手段である。顔画像取得部２０５は、端末３０の所持者を撮影することで当該所持者の顔画像を取得する。顔画像取得部２０５は、利用者による所定の動作（例えば、セミナー開始ボタンの押下）に応じて、利用者の撮影を開始する。
【0055】
顔画像取得部２０５は、自装置に搭載されたカメラを制御し、セミナー参加中の利用者を撮影し続ける。顔画像取得部２０５は、撮影により得られた画像データを取得する。
【0056】
顔画像取得部２０５は、取得した画像データのなかから顔画像（顔領域）の抽出を試みる。
【0057】
なお、顔画像取得部２０５による顔画像の抽出処理には既存の技術を用いることができるので詳細な説明を省略する。例えば、顔画像取得部２０５は、ＣＮＮ（Convolutional Neural Network）により学習された学習モデルを用いて、画像データの中から顔画像（顔領域）を抽出してもよい。あるいは、顔画像取得部２０５は、テンプレートマッチング等の手法を用いて顔画像を抽出してもよい。
【0058】
顔画像の抽出に成功すると、顔画像取得部２０５は、記憶部２０７に記憶された顔情報と撮影により得られた顔画像を用いた１対１照合を実行する。具体的には、顔画像取得部２０５は、抽出された顔画像から特徴量を生成する。顔画像取得部２０５は、当該生成された特徴量と原本特徴量（原本顔画像から生成された特徴量）を用いた１対１照合を実行する。
【0059】
その際、顔画像取得部２０５は、２つの特徴量の間の類似度を算出する。なお、当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。距離が離れているほど類似度は低く、距離が近いほど類似度が高い。
【0060】
類似度が所定の値よりも大きければ（距離が所定の値よりも短ければ）、顔画像取得部２０５は、１対１照合（１対１認証）に成功したと判定する。類似度が所定の値以下であれば、顔画像取得部２０５は、１対１照合に失敗したと判定する。
【0061】
１対１照合に成功すると、顔画像取得部２０５は、画像データから抽出された顔画像を記憶部２０７に記憶する。顔画像取得部２０５は、取得した顔画像と顔画像取得時刻を対応付けて記憶部２０７に記憶する。１対１照合に成功した、撮影により得られた顔画像が感情情報の生成に用いられる。
【0062】
１対１照合に失敗すると、顔画像取得部２０５は、特段の処理を行わない。顔画像取得部２０５は、画像データから抽出された顔画像等を破棄する。
【0063】
感情情報生成部２０６は、感情情報を生成する手段である。感情情報生成部２０６は、取得されたバイタルデータと取得された顔画像を用いて、端末３０の所持者の感情に関する感情情報を生成する。感情情報生成部２０６は、当該生成された感情情報を含む感情情報通知をサーバ装置１０に送信する。
【0064】
例えば、感情情報生成部２０６は、セミナーが開催されている間リアルタイムに感情情報（感情スコア）を算出する。例えば、感情情報生成部２０６は、バイタルデータ又は顔画像が取得されたタイミングで感情スコアを算出する。
【0065】
感情情報生成部２０６は、バイタルデータ及び顔画像を用いて、利用者（端末３０の所持者；セミナー参加者）の感情スコアを算出する。例えば、感情情報生成部２０６は、機械学習により得られる学習モデルを用いて感情スコアを取得する。
【0066】
例えば、感情情報生成部２０６は、感情スコア算出時又は直前のバイタルデータ及び顔画像を入力すると感情スコアを出力する学習モデルを使って感情スコアを取得する。
【0067】
当該学習モデルは、数多くのデータ（バイタルデータ及び顔画像の組み合わせ）にラベル（感情スコア；例えば、＋１０～－１０の範囲の２１段階の数値）が付与された教師データを用いた機械学習により得られる。学習モデルの生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。
【0068】
例えば、正の感情スコアはポジティブな感情（喜び、楽しい、興味深い、興奮等）を示し、負の感情スコアはネガティブな感情（怒り、悲しみ、退屈、無関心等）を示す。また、感情スコアの値は感情の程度を示す。
【0069】
感情情報生成部２０６は、バイタルデータ用の学習モデルと顔画像用の学習モデルのそれぞれを用いて感情スコアを算出してもよい。例えば、感情情報生成部２０６は、バイタルデータ用の学習モデルにバイタルデータを入力することで、感情スコア（バイタル）を取得する。また、感情情報生成部２０６は、顔画像用の学習モデルに顔画像を入力することで、感情スコア（顔画像）を取得する。
【0070】
感情情報生成部２０６は、得られた２つの感情スコア（バイタル、顔画像）に対する算術処理により感情スコア（全体）を算出してもよい。例えば、感情情報生成部２０６は、２つの感情スコアを加算することで感情スコア（全体）を算出する。あるいは、感情情報生成部２０６は、２つの感情スコアに対して重みを付与して加算することで感情スコア（全体）を算出してもよい。あるいは、感情情報生成部２０６は、２つの感情スコアを乗算することで感情スコア（全体）を取得する。
【0071】
このように、感情情報生成部２０６は、機械学習により得られた学習モデルにバイタルデータと顔画像を入力することで、端末３０の所持者の感情を数値化した感情スコアを取得する。
【0072】
感情情報生成部２０６は、感情スコアが記載されたテーブル情報を使って感情スコアを算出してもよい。例えば、感情情報生成部２０６は、バイタルデータ（脈拍、血圧等）と感情スコアを対応付けて記憶するテーブル情報を用いて感情スコア（バイタル）を算出してもよい。
【0073】
感情情報生成部２０６は、算出した感情スコアをスコア算出時刻と対応付けて記憶部２０７に記憶する。感情情報生成部２０６は、感情スコアの時系列データを感情情報として記憶部２０７に格納する。
【0074】
感情情報生成部２０６は、生成された感情情報（感情スコアの時系列データ）をサーバ装置１０に送信する。例えば、感情情報生成部２０６は、セミナーの終了時又は利用者がセミナー会場から退出する際に、感情情報をサーバ装置１０に送信する。
【0075】
例えば、感情情報生成部２０６は、利用者による所定の動作（例えば、セミナー終了ボタンの押下）を検出すると、感情情報をサーバ装置１０に送信する。その際、感情情報生成部２０６は、感情情報を第三者（例えば、セミナー主催企業）に提供することに対する利用者の同意を取得する。
【0076】
例えば、感情情報生成部２０６は、図９に示すようなＧＵＩを用いて利用者の意思（感情情報の提供に同意又は不同意）を取得する。
【0077】
感情情報の提供に対する同意が得られないと、感情情報生成部２０６は、特段の動作を行わない。
【0078】
感情情報の提供に対する同意が得られると、感情情報生成部２０６は、感情情報をサーバ装置１０に送信する。具体的には、感情情報生成部２０６は、算出された感情情報（感情スコアの時系列データ）とユーザＩＤ（例えば、メールアドレス）を含む感情情報通知をサーバ装置１０に送信する。
【0079】
このように、感情情報生成部２０６は、感情情報をサーバ装置１０に送信することに対する端末３０の所持者の同意が得られた場合に、感情情報通知をサーバ装置１０に送信する。
【0080】
記憶部２０７は、端末３０の動作に必要な情報を記憶する手段である。
【0081】
上記説明した端末３０の動作をまとめると図１０に示すフローチャートのとおりとなる。
【0082】
端末３０は、ウェアラブル端末２０からバイタルデータを取得する（ステップＳ１０１）。
【0083】
端末３０は、利用者（セミナー参加者）の顔画像を取得する（ステップＳ１０２）。
【0084】
端末３０は、バイタルデータ及び顔画像を用いて感情情報（感情スコア）を算出する（ステップＳ１０３）。
【0085】
端末３０は、感情情報の送信前に、当該感情情報を他者に提供することに対する利用者の同意を取得する（ステップＳ１０４）。
【0086】
端末３０は、ユーザＩＤ及び感情情報を含む感情情報通知をサーバ装置１０に送信する（ステップＳ１０５）。
【0087】
［サーバ装置］
図１１は、第１の実施形態に係るサーバ装置１０の処理構成（処理モジュール）の一例を示す図である。図１１を参照すると、サーバ装置１０は、通信制御部３０１と、参加者管理部３０２と、感情情報処理部３０３と、感情解析部３０４と、記憶部３０５と、を備える。
図１１は、第１の実施形態に係るサーバ装置１０の処理構成（処理モジュール）の一例を示す図である。図１１を参照すると、サーバ装置１０は、通信制御部３０１と、参加者管理部３０２と、感情情報処理部３０３と、感情解析部３０４と、記憶部３０５と、を備える。
【0088】
通信制御部３０１は、他の装置との間の通信を制御する手段である。例えば、通信制御部３０１は、端末３０からデータ（パケット）を受信する。また、通信制御部３０１は、端末３０に向けてデータを送信する。通信制御部３０１は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部３０１は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部３０１を介して他の装置とデータの送受信を行う。通信制御部３０１は、他の装置からデータを受信する受信部としての機能と、他の装置に向けてデータを送信する送信部としての機能と、を備える。
【0089】
参加者管理部３０２は、セミナー等の参加者に関する管理を行う手段である。
【0090】
参加者がＷＥＢページ等において所定の操作を行うと、参加者管理部３０２は、当該参加者に関する情報（例えば、ユーザＩＤとなるメールアドレス）を取得する。参加者管理部３０２は、ＧＵＩ等を用いて上記参加者に関する情報を取得する。
【0091】
参加者管理部３０２は、取得した情報（ユーザＩＤを含む情報）を参加者管理データベースに記憶する（図１２参照）。なお、図１２に示す参加者管理データベースは例示であって、記憶する項目等を限定する趣旨ではない。例えば、参加者登録された日時等が参加者管理データベースに記憶されていてもよい。
【0092】
感情情報処理部３０３は、利用者（セミナー参加者）の感情情報に関する管理、処理を行う手段である。感情情報処理部３０３は、端末３０から受信する感情情報通知を処理する。
【0093】
感情情報通知を受信すると、感情情報処理部３０３は、感情情報通知に含まれるユーザＩＤごとに感情情報を記憶部３０５に記憶する。感情情報処理部３０３は、参加者ごとの感情スコアの時系列データを記憶する。
【0094】
例えば、記憶部３０５には、図１３Ａ及び図１３Ｂに示すような感情スコアの時系列データが記憶される。図１３Ａは、参加者Ａの感情スコアの時系列データをグラフ化した図である。図１３Ｂは、参加者Ｂの感情スコアの時系列データをグラフ化した図である。
【0095】
感情解析部３０４は、セミナー参加者の感情に関する解析を行う手段である。感情解析部３０４は、複数の端末３０から受信した感情情報通知それぞれに含まれる感情情報を解析し、セミナーに参加している複数の利用者全体の感情の変化を示す解析結果を生成する。
【0096】
即ち、感情解析部３０４は、各参加者の感情情報（感情スコアの時系列データ）を解析することで、セミナー中の各ポイント、各時刻において、セミナー参加者全体（多くのセミナー参加者）に共通する感情を解析結果として生成する。
【0097】
具体的には、感情解析部３０４は、システム管理者等の要求に応じて、参加者全体の感情（感情の変化）を解析する。感情解析部３０４は、解析結果をシステム管理者等に提示する。
【0098】
例えば、感情解析部３０４は、各参加者から得られた感情情報（感情スコアの時系列データ）を用いて参加者全体の感情を解析する。
【0099】
例えば、感情解析部３０４は、セミナー開始からセミナー終了までの間における所定ポイントごとに各参加者の感情スコアの平均値を算出する。例えば、感情解析部３０４は、セミナー開始から１分間隔で各参加者の感情スコアの平均値を算出する。
【0100】
なお、当該所定のタイミングで感情スコアが得られていない参加者が存在する場合には、感情解析部３０４は、直前の感情スコアを使用したり前後の感情スコアを用いて補間された感情スコアを使用したりする。
【0101】
あるいは、感情解析部３０４は、各参加者について、所定期間（例えば、５分間）の感情スコアの平均値を算出する。感情解析部３０４は、算出された感情スコアの平均値を用いてセミナー参加者全体に関する感情スコアの平均値を算出してもよい。
【0102】
例えば、感情解析部３０４は、セミナー開始から５分間の参加者Ａに関する感情スコアの平均値を算出する。同様に、感情解析部３０４は、セミナー開始から５分間の参加者Ｂに関する感情スコアの平均値を算出する。感情解析部３０４は、参加者Ａ及び参加者Ｂの感情スコアの平均値のさらに平均値を算出することで、セミナー開始から５分間における参加者全体（上記の例では２人の参加者）の感情スコアを算出する。
【0103】
このように、感情解析部３０４は、所定の時刻又は所定の期間における、複数の利用者それぞれの感情スコアの平均値を計算することで、解析結果を生成する。
【0104】
感情解析部３０４は、得られた解析結果（参加者全体の感情変化を示す時系列データ）をシステム管理者等に提示する。
【0105】
例えば、感情解析部３０４は、図１４に示すような感情解析結果を液晶モニター等に表示する。あるいは、感情解析部３０４は、感情解析結果を印刷したり、感情解析結果をシステム管理者が所持する端末に送信したりしてもよい。
【0106】
図１４に示すような結果を参照し、システム管理者（セミナー主催者）は、時刻ｔ３から時刻ｔ６のセミナー内容には改善の余地があることを認識する。
【0107】
あるいは、感情解析部３０４は、セミナー参加者が提供されたコンテンツに対して最も興味を示した時間帯や最も退屈に感じた時間帯を解析結果として生成してもよい。例えば、図１４の例では、時刻ｔ１～ｔ２が多くの参加者が提供コンテンツに最も興味を示した時間帯、時刻ｔ４～ｔ５が多くの参加者が最も退屈と感じた時間帯として生成される。
【0108】
記憶部３０５は、サーバ装置１０の動作に必要な情報を記憶する手段である。
【0109】
［システムの動作］
続いて、第１の実施形態に係る感情解析システムの動作について説明する。
続いて、第１の実施形態に係る感情解析システムの動作について説明する。
【0110】
【0111】
端末３０は、ウェアラブル端末２０からバイタルデータを取得する（ステップＳ０１）。
【0112】
端末３０は、利用者を撮影することで顔画像を取得する（ステップＳ０２）。
【0113】
端末３０は、バイタルデータ及び顔画像を用いて感情スコアを算出する（ステップＳ０３）。
【0114】
端末３０は、セミナーが終了したタイミング等において、ユーザＩＤと感情情報を含む感情情報通知をサーバ装置１０に送信する（ステップＳ０４）。
【0115】
サーバ装置１０は、各参加者の感情情報（感情スコアの時系列データ）を記憶する（ステップＳ０５）。
【0116】
サーバ装置１０は、システム管理者等の要求に応じて、セミナー参加者全体を対象とした感情解析を行う（ステップＳ０６）。
【0117】
＜第１の実施形態に係る変形例１＞
上記第１の実施形態では、端末３０は、利用者のメールアドレスを当該利用者のユーザＩＤとしてサーバ装置１０に入力する場合について説明した。しかし、端末３０は、利用者のユーザＩＤを生成し、当該生成したユーザＩＤをサーバ装置１０に送信してもよい。
上記第１の実施形態では、端末３０は、利用者のメールアドレスを当該利用者のユーザＩＤとしてサーバ装置１０に入力する場合について説明した。しかし、端末３０は、利用者のユーザＩＤを生成し、当該生成したユーザＩＤをサーバ装置１０に送信してもよい。
【0118】
例えば、参加者登録制御部２０３は、利用者に固有な氏名やメールアドレス等のハッシュ値を計算し、当該計算されたハッシュ値をユーザＩＤとしてサーバ装置１０に送信してもよい。
【0119】
あるいは、セミナー参加者が座る座席の座席番号等がユーザＩＤとして利用されてもよい。この場合、セミナー参加者は、端末３０を操作して着席した席に貼られた座席番号をサーバ装置１０に入力する。あるいは、端末３０は、座席に貼られた２次元バーコード等から座席番号を読み取り、当該読み取った座席番号をサーバ装置１０に送信してもよい。
【0120】
あるいは、参加者登録の際、サーバ装置１０が、参加者を一意に識別可能なユーザＩＤを生成してもよい。サーバ装置１０は、セミナー参加への参加意思を示した利用者の端末３０に上記生成したユーザＩＤを送信してもよい。
【0121】
＜第１の実施形態に係る変形例２＞
端末３０が生成した感情情報（感情スコアの時系列データ）は、セミナー参加者に提供されてもよい。例えば、感情情報生成部２０６は、利用者の所定の動作（例えば、セミナー感想表示ボタンの押下）を検出すると、図１３Ａや図１３Ｂで示される感情情報を表示してもよい。
端末３０が生成した感情情報（感情スコアの時系列データ）は、セミナー参加者に提供されてもよい。例えば、感情情報生成部２０６は、利用者の所定の動作（例えば、セミナー感想表示ボタンの押下）を検出すると、図１３Ａや図１３Ｂで示される感情情報を表示してもよい。
【0122】
＜第１の実施形態に係る変形例３＞
端末３０が感情情報を生成するのではなく、サーバ装置１０が感情情報を生成してもよい。この場合、端末３０は、ウェアラブル端末２０から取得したバイタルデータや撮影により得られた顔画像をユーザＩＤと共にサーバ装置１０に送信すればよい。
端末３０が感情情報を生成するのではなく、サーバ装置１０が感情情報を生成してもよい。この場合、端末３０は、ウェアラブル端末２０から取得したバイタルデータや撮影により得られた顔画像をユーザＩＤと共にサーバ装置１０に送信すればよい。
【0123】
以上のように、第１の実施形態に係る感情解析システムでは、端末３０は、所持者（所有者）の顔画像を取得し、当該取得した顔画像とウェアラブル端末２０から取得したバイタルデータを用いて感情情報（感情スコア）を算出する。即ち、所持者の顔画像取得処理や当該所持者の個人的な情報（顔画像、バイタルデータ）を用いた感情スコアの算出処理は端末３０の内部で完結している。そのため、外部のサーバ装置１０等に上記個人的な情報が渡されることがない。従って、利用者の個人情報が的確に保護される。
【0124】
また、端末３０は、バイタルデータと顔画像を用いて利用者の感情分析（感情スコアの算出）を行うので、いずれか一方を使用した場合と比較して、より精度の高い分析を行うことができる。
【0125】
さらに、端末３０は、自装置に事前登録された顔情報（原本顔画像、原本特徴量）を使って撮影画像に写る顔画像が端末所持者の顔画像か否か判定する。その結果、所持者が席を外すことで他人が映り込んでしまった場合などでも、他人の顔画像を用いて感情分析（感情スコアの算出）が行われることもない。
【0126】
また、サーバ装置１０は、利用者のユーザＩＤ（例えば、メールアドレス）を使って利用者を識別し、各利用者の端末３０から取得した感情情報（感情スコアの時系列データ）を解析する。サーバ装置１０は、各参加者の感情情報を解析することで、セミナー主催者の業務改善等に役立つ情報を生成する。また、サーバ装置１０の解析処理は、感情スコアの平均値を算出する等の処理負荷の軽いものである。従って、セミナー参加者が大きく増えてもサーバ装置１０に過度な負荷が発生することもない。
【0127】
［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。
続いて、第２の実施形態について図面を参照して詳細に説明する。
【0128】
第１の実施形態では、端末３０に搭載されたカメラが各セミナー参加者（端末３０の所持者）を撮影することを説明した。第２の実施形態では、セミナーに参加した聴衆全体を撮影可能なカメラがセミナー参加者を撮影する場合について説明する。
【0129】
以下、第１の実施形態及び第２の実施形態の相違点を中心に説明する。
【0130】
第２の実施形態に係る感情解析システムは、図１６に示すように、カメラ装置４０を含む。カメラ装置４０は、セミナー会場の全体を俯瞰した画像を取得可能に設置されている。カメラ装置４０は、有線又は無線によりサーバ装置１０と接続されている。
【0131】
【0132】
参加者特定部３０６は、セミナー参加者の特定に関する制御を実行する手段である。
【0133】
第２の実施形態に係る端末３０（参加者登録制御部２０３）は、参加者登録の際、原本特徴量をサーバ装置１０に送信する。なお、利用者の明確な同意があれば、端末３０は、当該利用者の原本顔画像をサーバ装置１０に送信してもよい。原本顔画像を取得した場合、サーバ装置１０は、当該原本顔画像から原本特徴量を生成する。
【0134】
サーバ装置１０（参加者管理部３０２）は、生成した原本特徴量を参加者管理データベースに記憶する（図１８参照）。
【0135】
セミナーが開始されると、サーバ装置１０の参加者特定部３０６は、定期的又は所定のタイミングで、カメラ装置４０から画像データ（セミナー参加者の全員が写る画像データ）を取得する。
【0136】
参加者特定部３０６は、取得した画像データから顔画像を抽出する。例えば、セミナー参加者が１０人の場合には、１０個の顔画像が抽出される。
【0137】
参加者特定部３０６は、抽出した顔画像それぞれについて、対応するセミナー参加者の特定を行う。具体的には、参加者特定部３０６は、抽出した顔画像から特徴量を生成する。参加者特定部３０６は、生成した特徴量を照合側、参加者管理データベースに記憶された特徴量（原本特徴量）を登録側に設定し、１対Ｎ照合（Ｎは正の整数、以下同じ）を実行する。
【0138】
参加者特定部３０６は、照合対象の特徴量と登録側の複数の特徴量それぞれとの間の類似度を計算する。参加者特定部３０６は、参加者管理データベースに登録された複数の特徴量のうち、照合対象の特徴量との間の類似度が所定の値以上の特徴量が存在しなければ、照合処理に失敗したと判定する。
【0139】
参加者特定部３０６は、参加者管理データベースに登録された複数の特徴量のうち、照合対象の特徴量との間の類似度が所定の値以上の特徴量が存在すれば、照合処理に成功したと判定する。参加者特定部３０６は、類似度が最も高いエントリの参加者を照合対象の顔画像に対応する参加者に定める。
【0140】
１対Ｎ照合により顔画像に対応するセミナー参加者が特定されると、参加者特定部３０６は、当該特定された参加者が所持する端末３０に顔画像を送信する。具体的には、参加者特定部３０６は、特定された参加者のユーザＩＤ、顔画像及び顔画像取得時刻を含む「顔画像検出通知」を端末３０に送信する。
【0141】
参加者特定部３０６は、カメラ装置４０から取得した画像データに含まれる各顔画像について上記参加者特定処理と顔画像送信処理を繰り返す。
【0142】
端末３０の感情情報生成部２０６は、顔画像検出通知を受信する。感情情報生成部２０６は、受信した顔画像検出通知に含まれる顔画像とウェアラブル端末２０から取得したバイタルデータを用いて感情情報（感情スコア）を算出する。
【0143】
このように、サーバ装置１０は、カメラ装置４０から画像データを取得する。サーバ装置１０は、当該画像データに写る複数の顔画像それぞれについて、画像データから抽出された複数の顔画像と記憶された顔情報を使った１対Ｎ照合により、画像データに写る各顔画像に対応する利用者を特定する。サーバ装置１０は、特定した利用者の端末３０に、当該特定された利用者の顔画像を送信する。端末３０は、バイタルデータとサーバ装置１０から取得した顔画像を用いて、所持者の感情に関する感情情報を生成する。
【0144】
［システムの動作］
続いて、第２の実施形態に係る感情解析システムの動作について説明する。
続いて、第２の実施形態に係る感情解析システムの動作について説明する。
【0145】
図１９は、第２の実施形態に係る感情解析システムの動作の一例を示すシーケンス図である。図１９を参照し、第２の実施形態に係る感情解析システムの動作を説明する。なお、図１５と図１９において同一の処理には同一の符号（ステップ）を付与し、説明を省略する。
【0146】
サーバ装置１０は、カメラ装置４０から得られる画像データに写るセミナー参加者を特定する（ステップＳ１１）。
【0147】
サーバ装置１０は、特定したセミナー参加者の端末３０に対して、当該特定されたセミナー参加者の顔画像を含む顔画像検出通知を送信する（ステップＳ１２）。
【0148】
端末３０は、第１の実施形態と同様に、取得したバイタルデータと顔画像を用いて感情スコアを算出する（ステップＳ０３）。
【0149】
このように、第２の実施形態では、セミナー等の開始前に利用者の原本特徴量及びユーザＩＤがサーバ装置１０に送信される。サーバ装置１０は、原本特徴量とカメラ装置４０が撮影した画像データから得られる顔画像の特徴量を用いた１対Ｎ照合によりセミナー参加者を特定する。サーバ装置１０は、特定したセミナー参加者の端末３０（ユーザＩＤから特定される端末３０）に参加者の顔画像を送信する。
【0150】
＜第２の実施形態に係る変形例１＞
上記第２の実施形態では、参加者を特定するための１対Ｎ照合がサーバ装置１０で実行される場合について説明した。しかし、当該１対Ｎ照合は各セミナー参加者が所持する端末３０で実行されてもよい。
上記第２の実施形態では、参加者を特定するための１対Ｎ照合がサーバ装置１０で実行される場合について説明した。しかし、当該１対Ｎ照合は各セミナー参加者が所持する端末３０で実行されてもよい。
【0151】
この場合、参加者特定部３０６は、カメラ装置４０から取得した画像データを各セミナー参加者の端末３０に送信する。
【0152】
端末３０の顔画像取得部２０５は、サーバ装置１０から取得した画像データから顔画像を抽出する。例えば、セミナー参加者が１０人であれば１０個の顔画像が抽出される。
【0153】
顔画像取得部２０５は、抽出された各顔画像から特徴量を生成する。顔画像取得部２０５は、記憶部２０７に記憶された原本特徴量と上記生成された特徴量を使った照合処理を実行する。
【0154】
具体的には、顔画像取得部２０５は、原本特徴量を照合側、画像データから生成された特徴量を登録側に設定し、１対Ｎ照合を実行する。顔画像取得部２０５は、１対Ｎ照合により特定された特徴量に対応する顔画像（画像データから抽出された顔画像）を所持者の顔画像として扱う。
【0155】
顔画像取得部２０５は、１対Ｎ照合により特定された顔画像と顔画像取得時刻を記憶部２０７に記憶する。
【0156】
端末３０は、第１の実施形態等と同様に、バイタルデータと顔画像を用いた感情情報（感情スコア）の算出処理を行う。
【0157】
このように、サーバ装置１０は、カメラ装置４０から画像データを取得し、当該取得した画像データを複数の端末３０それぞれに送信する。複数の端末３０のそれぞれは、対応する所持者の顔画像を記憶している。また、各端末３０は、受信した画像データから抽出された複数の顔画像と記憶部２０７に記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により、画像データに写る複数の顔画像のなかから所持者の顔画像を特定する。端末３０は、当該特定した顔画像を用いて感情スコアを算出する。
【0158】
＜第２の実施形態に係る変形例２＞
上記第２の実施形態では、感情情報（感情スコア）の算出は端末３０で行われる場合について説明した。当該感情情報の算出は、サーバ装置１０で行われてもよい。
上記第２の実施形態では、感情情報（感情スコア）の算出は端末３０で行われる場合について説明した。当該感情情報の算出は、サーバ装置１０で行われてもよい。
【0159】
この場合、サーバ装置１０は、図２０に示すように、バイタルデータ処理部３０７及び感情情報生成部３０８を備える。なお、サーバ装置１０は、上記第１の実施形態等で説明した感情情報処理部３０３を具備しない。
【0160】
バイタルデータ処理部３０７は、端末３０から受信するバイタルデータに関する処理を行う手段である。感情情報生成部３０８は、第１の実施形態等で説明した端末３０の感情情報生成部２０６と同様に動作する。
【0161】
第２の実施形態に係る端末３０のバイタルデータ取得部２０４は、ウェアラブル端末２０からバイタルデータを取得すると、当該取得したバイタルデータをサーバ装置１０に送信する。
【0162】
例えば、バイタルデータ取得部２０４は、ウェアラブル端末２０からバイタルデータを取得するたびに、セミナー参加者のユーザＩＤ、取得したバイタルデータ及びバイタルデータ取得時刻を含むバイタルデータ通知をサーバ装置１０に送信する。
【0163】
バイタルデータ通知を受信したサーバ装置１０のバイタルデータ処理部３０７は、当該通知に含まれるユーザＩＤ、バイタルデータ及びバイタルデータ取得時刻を記憶する。
【0164】
感情情報生成部３０８は、参加者特定部３０６が特定したセミナー参加者の顔画像と端末３０から取得したバイタルデータを用いて感情情報（感情スコアの時系列データ）を算出する。
【0165】
なお、感情情報生成部３０８は、ユーザＩＤを用いて参加者特定部３０６が取得した顔画像と端末３０から取得したバイタルデータの対応付け（名寄せ）を行う。
【0166】
＜第２の実施形態に係る変形例３＞
上記説明した第２の実施形態に係るサーバ装置１０の一部機能はカメラ装置４０により実施されてもよい。
上記説明した第２の実施形態に係るサーバ装置１０の一部機能はカメラ装置４０により実施されてもよい。
【0167】
例えば、画像データから顔画像を抽出する処理や当該抽出された顔画像から特徴量を生成する処理はカメラ装置４０が実行してもよい。
【0168】
以上のように、第２の実施形態に係る感情解析システムは、会場全体を俯瞰した画像データの取得が可能なカメラ装置４０を含む。サーバ装置１０や端末３０は、当該カメラ装置４０から得られる画像データに写る顔画像から１対Ｎ認証により端末所持者を特定する。端末所持者の端末３０は、特定された顔画像を感情スコアの算出に用いる。その結果、机がないセミナー会場等であって、端末３０が利用者を撮影可能に設置することが困難な場合でも、利用者の感情スコアの算出や感情情報の解析が行うことができる。
【0169】
続いて、感情解析システムを構成する各装置のハードウェアについて説明する。図２１は、端末３０のハードウェア構成の一例を示す図である。
【0170】
端末３０は、情報処理装置（所謂、コンピュータ）により構成可能であり、図２１に例示する構成を備える。例えば、端末３０は、プロセッサ３１１、メモリ３１２、入出力インターフェイス３１３及び通信インターフェイス３１４等を備える。上記プロセッサ３１１等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。
【0171】
但し、図２１に示す構成は、端末３０のハードウェア構成を限定する趣旨ではない。端末３０は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス３１３を備えていなくともよい。また、端末３０に含まれるプロセッサ３１１等の数も図２１の例示に限定する趣旨ではなく、例えば、複数のプロセッサ３１１が端末３０に含まれていてもよい。さらに、端末３０は、被認証者を撮影するためのカメラを備えていればよい。
【0172】
プロセッサ３１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）等のプログラマブルなデバイスである。あるいは、プロセッサ３１１は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスであってもよい。プロセッサ３１１は、オペレーティングシステム（ＯＳ；Operating System）を含む各種プログラムを実行する。
【0173】
メモリ３１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。メモリ３１２は、ＯＳプログラム、アプリケーションプログラム、各種データを格納する。
【0174】
入出力インターフェイス３１３は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボード、マウス、タッチパネル等のユーザ操作を受け付ける装置である。
【0175】
通信インターフェイス３１４は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス３１４は、ＮＩＣ（Network Interface Card）等を備える。
【0176】
端末３０の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ３１２に格納されたプログラムをプロセッサ３１１が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transitory）なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
【0177】
なお、サーバ装置１０も端末３０と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成は端末３０と相違する点はないので説明を省略する。
【0178】
端末３０は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることで端末３０の機能が実現できる。また、端末３０は、当該プログラムにより端末３０の制御方法を実行する。同様に、サーバ装置１０は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることでサーバ装置１０の機能が実現できる。また、サーバ装置１０は、当該プログラムによりサーバ装置１０の制御方法を実行する。
【0179】
［変形例］
なお、上記実施形態にて説明した感情解析システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
なお、上記実施形態にて説明した感情解析システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
【0180】
上記実施形態では、映画館やセミナー会場のように同じ場所（同じ空間、所定の空間）で同じコンテンツが提供される場合を想定し、感情解析システムの動作を説明した。しかし、本願開示の感情解析システムは、オンラインセミナーのような異なる場所で同じコンテンツが提供される場合についても適用可能である。この場合、各セミナー参加者は、所有するウェアラブル端末２０を装着し、端末３０を自身の顔画像を撮影可能に設置すればよい。
【0181】
上記実施形態では、セミナー参加者を例にとり感情解析システムの説明を行った。しかし、感情解析システムは、他のイベント等の参加者を感情解析の対象としてもよい。例えば、映画の視聴者や会議の出席者等が感情解析の対象であってもよい。
【0182】
ウェアラブル端末２０は、利用者から取得したバイタルデータをリアルタイムに端末３０に送信してもよいし、所定期間に取得されたバイタルデータをまとめて端末３０に送信してもよい。
【0183】
ウェアラブル端末２０は、複数種類のバイタルデータを取得し、当該複数種類のバイタルデータを端末３０に送信してもよい。例えば、ウェアラブル端末２０は、脈拍と体温、脈拍と血圧といったような組み合わせのバイタルデータを端末３０に送信してもよい。
【0184】
複数種類のバイタルデータを取得した場合、端末３０は、バイタルデータごとに用意された学習モデルを用いて感情スコアを算出してもよい。端末３０は、バイタルデータごとの感情スコアに対する算術処理等によって利用者の感情スコアを算出してもよい。
【0185】
端末３０は、感情ごとのスコアを算出してもよい。例えば、端末３０は、ポジティブな感情をより細分化し、「楽しい」に関する楽しみスコア、「興奮」に関する興奮スコアを算出してもよい。あるいは、端末３０は、ネガティブな感情をより細分化し、「悲しみ」に関する悲しみスコア、「退屈」に関する退屈スコア等を算出してもよい。
【0186】
端末３０は、細分化された感情スコア（例えば、楽しみスコア、興奮スコア）をサーバ装置１０に送信してもよい。サーバ装置１０は、感情ごとの解析結果を算出してもよい。
【0187】
上記実施形態では、リアルタイムに感情スコアが算出される場合について説明したが、端末３０は、所定のタイミング等において、感情スコアをまとめて算出してもよい。例えば、端末３０は、セミナー終了後にまとめて感情スコアを算出してもよい。あるいは、端末３０は、セミナー参加者が感情情報を第三者（例えば、セミナー参加者）に提供することについて同意を与えた後に、感情スコアを算出してもよい。
【0188】
上記実施形態では、感情情報（感情スコアの時系列データ）はセミナー終了後にサーバ装置１０に送信されることを説明した。しかし、感情情報（感情スコアの時系列データ）はリアルタイムにサーバ装置１０に送信されてもよい。
【0189】
上記実施形態では、ウェアラブル端末２０は、端末３０にバイタルデータを送信する場合について説明した。セミナー参加者に配られた各ウェアラブル端末２０は、１つの装置（バイタルデータ収集装置）に対して集中的にバイタルデータを送信してもよい。例えば、ウェアラブル端末２０は、端末３０からユーザＩＤを取得し、当該ユーザＩＤと共に取得したバイタルデータをバイタルデータ収集装置に送信する。バイタルデータ収集装置は、取得したバイタルデータを端末３０やサーバ装置１０に送信する。
【0190】
サーバ装置１０は、各セミナー参加者の属性情報（例えば、性別、年齢）が得られる場合には、属性ごとの感情解析結果を算出してもよい。例えば、サーバ装置１０は、男性が面白いと感じた時間帯や女性が面白いと感じた時間帯等の情報をシステム管理者等に提供できる。
【0191】
サーバ装置１０は、セミナーを録画した動画データ等が得られる場合には、当該動画データを用いた感情解析結果をシステム管理者等に提供してもよい。例えば、サーバ装置１０は、１つの画面（ウィンドウ）で動画データを再生し、再生している時間帯の感情スコア（セミナー参加者の感情スコアの平均値）を別の画面で表示するような形態で解析結果をシステム管理者等に提示してもよい。
【0192】
上記実施形態では、サーバ装置１０の内部に参加者管理データベースが構成される場合について説明したが、当該データベースは外部のデータベースサーバ等に構築されてもよい。即ち、サーバ装置１０の一部の機能は別の装置に実装されていてもよい。より具体的には、上記説明した「感情解析部（感情解析手段）」等がシステムに含まれるいずれかの装置に実装されていればよい。
【0193】
各装置（端末３０、サーバ装置１０）間のデータ送受信の形態は特に限定されないが、これら装置間で送受信されるデータは暗号化されていてもよい。これらの装置間では、感情情報等が送受信され、これらの情報を適切に保護するためには、暗号化されたデータが送受信されることが望ましい。
【0194】
上記説明で用いた流れ図（フローチャート、シーケンス図）では、複数の工程（処理）が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
【0195】
上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
【0196】
上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、利用者の感情を正確に推定する必要がある感情解析システムなどに好適に適用可能である。
【0197】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含み、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する、バイタルデータ取得手段と、
前記所持者を撮影することで前記所持者の顔画像を取得する、顔画像取得手段と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信する、生成手段と、
を備え、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、システム。
［付記２］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
前記複数の利用者それぞれの顔情報を記憶する、サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、
前記画像データに写る複数の顔画像それぞれについて、前記画像データから抽出された複数の顔画像と前記記憶された顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る各顔画像に対応する利用者を特定し、
前記特定した利用者の端末に、前記特定された利用者の顔画像を送信し、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記サーバ装置から取得した顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
［付記３］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、前記取得した画像データを前記複数の端末それぞれに送信し、
前記複数の端末のそれぞれは、
所持者の顔画像を記憶し、
前記画像データから抽出された複数の顔画像と前記記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る複数の顔画像のなかから前記所持者の顔画像を特定し、
前記所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記特定された所持者の顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
［付記４］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含むシステムにおいて、
前記複数の端末のそれぞれが、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記所持者を撮影することで前記所持者の顔画像を取得し、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置が、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、方法。
［付記５］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末それぞれから、前記複数の端末それぞれが各所持者を撮影することで得られる顔画像と前記各所持者が装着しているウェアラブル端末から得られるバイタルデータを用いて生成された前記各所持者の感情に関する感情情報を含む感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、サーバ装置。
［付記６］
前記解析手段は、所定のタイミング又は所定の期間における、前記複数の利用者それぞれの感情が数値化された感情スコアの平均値を計算することで、前記解析結果を生成する、付記５に記載のサーバ装置。
［付記７］
端末に搭載されたコンピュータに、
自装置の所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する処理と、
前記所持者を撮影することで前記所持者の顔画像を取得する処理と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成する処理と、
前記生成された感情情報を含む感情情報通知をサーバ装置に送信する処理と、
を実行させるためのプログラム。
［付記８］
前記所持者の顔情報を記憶する処理と、
前記記憶された顔情報と前記撮影により得られた顔画像を用いた１対１照合を実行する処理と、
をさらに実行させ、
前記感情情報を生成する処理は、前記１対１照合に成功した前記撮影により得られた顔画像を用いて前記感情情報を生成する、付記７に記載のプログラム。
［付記９］
前記感情情報通知を前記サーバ装置に送信する処理は、前記感情情報を前記サーバ装置に送信することに対する前記所持者の同意が得られた場合に、前記感情情報通知を前記サーバ装置に送信する、付記８に記載のプログラム。
［付記１０］
前記感情情報を生成する処理は、機械学習により得られた学習モデルに前記取得されたバイタルデータと前記取得された顔画像を入力することで、前記所持者の感情を数値化した感情スコアを取得すると共に、前記感情スコアの時系列データを前記感情情報として生成する、付記７乃至９のいずれか一項に記載のプログラム。
［付記１］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含み、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する、バイタルデータ取得手段と、
前記所持者を撮影することで前記所持者の顔画像を取得する、顔画像取得手段と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信する、生成手段と、
を備え、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、システム。
［付記２］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
前記複数の利用者それぞれの顔情報を記憶する、サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、
前記画像データに写る複数の顔画像それぞれについて、前記画像データから抽出された複数の顔画像と前記記憶された顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る各顔画像に対応する利用者を特定し、
前記特定した利用者の端末に、前記特定された利用者の顔画像を送信し、
前記複数の端末のそれぞれは、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記サーバ装置から取得した顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
［付記３］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
前記複数の利用者を撮影可能に設置された、カメラ装置と、
サーバ装置と、
を含み、
前記サーバ装置は、
前記カメラ装置から画像データを取得し、前記取得した画像データを前記複数の端末それぞれに送信し、
前記複数の端末のそれぞれは、
所持者の顔画像を記憶し、
前記画像データから抽出された複数の顔画像と前記記憶された所持者の顔情報を使った１対Ｎ照合（Ｎは正の整数）により前記画像データに写る複数の顔画像のなかから前記所持者の顔画像を特定し、
前記所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記取得されたバイタルデータと前記特定された所持者の顔画像を用いて、前記所持者の感情に関する感情情報を生成し、
前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置は、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、システム。
［付記４］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末と、
サーバ装置と、
を含むシステムにおいて、
前記複数の端末のそれぞれが、
所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得し、
前記所持者を撮影することで前記所持者の顔画像を取得し、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成し、前記生成された感情情報を含む感情情報通知を前記サーバ装置に送信し、
前記サーバ装置が、
前記複数の端末それぞれから前記感情情報通知を受信し、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、方法。
［付記５］
同じコンテンツが提供される、複数の利用者それぞれが所持する、複数の端末それぞれから、前記複数の端末それぞれが各所持者を撮影することで得られる顔画像と前記各所持者が装着しているウェアラブル端末から得られるバイタルデータを用いて生成された前記各所持者の感情に関する感情情報を含む感情情報通知を受信する、受信手段と、
前記受信した感情情報通知それぞれに含まれる感情情報を解析し、前記複数の利用者全体の感情の変化を示す解析結果を生成する、解析手段と、
を備える、サーバ装置。
［付記６］
前記解析手段は、所定のタイミング又は所定の期間における、前記複数の利用者それぞれの感情が数値化された感情スコアの平均値を計算することで、前記解析結果を生成する、付記５に記載のサーバ装置。
［付記７］
端末に搭載されたコンピュータに、
自装置の所持者が装着しているウェアラブル端末から前記所持者のバイタルデータを取得する処理と、
前記所持者を撮影することで前記所持者の顔画像を取得する処理と、
前記取得されたバイタルデータと前記取得された顔画像を用いて、前記所持者の感情に関する感情情報を生成する処理と、
前記生成された感情情報を含む感情情報通知をサーバ装置に送信する処理と、
を実行させるためのプログラム。
［付記８］
前記所持者の顔情報を記憶する処理と、
前記記憶された顔情報と前記撮影により得られた顔画像を用いた１対１照合を実行する処理と、
をさらに実行させ、
前記感情情報を生成する処理は、前記１対１照合に成功した前記撮影により得られた顔画像を用いて前記感情情報を生成する、付記７に記載のプログラム。
［付記９］
前記感情情報通知を前記サーバ装置に送信する処理は、前記感情情報を前記サーバ装置に送信することに対する前記所持者の同意が得られた場合に、前記感情情報通知を前記サーバ装置に送信する、付記８に記載のプログラム。
［付記１０］
前記感情情報を生成する処理は、機械学習により得られた学習モデルに前記取得されたバイタルデータと前記取得された顔画像を入力することで、前記所持者の感情を数値化した感情スコアを取得すると共に、前記感情スコアの時系列データを前記感情情報として生成する、付記７乃至９のいずれか一項に記載のプログラム。
【0198】
なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
【符号の説明】
【0199】
１０ サーバ装置
２０ ウェアラブル端末
３０ 端末
４０ カメラ装置
１０１ 端末
１０２ サーバ装置
１１１ バイタルデータ取得手段
１１２ 顔画像取得手段
１１３ 生成手段
１２１ 受信手段
１２２ 解析手段
２０１ 通信制御部
２０２ 原本顔画像管理部
２０３ 参加者登録制御部
２０４ バイタルデータ取得部
２０５ 顔画像取得部
２０６ 感情情報生成部
２０７ 記憶部
３０１ 通信制御部
３０２ 参加者管理部
３０３ 感情情報処理部
３０４ 感情解析部
３０５ 記憶部
３０６ 参加者特定部
３０７ バイタルデータ処理部
３０８ 感情情報生成部
３１１ プロセッサ
３１２ メモリ
３１３ 入出力インターフェイス
３１４ 通信インターフェイス
２０ ウェアラブル端末
３０ 端末
４０ カメラ装置
１０１ 端末
１０２ サーバ装置
１１１ バイタルデータ取得手段
１１２ 顔画像取得手段
１１３ 生成手段
１２１ 受信手段
１２２ 解析手段
２０１ 通信制御部
２０２ 原本顔画像管理部
２０３ 参加者登録制御部
２０４ バイタルデータ取得部
２０５ 顔画像取得部
２０６ 感情情報生成部
２０７ 記憶部
３０１ 通信制御部
３０２ 参加者管理部
３０３ 感情情報処理部
３０４ 感情解析部
３０５ 記憶部
３０６ 参加者特定部
３０７ バイタルデータ処理部
３０８ 感情情報生成部
３１１ プロセッサ
３１２ メモリ
３１３ 入出力インターフェイス
３１４ 通信インターフェイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】