特許 7278972 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、情報処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-12

(45)【発行日】2023-05-22

(54)【発明の名称】表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、情報処理方法、及び、プログラム

(51)【国際特許分類】

   G06Q 30/0201 20230101AFI20230515BHJP

   G10L 15/00 20130101ALI20230515BHJP

【ＦＩ】

G06Q30/0201

G10L15/00 200Z

【請求項の数】 12

(21)【出願番号】P 2019567964

(86)(22)【出願日】2019-01-09

(86)【国際出願番号】 JP2019000335

(87)【国際公開番号】W WO2019146405

(87)【国際公開日】2019-08-01

【審査請求日】2021-11-11

(31)【優先権主張番号】P 2018010593

(32)【優先日】2018-01-25

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】230116816

【弁護士】

【氏名又は名称】成川 弘樹

(74)【代理人】

【識別番号】100146123

【弁理士】

【氏名又は名称】木本 大介

(72)【発明者】

【氏名】川添 寛子

(72)【発明者】

【氏名】平尾 直靖

【審査官】関 博文

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０３６５２７２（ＵＳ，Ａ１）

【文献】米国特許第０８２３５７２５（ＵＳ，Ｂ１）

【文献】特開２００６－０１２１７１（ＪＰ，Ａ）

【文献】米国特許第０８２１９４３８（ＵＳ，Ｂ１）

【文献】特開２０１６－０２４５９９（ＪＰ，Ａ）

【文献】特開２００３－０３０４６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ１０Ｌ １５／００

(57)【特許請求の範囲】

【請求項1】

商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段を備え、
前記商品に関する商品情報を特定する手段を備え、
前記商品情報が特定された場合、前記第１画像を解析する手段を備え、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段を備え、
前記解析する手段は、前記第１画像と、前記第２ユーザの顔の第２画像と、を解析する、情報処理装置。

【請求項2】

前記第１動画像は、前記商品の画像を含み、
前記特定する手段は、前記取得された第１動画像に含まれる商品の画像に基づいて、前記商品情報を特定する、請求項１に記載の情報処理装置。

【請求項3】

商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段を備え、
前記商品に関する商品情報を特定する手段を備え、
前記商品情報が特定された場合、前記第１画像を解析する手段を備え、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段を備え、
前記取得する手段は、前記第１ユーザが発した商品情報を含む第１音声と、前記第２ユーザの第２音声と、を取得し、
前記特定する手段は、前記取得された第１音声に基づいて前記商品情報を特定し、
前記解析する手段は、前記第１音声及び前記第２音声を更に解析する、
情報処理装置。

【請求項4】

商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段を備え、
前記商品に関する商品情報を特定する手段を備え、
前記商品情報が特定された場合、前記第１画像を解析する手段を備え、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段を備え、
前記第１ユーザの生体に関する第１生体情報と、前記第２ユーザの第２生体情報と、を取得する手段を備え、
前記計算する手段は、前記解析の結果と、前記取得された第１生体情報及び第２生体情報と、に基づいて、前記反応スコアを計算する、
情報処理装置。

【請求項5】

商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段を備え、
前記商品に関する商品情報を特定する手段を備え、
前記商品情報が特定された場合、前記第１画像を解析する手段を備え、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段を備え、
前記解析の結果に基づいて、前記商品を見ている第１ユーザの顔の傾きと、前記第２ユーザの顔の傾きと、を判定する手段を備え、
前記計算する手段は、前記傾きを参照して、前記反応スコアを計算する、情報処理装置。

【請求項6】

商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段を備え、
前記商品に関する商品情報を特定する手段を備え、
前記商品情報が特定された場合、前記第１画像を解析する手段を備え、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段を備え、
前記計算する手段は、前記第１ユーザの顔の画像の解析結果に第１重み付け係数を適用し、前記第２ユーザの顔の画像の解析結果に第２重み付け係数を適用することにより、前記反応スコアを計算し、
前記第１重み付け係数は、前記第２重み付け係数より大きい、
情報処理装置。

【請求項7】

コンピュータが、
商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得するステップを実行し、
前記商品に関する商品情報を特定するステップを実行し、
前記商品情報が特定された場合、前記第１画像を解析するステップを実行し、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算するステップを実行し、
前記解析するステップは、前記第１画像と、前記第２ユーザの顔の第２画像と、を解析する、情報処理方法。

【請求項8】

コンピュータが、
商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得するステップを実行し、
前記商品に関する商品情報を特定するステップを実行し、
前記商品情報が特定された場合、前記第１画像を解析するステップを実行し、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算するステップを実行し、
前記取得するステップは、前記第１ユーザが発した商品情報を含む第１音声と、前記第２ユーザの第２音声と、を取得し、
前記特定するステップは、前記取得された第１音声に基づいて前記商品情報を特定し、
前記解析するステップは、前記第１音声及び前記第２音声を更に解析する、
情報処理方法。

【請求項9】

コンピュータが、
商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得するステップを実行し、
前記商品に関する商品情報を特定するステップを実行し、
前記商品情報が特定された場合、前記第１画像を解析するステップを実行し、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算するステップを実行し、
前記第１ユーザの生体に関する第１生体情報と、前記第２ユーザの第２生体情報と、を取得するステップを実行し、
前記計算するステップは、前記解析の結果と、前記取得された第１生体情報及び第２生体情報と、に基づいて、前記反応スコアを計算する、
情報処理方法。

【請求項10】

コンピュータが、
商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得するステップを実行し、
前記商品に関する商品情報を特定するステップを実行し、
前記商品情報が特定された場合、前記第１画像を解析するステップを実行し、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算するステップを実行し、
前記解析の結果に基づいて、前記商品を見ている第１ユーザの顔の傾きと、前記第２ユーザの顔の傾きと、を判定するステップを実行し、
前記計算するステップは、前記傾きを参照して、前記反応スコアを計算する、情報処理方法。

【請求項11】

コンピュータが、
商品を所有する第１ユーザの顔の第１画像を含む第１動画像と、前記第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得するステップを実行し、
前記商品に関する商品情報を特定するステップを実行し、
前記商品情報が特定された場合、前記第１画像を解析するステップを実行し、
前記解析の結果に基づいて、前記商品に対する第１ユーザの反応に関する指標である反応スコアを計算するステップを実行し、
前記計算するステップは、前記第１ユーザの顔の画像の解析結果に第１重み付け係数を適用し、前記第２ユーザの顔の画像の解析結果に第２重み付け係数を適用することにより、前記反応スコアを計算し、
前記第１重み付け係数は、前記第２重み付け係数より大きい、
情報処理方法。

【請求項12】

コンピュータを、請求項１～請求項６の何れかに記載の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、及び、プログラムに関する。

【背景技術】

【0002】

一般に、商品に関する市場調査では、消費者に対するアンケートを用いて商品に対する評価を集計している。多数の消費者からの回答を得ることにより、商品に対する評価の精度の向上が期待できる。

【0003】

特開２００３－３０８４１５号公報は、ユーザ端末及びサーバを備えるシステムを用いて、多くのアンケート結果を容易に取得する技術を開示している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、商品に対する評価は、客観性を有することが好ましい。
しかし、特開２００３－３０８４１５号公報のアンケート結果には、消費者の主観が反映される。そのため、アンケート結果から得られる評価は、商品に対する客観性を有していない。

【0005】

本発明の目的は、商品に対する客観的な評価の指標を得ることである。

【課題を解決するための手段】

【0006】

本発明の一態様は、
ユーザの表情に関する表情情報を取得する手段を備え、
商品に関する商品情報を特定する手段を備え、
前記商品情報が特定された場合、前記表情情報に基づいて前記表情の変化を解析する手段を備え、
前記解析の結果に基づいて、前記商品に対する前記ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理装置である。

【発明の効果】

【0007】

本発明によれば、商品に対するユーザの客観的な評価の指標を得ることができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の情報処理システムの概略図である。

【図2】第１実施形態の情報処理システムの構成を示すブロック図である。

【図3】第１実施形態の概要の説明図である。

【図4】第１実施形態のユーザ情報データベースのデータ構造を示す図である。

【図5】第１実施形態の商品情報データベースのデータ構造を示す図である。

【図6】第１実施形態の情報処理のシーケンス図である。

【図7】図６の情報処理において表示される画面例を示す図である。

【図8】図６の情報処理において表示される画面例を示す図である。

【図9】第２実施形態の概要の説明図である。

【図10】第２実施形態の情報処理のシーケンス図である。

【図11】図１０の情報処理において表示される画面例を示す図である。

【図12】図１０の情報処理において表示される画面例を示す図である。

【図13】第２実施形態の変形例１の情報処理において表示される画面例を示す図である。

【図14】第３実施形態の概要の説明図である。

【図15】第３実施形態の情報処理のシーケンス図である。

【図16】図１５の情報処理において表示される画面例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0010】

（１）第１実施形態
第１実施形態について説明する。

【0011】

（１－１）情報処理システムの構成
第１実施形態の情報処理システムの構成について説明する。図１は、第１実施形態の情報処理システムの概略図である。図２は、第１実施形態の情報処理システムの構成を示すブロック図である。

【0012】

図１及び図２に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

【0013】

クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。

【0014】

サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。

【0015】

（１－１－１）クライアント装置の構成
クライアント装置１０の構成について説明する。

【0016】

図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４と、ディスプレイ１５と、カメラ１６と、音声入出力装置１７と、を備える。

【0017】

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0018】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

【0019】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

【0020】

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。

【0021】

入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。

【0022】

通信インタフェース１４は、クライアント装置１０とサーバ３０との間の通信を制御するように構成される。

【0023】

ディスプレイ１５は、画像を表示するように構成される。ディスプレイ１５は、例えば、以下の何れかである。
・液晶ディスプレイ
・有機ＥＬ（Electro Luminescence）ディスプレイ

【0024】

カメラ１６は、画像を撮像し、且つ、撮像した画像の画像データを生成するように構成される。カメラ１６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有する。

【0025】

音声入出力装置１７は、音声の入出力を行うように構成される。音声入出力装置１７は、音声を入力するマイク、及び、音声を出力するスピーカの組合せである。

【0026】

（１－１－２）サーバの構成
サーバ３０の構成について説明する。

【0027】

図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

【0028】

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0029】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

【0030】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

【0031】

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。

【0032】

入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

【0033】

通信インタフェース３４は、サーバ３０とクライアント装置１０との間の通信を制御するように構成される。

【0034】

（１－２）第１実施形態の概要
第１実施形態の概要について説明する。図３は、第１実施形態の概要の説明図である。

【0035】

図３に示すように、クライアント装置１０は、ユーザの表情に関する表情情報（例えば、動画像又は表情筋筋電図）を取得する。

【0036】

クライアント装置１０は、評価の対象となる商品に関する商品情報を特定する。
クライアント装置１０は、商品情報の特定に成功した場合、表情情報を解析することにより、ユーザの表情の変化に関する指標である表情変化指標を計算する。
クライアント装置１０は、解析によって得られた表情変化指標に基づいて、商品に対するユーザの反応に関する指標である反応スコアを計算する。

【0037】

このように、クライアント装置１０は、商品情報を特定することができた場合、ユーザの表情の変化に基づいて、商品に対するユーザの反応スコアを計算する。
これにより、商品に対する客観的な評価の指標を得ることができる。

【0038】

（１－３）データベース
第１実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

【0039】

（１－３－１）ユーザ情報データベース
第１実施形態のユーザ情報データベースについて説明する。図４は、第１実施形態のユーザ情報データベースのデータ構造を示す図である。

【0040】

図４のユーザ情報データベースには、ユーザに関するユーザ情報が格納される。
ユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。

【0041】

「ユーザＩＤ」フィールドには、ユーザを識別するユーザＩＤが格納される。

【0042】

「ユーザ名」フィールドには、ユーザの名称に関する情報（例えば、テキスト）が格納される。

【0043】

「ユーザ属性」フィールドには、ユーザの属性に関するユーザ属性情報が格納される。
「ユーザ属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、を含む。

【0044】

「性別」フィールドには、ユーザの性別に関する情報が格納される。

【0045】

「年齢」フィールドには、ユーザの年齢に関する情報が格納される。

【0046】

（１－３－２）商品情報データベース
第１実施形態の商品情報データベースについて説明する。図５は、第１実施形態の商品情報データベースのデータ構造を示す図である。

【0047】

図５の商品情報データベースには、商品に関する商品情報が格納される。
商品情報データベースは、「商品ＩＤ」フィールドと、「商品名」フィールドと、「商品画像」フィールドと、「特徴パターン」フィールドと、「商品属性」フィールドと、「反応スコア」フィールドと、を含む。各フィールドは、互いに関連付けられている。

【0048】

「商品ＩＤ」フィールドには、商品を識別する商品ＩＤが格納される。

【0049】

「商品名」フィールドには、商品の名称に関する情報（例えば、テキスト）が格納される。

【0050】

「商品画像」フィールドには、商品（例えば、商品本体、商品のパッケージ、及び、商品の使用状態の少なくとも１つ）の画像情報が格納される。

【0051】

「特徴パターン」フィールドには、商品の画像上の特徴のパターンに関する情報が格納される。

【0052】

「商品属性」フィールドには、商品の属性に関する商品属性情報が格納される。
「商品属性」フィールドは、「種類」フィールドと、「メーカ」フィールドと、を含む。

【0053】

「種類」フィールドには、商品の種類（例えば、口紅、又は、化粧水）に関する情報が格納される。

【0054】

「メーカ」フィールドには、商品の製造者に関する情報（例えば、製造者名を示すテキスト）が格納される。

【0055】

「反応スコア」フィールドには、商品に対するユーザの反応のレベルを示す数値（以下「反応スコア」という）が格納される。
「反応スコア」フィールドは、「全体平均」フィールドと、「属性平均」フィールドと、を含む。

【0056】

「全体平均」フィールドには、全ユーザの反応スコアの平均値が格納される。

【0057】

「属性平均」フィールドには、ユーザ属性毎の反応スコアの平均値が格納される。
「属性平均」フィールドは、「性別」フィールドと、「年齢」フィールドと、を含む。

【0058】

「性別」フィールドには、性別毎の反応スコアの平均値が格納される。

【0059】

「年齢」フィールドには、年齢毎の反応スコアの平均値が格納される。

【0060】

（１－４）情報処理
第１実施形態の情報処理について説明する。図６は、第１実施形態の情報処理のシーケンス図である。図７～図８は、図６の情報処理において表示される画面例を示す図である。

【0061】

図６に示すように、クライアント装置１０は、ログインリクエスト（Ｓ１００）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１００（図７）をディスプレイ１５に表示する。

【0062】

画面Ｐ１００は、ボタンオブジェクトＢ１００と、フィールドオブジェクトＦ１００と、を含む。
フィールドオブジェクトＦ１００は、ユーザＩＤの入力を受け付けるオブジェクトである。
ボタンオブジェクトＢ１００は、ログインのためのユーザ指示を受け付けるオブジェクトである。

【0063】

ユーザが、フィールドオブジェクトＦ１００にユーザＩＤを入力し、且つ、ボタンオブジェクトＢ１００を操作すると、プロセッサ１２は、ログインリクエストデータをサーバ３０に送信する。
ログインリクエストデータは、フィールドオブジェクトＦ１００に入力されたユーザＩＤを含む。

【0064】

ステップＳ１００の後、サーバ３０は、ログイン認証（Ｓ３００）を実行する。
具体的には、プロセッサ３２は、ログインリクエストデータに含まれるユーザＩＤがユーザ情報データベース（図４）に含まれる場合、ログインを認証するためのログインレスポンスデータをクライアント装置１０に送信する。

【0065】

ステップＳ３００の後、クライアント装置１０は、表情情報の取得（Ｓ１０１）を実行する。

【0066】

ステップＳ１０１の第１例として、プロセッサ１２は、ログインレスポンスデータを受信すると、画面Ｐ１０１（図７）をディスプレイ１５に表示する。

【0067】

画面Ｐ１０１は、表示オブジェクトＡ１０１と、ボタンオブジェクトＢ１０１と、を含む。
表示オブジェクトＡ１０１には、カメラ１６が撮像した画像が表示される。カメラ１６が撮像した画像は、ユーザの顔の画像ＩＭＧ１０１ａと、商品の画像ＩＭＧ１０１ｂと、を含む。
ボタンオブジェクトＢ１０１は、ビデオデータの取得のためのユーザ指示を受け付けるオブジェクトである。

【0068】

ユーザがボタンオブジェクトＢ１０１を操作すると、プロセッサ１２は、ビデオデータ（「表情情報」の一例）を生成し、且つ、当該ビデオデータを記憶装置１１に記憶する。ビデオデータは、カメラ１６によって撮像された動画像と、音声入出力装置１７によって入力された音声と、を含む。

【0069】

ステップＳ１０１の第２例として、クライアント装置１０は、計測装置に接続されている。計測装置は、例えば、ユーザの顔に装着される電極から表情筋の動きに関する表情筋信号を取得するように構成される。プロセッサ１２は、計測装置から表情筋信号を取得する。

【0070】

ステップＳ１０１の後、クライアント装置１０は、商品の特定（Ｓ１０２）を実行する。

【0071】

ステップＳ１０２の第１例として、プロセッサ１２は、ユーザ指示（例えば、ディスプレイ１５に表示された画面に含まれるフィールドオブジェクトに対する商品情報）に基づいて、商品の商品ＩＤを特定する。

【0072】

ステップＳ１０２の第２例として、プロセッサ１２は、ステップＳ１０１で取得したビデオデータに含まれる商品の画像ＩＭＧ１０１ｂに対して特徴量解析を適用することにより、画像ＩＭＧ１０１ｂの特徴量を抽出する。
プロセッサ１２は、抽出した特徴量と、商品情報データベース（図５）の「特徴パターン」フィールドの情報と、を比較することにより、画像ＩＭＧ１０１ｂが表す商品の商品ＩＤを特定する。

【0073】

ステップＳ１０２の第３例として、ユーザが商品情報（例えば、商品名）の音声を発すると、音声入出力装置１７は、ユーザが発した音声を入力する。
プロセッサ１２は、音声入出力装置１７によって入力された音声を解析することにより、商品名を特定する。
プロセッサ１２は、商品情報データベース（図５）を参照して、特定した商品名に関連付けられた商品ＩＤを特定する。

【0074】

ステップＳ１０２の後、クライアント装置１０は、ステップＳ１０１で得られた表情情報に対して、表情解析（Ｓ１０３）を実行する。

【0075】

ステップＳ１０３の第１例として、プロセッサ１２は、ステップＳ１０１で取得したビデオデータに含まれる顔の画像ＩＭＧ１０１ａに対して、顔面動作符号化システム（以下「ＦＡＣＳ」（Facial Action Coding System）という）理論に基づく画像解析を実行することにより、顔の部位毎に、動きの変化のレベルに関するアクションユニット情報を生成する。このアクションユニット情報は、商品に対するユーザの表情の変化を示す表情変化指標の一例である。

【0076】

ステップＳ１０３の第２例として、プロセッサ１２は、ステップＳ１０１で取得した表情筋信号から、表情筋筋電図（「表情変化指標」の一例）を生成する。

【0077】

ステップＳ１０３の後、クライアント装置１０は、ステップＳ１０３で得られた表情変化指標に基づいて、感情の推定（Ｓ１０４）を実行する。

【0078】

ステップＳ１０４の第１例としては、プロセッサ１２は、各部位のアクションユニット情報を、感情を推定するための感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。
感情情報は、例えば、以下の情報を含む。
・感情の種類（一例として、喜び、悲しみ、怒り、驚き、恐怖、又は、苛立ち）に関する情報
・感情の強度に関する情報

【0079】

ステップＳ１０４の第２例としては、記憶装置１１には、表情筋筋電図とユーザの感情との関係を示す基準情報が記憶されている。プロセッサ１２は、表情筋筋電図と、記憶装置１１に記憶された基準情報と、を対比することにより、ユーザの感情に関する感情情報を推定する。

【0080】

ステップＳ１０４の第３例としては、プロセッサ１２は、アクションユニット情報から推定した感情情報と、表情筋筋電図から推定した感情情報と、に所定のアルゴリズムを適用することにより、アクションユニット情報及び表情筋筋電図の両方に基づく感情情報を推定する。

【0081】

ステップＳ１０４の後、クライアント装置１０は、ステップＳ１０４で得られた表情変化指標に基づいて、反応スコアの計算（Ｓ１０５）を実行する。
具体的には、プロセッサ１２は、商品情報データベース（図５）を参照して、ステップＳ１０２で特定した商品ＩＤに関連付けられた商品名に関する情報を特定する。
プロセッサ１２は、ステップＳ１０４で推定した感情情報（つまり、ユーザの表情の変化から得られる感情情報）を、反応スコアの計算式に適用することにより、反応スコアを計算する。
プロセッサ１２は、ステップＳ１０４で推定した感情情報、及び、ステップＳ１０５で計算した反応スコアに基づく画面Ｐ１０２（図８）をディスプレイ１５に表示する。

【0082】

画面Ｐ１０２は、表示オブジェクトＡ１０１、Ａ１０２ａ、及びＡ１０２ｂと、ボタンオブジェクトＢ１０２と、を含む。
表示オブジェクトＡ１０１は、画面Ｐ１０１（図７）と同様である。
表示オブジェクトＡ１０２ａには、グラフ画像ＩＭＧ１０２が表示される。グラフ画像ＩＭＧ１０２は、感情の種類（例えば、喜び（ＨＡＰＰＹ）及び悲しみ（ＳＡＤ））毎に、ビデオデータを構成する画像フレーム（Ｆ）毎の感情情報（ＥＭＯＴＩＯＮ ＬＥＶＥＬ）の推移（つまり、商品に対するユーザの感情の時系列変化）を示している。
表示オブジェクトＡ１０２ｂには、ステップＳ１０２で特定した商品情報と、ステップＳ１０５で計算した反応スコアと、が表示される。
ボタンオブジェクトＢ１０２は、更新リクエスト（Ｓ１０６）を実行させるためのユーザ指示を受け付けるオブジェクトである。

【0083】

ステップＳ１０５の後、クライアント装置１０は、更新リクエスト（Ｓ１０６）を実行する。
具体的には、ユーザがボタンオブジェクトＢ１０２を操作すると、プロセッサ１２は、更新リクエストデータをサーバ３０に送信する。
更新リクエストデータは、以下の情報を含む。
・ステップＳ１０２で特定された商品ＩＤ
・ステップＳ１０５で計算された反応スコア

【0084】

ステップＳ１０６の後、サーバ３０は、データベースの更新（Ｓ３０１）を実行する。
具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤに関連付けられたユーザ属性情報を特定する。
プロセッサ３２は、商品情報データベース（図５）を参照して、更新リクエストデータに含まれる商品ＩＤに関連付けられたレコード（以下「更新対象レコード」という）を特定する。
プロセッサ３２は、更新対象レコードの「反応スコア」フィールドの値を以下のとおり更新する。
・「全体平均」フィールドでは、更新リクエストデータに含まれる反応スコアに基づいて、平均値が更新される。
・「属性平均」フィールドでは、更新リクエストデータに含まれる反応スコアと、特定したユーザ属性情報と、に基づいて平均値が更新される。

【0085】

本実施形態によれば、ユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標を得ることができる。

【0086】

（２）第２実施形態
第２実施形態について説明する。第２実施形態は、会話中のユーザの表情の変化に基づいて、商品に対するユーザの反応スコアを取得する例である。

【0087】

（２－１）第２実施形態の概要
第２実施形態の概要について説明する。図９は、第２実施形態の概要の説明図である。

【0088】

図９に示すように、クライアント装置１０－１は、ユーザＡの顔を含む動画像をサーバ３０に送信する。クライアント装置１０－２は、ユーザＢの顔を含む動画像をサーバ３０に送信する。これにより、クライアント装置１０－１のユーザＡ、及び、クライアント装置１０－２のユーザＢは、サーバ３０を介して、ビデオ通話を行う。

【0089】

商品を所有するユーザＡが、クライアント装置１０－１を用いて、自身の顔を含む動画像を撮影すると、サーバ３０は、評価の対象となる商品に関する商品情報を特定する。
サーバ３０は、商品情報の特定に成功した場合、動画像に含まれるユーザＡの顔の画像を解析する。
サーバ３０は、解析の結果に基づいて、商品に対するユーザＡの反応に関する指標である反応スコアを計算する。

【0090】

このように、サーバ３０は、商品を所有するユーザＡと、ユーザＢとの会話中に、ユーザＡの顔の画像の解析の結果に基づいて、当該商品に対するユーザＡの反応スコアを計算する。

【0091】

これにより、商品についてユーザＢと会話しているユーザＡの商品に対する客観的な評価の指標を得ることができる。

【0092】

（２－２）情報処理
第２実施形態の情報処理について説明する。図１０は、第２実施形態の情報処理のシーケンス図である。図１１～図１２は、図１０の情報処理において表示される画面例を示す図である。

【0093】

図１０に示すように、クライアント装置１０－１及び１０－２は、第１実施形態（図６）と同様に、ログインリクエスト（Ｓ１００）を実行する。
ステップＳ１００の後、サーバ３０は、第１実施形態と同様に、ログイン認証（Ｓ３００）を実行する。

【0094】

ステップＳ３００の後、クライアント装置１０－１及び１０－２は、サーバ３０を介して、ビデオ通話シーケンス（Ｓ３１０）を開始する。
具体的には、クライアント装置１０－１のプロセッサ１２は、ユーザＡの顔を含む動画像をサーバ３０に送信する。プロセッサ３２は、この動画像をクライアント装置１０－２に送信する。
クライアント装置１０－２のプロセッサ１２は、ユーザＢの顔を含む動画像をサーバ３０に送信する。プロセッサ３２は、この動画像をクライアント装置１０－１に送信する。

【0095】

クライアント装置１０－１のプロセッサ１２は、ディスプレイ１５に画面Ｐ１１０－１（図１１Ａ）を表示する。
画面Ｐ１１０－１は、表示オブジェクトＡ１１０－１ａ～Ａ１１０－１ｂを含む。
表示オブジェクトＡ１１０－１ａには、クライアント装置１０－１のカメラ１６が撮像した画像が表示される。このカメラ１６が撮像した画像は、ユーザＡの顔の画像ＩＭＧ１１０－１ａと、商品の画像ＩＭＧ１１０－１ｂと、を含む。
表示オブジェクトＡ１１０－１ｂには、クライアント装置１０－２から送信された動画像が表示される。この動画像は、クライアント装置１０－２のユーザＢの顔の画像ＩＭＧ１１０－１ｃを含む。

【0096】

クライアント装置１０－２のプロセッサ１２は、ディスプレイ１５に画面Ｐ１１０－２（図１１Ｂ）を表示する。
画面Ｐ１１０－２は、表示オブジェクトＡ１１０－２ａ～Ａ１１０－２ｂを含む。
表示オブジェクトＡ１１０－２ａには、クライアント装置１０－２のカメラ１６が撮像した画像が表示される。このカメラ１６が撮像した画像は、ユーザＢの顔の画像ＩＭＧ１１０－２ａを含む。
表示オブジェクトＡ１１０－２ｂには、クライアント装置１０－１から送信された動画像が表示される。この動画像は、クライアント装置１０－１のユーザＡの顔の画像ＩＭＧ１１０－２ｂと、商品の画像ＩＭＧ１１０－２ｃと、を含む。

【0097】

ステップＳ３１０の後、サーバ３０は、商品の特定（Ｓ３１１）を実行する。

【0098】

ステップＳ３１１の第１例として、プロセッサ１２は、ユーザ指示（例えば、ディスプレイ１５に表示された画面に含まれるフィールドオブジェクトに対する商品情報）をサーバ３０に送信する。
プロセッサ３２は、プロセッサ１２によって送信されたユーザ指示に基づいて、商品の商品ＩＤを特定する。

【0099】

ステップＳ３１１の第２例として、プロセッサ３２は、ステップＳ３１０で取得したビデオデータに含まれる商品の画像ＩＭＧ１１０－１ｂに対して、特徴量解析を適用することにより、画像ＩＭＧ１１０－１ｂの特徴量を抽出する。
プロセッサ３２は、抽出した特徴量と、商品情報データベース（図５）の「特徴パターン」フィールドの情報とを比較することにより、画像ＩＭＧ１１０－１ｂが表す商品の商品ＩＤを特定する。

【0100】

ステップＳ３１１の第３例として、ユーザが商品情報（例えば、商品名）の音声を発すると、音声入出力装置１７は、ユーザが発した音声を入力する。
プロセッサ１２は、音声入出力装置１７によって入力された音声をサーバ３０に送信する。
プロセッサ３２は、プロセッサ１２によって送信された音声を解析することにより、商品名を特定する。
プロセッサ３２は、商品情報データベース（図５）を参照して、特定した商品名に関連付けられた商品ＩＤを特定する。

【0101】

ステップＳ３１１の後、サーバ３０は、顔画像解析（Ｓ３１２）を実行する。
具体的には、プロセッサ３２は、ステップＳ３１０で取得したビデオデータに含まれる顔の画像ＩＭＧ１１０－１ａに対して、ＦＡＣＳ理論に基づく画像解析を実行することにより、ユーザＡの顔の部位毎に、動きの変化のレベルに関するアクションユニット情報を生成する。

【0102】

ステップＳ３１２の後、サーバ３０は、感情の推定（Ｓ３１３）を実行する。
具体的には、プロセッサ３２は、ユーザＡの各部位のアクションユニット情報を、感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザＡの感情に関する感情情報を推定する。

【0103】

ステップＳ３１３の後、サーバ３０は、反応スコアの計算（Ｓ３１４）を実行する。
具体的には、プロセッサ３２は、商品情報データベース（図５）を参照して、ステップＳ３１１で特定した商品ＩＤに関連付けられた商品名に関する情報を特定する。
プロセッサ３２は、ステップＳ３１３で推定したユーザＡの感情情報（つまり、ビデオデータを構成する全ての画像フレームに対応する感情情報）を、反応スコアの計算式に適用することにより、ユーザＡの反応スコアを計算する。
プロセッサ３２は、計算した反応スコアに関する情報を、クライアント装置１０－１及び１０－２に送信する。

【0104】

ステップＳ３１４の後、クライアント装置１０－１及び１０－２は、反応スコアの提示（Ｓ１１０）を実行する。
具体的には、プロセッサ１２は、ステップＳ３１４においてサーバ３０から送信された反応スコアに基づく画面Ｐ１１２（図１２）をディスプレイ１５に表示する。

【0105】

画面Ｐ１１２は、画面Ｐ１１０－１（図１１）と同様のオブジェクト（表示オブジェクトＡ１１０－１ａ及びＡ１１０－１ｂ）に加えて、表示オブジェクトＡ１１２ａ～１１２ｂと、ボタンオブジェクトＢ１１２と、を含む。
表示オブジェクトＡ１１２ａには、グラフ画像ＩＭＧ１１２ａが表示される。グラフ画像ＩＭＧ１１２ａは、ユーザＡの感情の種類（例えば、喜び（ＨＡＰＰＹ）及び悲しみ（ＳＡＤ））毎に、ビデオデータを構成する画像フレーム（Ｆ）毎の感情情報（ＥＭＯＴＩＯＮ ＬＥＶＥＬ）の推移（つまり、商品に対するユーザＡの感情の時系列変化）を示している。
表示オブジェクトＡ１１２ｂには、ユーザＡの反応スコアが表示される。
ボタンオブジェクトＢ１１２は、動画の撮影を終了するためのユーザ指示を受け付けるオブジェクトである。

【0106】

ステップＳ１１０の後、クライアント装置１０－１は、更新リクエスト（Ｓ１１２）を実行する。
具体的には、ユーザＡがボタンオブジェクトＢ１１２を操作すると、プロセッサ１２は、更新リクエストデータをサーバ３０に送信する。

【0107】

ステップＳ１１２の後、サーバ３０は、データベースの更新（Ｓ３１５）を実行する。
具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤに関連付けられたユーザ属性情報を特定する。
プロセッサ３２は、商品情報データベース（図５）を参照して、ステップＳ３１１で特定した商品ＩＤに関連付けられたレコード（以下「更新対象レコード」という）を特定する。
プロセッサ３２は、更新対象レコードの「反応スコア」フィールドの値を以下のとおり更新する。
・「全体平均」フィールドでは、ステップＳ３１４で計算した反応スコアに基づいて、平均値が更新される。
・「属性平均」フィールドでは、ステップＳ３１４で計算した反応スコアと、特定したユーザ属性情報と、に基づいて平均値が更新される。

【0108】

人の感情は、他人との会話中により強く現れる。第２実施形態によれば、ユーザＢと商品について会話するユーザＡの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザＡの客観的な評価の指標の精度を向上させることができる。

【0109】

（２－３）第２実施形態の変形例
第２実施形態の変形例について説明する。

【0110】

（２－３－１）第２実施形態の変形例１
第２実施形態の変形例１について説明する。第２実施形態の変形例１では、会話中のユーザの両方の反応スコアを計算する。図１３は、第２実施形態の変形例１の情報処理において表示される画面例を示す図である。

【0111】

第２実施形態の変形例１のプロセッサ３２は、ステップＳ３１２において、ユーザＡの反応スコアと、ユーザＢの反応スコアと、を計算する。

【0112】

第２実施形態の変形例１のプロセッサ１２は、ステップＳ１１０において、画面Ｐ１１４（図１３）をディスプレイ１５に表示する。

【0113】

画面Ｐ１１４は、画面Ｐ１１２（図１２）と同様のオブジェクトに加えて、表示オブジェクトＡ１１４ａ～Ａ１１４ｂを含む。
表示オブジェクトＡ１１４ａには、グラフ画像ＩＭＧ１１４ａが表示される。グラフ画像ＩＭＧ１１４ａは、ユーザＢの感情の種類（例えば、喜び（ＨＡＰＰＹ）及び悲しみ（ＳＡＤ））毎に、ビデオデータを構成する画像フレーム（Ｆ）毎の感情情報（ＥＭＯＴＩＯＮ ＬＥＶＥＬ）の推移（つまり、商品に対するユーザＡの感情の時系列変化）を示している。
表示オブジェクトＡ１１４ｂには、ユーザＢの反応スコアが表示される。

【0114】

（２－３－２）第２実施形態の変形例２
第２実施形態の変形例２について説明する。第２実施形態の変形例２では、会話中のユーザのうち、商品を所有するユーザの表情を優先して、反応スコアを計算する。

【0115】

第２実施形態の変形例２のプロセッサ３２は、ステップＳ３１２において、以下の何れかに該当するユーザ（つまり、商品への関心が相対的に高いユーザ）を第１ユーザとして特定し、第１ユーザ以外のユーザを第２ユーザとして特定する。
・商品情報を指定したユーザ
・ビデオデータに商品の画像が含まれるクライアント装置１０のユーザ
・商品情報の音声を最初に発したユーザ

【0116】

記憶装置３１に記憶された感情推定式は、第１ユーザのための第１重み付け係数と、第２ユーザのための第２重み付け係数と、を含む。第１重み付け係数は、第２重み付け係数より大きい。つまり、この感情推定式では、第１ユーザの表情を第２ユーザより重視して、反応スコアが計算される。

【0117】

プロセッサ３２は、ステップＳ３１２において、第１ユーザの第１アクションユニット情報と、第２ユーザの第２アクションユニット情報と、を生成する。

【0118】

プロセッサ３２は、ステップＳ３１３において、第１アクションユニット情報及び第２アクションユニット情報を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、感情情報を推定する。この場合、第１アクションユニット情報は第１重み付け係数に適用される。第２アクションユニット情報は第２重み付け係数に適用される。

【0119】

第２実施形態の変形例２によれば、複数のユーザの顔の表情の変化に基づいて反応スコアを計算する場合において、商品を所有するユーザＡの表情を重視する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0120】

（３）第３実施形態
第３実施形態について説明する。第３実施形態は、仮想的な人物（以下「アバタ」という）との会話中のユーザの表情の変化に基づいて、商品に対するユーザの反応スコアを取得する例である。

【0121】

（３－１）第３実施形態の概要
第３実施形態の概要について説明する。図１４は、第３実施形態の概要の説明図である。

【0122】

図１４に示すように、クライアント装置１０のユーザは、クライアント装置１０を用いて商品の動画像を撮影し、且つ、アバタとの会話を行う。

【0123】

クライアント装置１０は、評価の対象となる商品に関する商品情報を特定する。
クライアント装置１０は、商品情報の特定に成功した場合、動画像に含まれるユーザの顔の画像を解析する。
クライアント装置１０は、解析の結果に基づいて、商品に対するユーザの反応に関する指標である反応スコアを計算する。

【0124】

このように、クライアント装置１０は、商品情報を特定することができた場合、アバタと会話するユーザの顔の画像の解析の結果に基づいて、当該商品情報に対応する商品に対するユーザの反応スコアを計算する。
これにより、商品に対する客観的な評価の指標を得ることができる。

【0125】

（３－２）情報処理
第３実施形態の情報処理について説明する。図１５は、第３実施形態の情報処理のシーケンス図である。図１６は、図１５の情報処理において表示される画面例を示す図である。

【0126】

図１５に示すように、クライアント装置１０は、第１実施形態（図６）と同様に、ログインリクエスト（Ｓ１００）を実行する。
ステップＳ１００の後、サーバ３０は、第１実施形態と同様に、ログイン認証（Ｓ３００）を実行する。

【0127】

ステップＳ３００の後、クライアント装置１０は、アバタの提示（Ｓ１２０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１２０をディスプレイ１５（図１６）に表示する。

【0128】

画面Ｐ１２０は、画面Ｐ１０１（図７）と同様のオブジェクトに加えて、表示オブジェクトＡ１２０を含む。
表示オブジェクトＡ１２０には、アバタの画像ＩＭＧ１２０が表示される。アバタは、ユーザに対する問いかけ（例えば「どんな商品？」という質問のテキスト及び音声の少なくとも１つ）を提示する。

【0129】

ステップＳ１２０の後、クライアント装置１０は、ビデオデータの取得（Ｓ１２１）を実行する。
具体的には、ユーザがボタンオブジェクトＢ１０１を操作し、且つ、アバタの問いかけに対して回答（例えば、回答に関するテキスト及び音声の少なくとも１つ）の入力を行うと、プロセッサ１２は、ビデオデータを生成し、且つ、当該ビデオデータ及び回答に関する情報を記憶装置１１に記憶する。ビデオデータは、カメラ１６によって撮像された動画像と、音声入出力装置１７によって入力された音声と、を含む。

【0130】

ステップＳ１２１の後、クライアント装置１０は、第１実施形態（図６）と同様に、ステップＳ１０２～Ｓ１０６を実行する。
ステップＳ１０６の後、サーバ３０は、第１実施形態と同様に、ステップＳ３０１を実行する。

【0131】

人の感情は、他人との会話中により強く現れる。第３実施形態によれば、他のユーザが存在しなくても、アバタと商品について会話するユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0132】

（４）変形例
本実施形態の変形例について説明する。

【0133】

（４－１）変形例１
変形例１について説明する。変形例１は、表情の変化及び音声を考慮して反応スコアを計算する例である。

【0134】

変形例１を第１実施形態に適用する場合、プロセッサ１２は、ステップＳ１０４において、ビデオデータに含まれる音声の特徴量を抽出する。
プロセッサ１２は、アクションユニット情報と、音声の特徴量と、を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。

【0135】

変形例１によれば、表情の変化及び音声を考慮して反応スコアを計算するので、顔画像解析のみを用いる場合よりも反応スコアの精度を向上させることができる。

【0136】

変形例１は、第２実施形態及び第３実施形態にも適用可能である。

【0137】

（４－２）変形例２
変形例２ついて説明する。変形例２は、表情の変化及び生体情報を考慮して反応スコアを計算する例である。

【0138】

変形例２では、ユーザは、生体情報を計測可能な計測装置を装着している。生体情報は、例えば、以下の少なくとも１つを含む。
・心拍数
・脳波
・体温
・ストレスホルモンの値

【0139】

変形例２を第１実施形態に適用する場合、プロセッサ１２は、ステップＳ１０４において、計測装置から生体情報を取得する。
プロセッサ１２は、アクションユニット情報と、生体情報と、を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。

【0140】

変形例２によれば、表情の変化及び生体情報を考慮して反応スコアを計算するので、顔画像解析のみを用いる場合よりも反応スコアの精度を向上させることができる。

【0141】

変形例２は、第２実施形態及び第３実施形態にも適用可能である。

【0142】

（４－３）変形例３
変形例３について説明する。変形例３は、表情の変化及び顔の傾きを考慮して、反応スコアを計算する例である。

【0143】

変形例３を第１実施形態に適用する場合、プロセッサ１２は、ステップＳ１０３において、アクションユニット情報に加えて、顔の傾きの変化量に関する傾き情報を生成する。
プロセッサ１２は、ステップＳ１０４において、アクションユニット情報と、傾き情報と、を感情推定式に適用することにより、ビデオデータを構成する画像フレーム毎に、ユーザの感情に関する感情情報を推定する。

【0144】

変形例３によれば、表情の変化及び顔の傾きを考慮して反応スコアを計算するので、顔画像解析のみを用いる場合よりも反応スコアの精度を向上させることができる。

【0145】

変形例３は、第２実施形態及び第３実施形態にも適用可能である。

【0146】

（４－４）変形例４
変形例４について説明する。変形例４は、ユーザの顔の画像を含む静止画像に基づいて、反応スコアを計算する例である。

【0147】

変形例４のプロセッサ１２は、ステップＳ１０１においてビデオデータを生成した場合、ステップＳ１０３において、ビデオデータを構成する画像フレームから、所定条件を満たす画像フレームを抽出する。

【0148】

所定条件を満たす画像フレームは、例えば、以下の何れかである。
・ボタンオブジェクトＢ１０２が操作された時点の画像フレーム
・ビデオデータを構成する画像フレームのうち、表情の変化量が最も大きい画像フレーム
・ビデオデータを構成する画像フレームのうち、ユーザが指定した画像フレーム（例えば、ユーザが「自身の感情がもっとも表れている」と感じた画像の画像フレーム）

【0149】

プロセッサ１２は、所定条件を満たす画像フレームに対して、特徴量解析を適用することにより、ユーザの感情に関する感情情報を推定する。

【0150】

なお、変形例４では、ステップＳ１０１は省略可能である。この場合、クライアント装置１０は、ステップＳ１０１に変えて、ユーザの顔の画像を含む静止画像を取得する。

【0151】

変形例４によれば、静止画像の解析結果に基づいて反応スコアを計算する。これにより、静止画像（つまり、ある時点の表情）からでも、商品に対するユーザの客観的な評価の指標を得ることができる。

【0152】

（５）本実施形態の小括
本実施形態について小括する。

【0153】

本実施形態の第１態様は、
ユーザの表情に関する表情情報を取得する手段（例えば、ステップＳ１０１を実行するプロセッサ１２）を備え、
商品に関する商品情報を特定する手段（例えば、ステップＳ１０２を実行するプロセッサ１２）を備え、
商品情報が特定された場合、表情情報に基づいて表情の変化を解析する手段（例えば、ステップＳ１０３を実行するプロセッサ１２）を備え、
解析の結果に基づいて、商品に対するユーザの反応に関する指標である反応スコアを計算する手段（例えば、ステップＳ１０４を実行するプロセッサ１２）を備える、
情報処理装置（例えば、クライアント装置１０）である。

【0154】

第１態様によれば、ユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標を得ることができる。

【0155】

本実施形態の第２態様は、
取得する手段は、ユーザの顔の画像を含む動画像、及び、ユーザの表情筋筋電図の少なくとも１つを取得する、
情報処理装置である。

【0156】

本実施形態の第３態様は、
取得する手段は、商品の画像を含む動画像を更に取得し、
特定する手段は、取得された動画像に含まれる商品の画像に基づいて、商品情報を特定する、
情報処理装置である。

【0157】

本実施形態の第４態様は、
少なくとも１人のユーザが発した商品情報を含む音声を取得する手段（例えば、音声入出力装置１７）を備え、
特定する手段は、取得された音声に基づいて商品情報を特定する、
情報処理装置である。

【0158】

本実施形態の第５態様は、
解析する手段は、音声を更に解析する、
情報処理装置である。

【0159】

第５態様によれば、ユーザの顔の画像に加えて、ユーザの音声の解析結果を考慮して反応スコアが計算される。これにより、反応スコアの精度を向上させることができる。

【0160】

本実施形態の第６態様は、
ユーザの生体に関する生体情報 を取得する手段を備え、
計算する手段は、解析の結果と、取得された生体情報と、に基づいて、反応スコアを計算する、
情報処理装置である。

【0161】

第６態様によれば、ユーザの顔の画像に加えて、ユーザの生体情報を考慮して反応スコアが計算される。これにより、反応スコアの精度を向上させることができる。

【0162】

本実施形態の第７態様は、
解析の結果に基づいて、商品を見ているユーザの顔の傾きを判定する手段を備え、
計算する手段は、傾きを参照して、反応スコアを計算する、
情報処理装置である。

【0163】

第７態様によれば、ユーザの顔の画像に加えて、ユーザの顔の傾きを考慮して反応スコアが計算される。これにより、反応スコアの精度を向上させることができる。

【0164】

本実施形態の第８態様は、
仮想ユーザのアバタ画像、ユーザに対する質問を含むテキストメッセージ、及び、ユーザに対する質問を含む音声メッセージの少なくとも１つをユーザに提示する手段（例えば、ステップＳ１２０を実行するプロセッサ１２）を備え、
解析する手段は、提示のときの動画像に含まれる顔を解析する、
情報処理装置である。

【0165】

第８態様によれば、他のユーザが存在しなくても、アバタと商品について会話するユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0166】

本実施形態の第９態様は、
商品を使用する第１ユーザの顔の第１画像を含む第１動画像と、第１ユーザと対話する第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ３２）を備え、
商品に関する商品情報を特定する手段（例えば、ステップＳ３１１を実行するプロセッサ３２）を備え、
商品情報が特定された場合、第１画像を解析する手段（例えば、ステップＳ３１２を実行するプロセッサ３２）を備え、
解析の結果に基づいて、商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段（例えば、ステップＳ３１４を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。

【0167】

第９態様によれば、ユーザＢと商品について会話するユーザＡの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザＡの客観的な評価の指標の精度を向上させることができる。

【0168】

本実施形態の第１０態様は、
解析する手段は、第１画像と、第２ユーザの顔の第２画像と、を解析する、
情報処理装置である。

【0169】

第１０態様によれば、複数のユーザの表情の変化に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0170】

本実施形態の第１１態様は、
第１動画像は、商品の画像を含み、
特定する手段は、取得された第１動画像に含まれる商品の画像に基づいて、商品情報を特定する、
情報処理装置である。

【0171】

本実施形態の第１２態様は、
取得する手段は、第１ユーザが発した商品情報を含む第１音声と、第２ユーザの第２音声と、を取得し、
特定する手段は、取得された第１音声に基づいて商品情報を特定する、
情報処理装置である。

【0172】

本実施形態の第１３態様は、
解析する手段は、第１音声及び第２音声を更に解析する、
情報処理装置である。

【0173】

第１３態様によれば、複数のユーザの表情及び音声に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0174】

本実施形態の第１４態様は、
第１ユーザの生体に関する第１生体情報と、第２ユーザの第２生体情報と、を取得する手段を備え、
計算する手段は、解析の結果と、取得された第１生体情報及び第２生体情報と、に基づいて、反応スコアを計算する、
情報処理装置である。

【0175】

第１４態様によれば、複数のユーザの表情及び生体情報に基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0176】

本実施形態の第１５態様は、
解析の結果に基づいて、商品を見ている第１ユーザの顔の傾きと、第２ユーザの顔の傾きと、を判定する手段を備え、
計算する手段は、傾きを参照して、反応スコアを計算する、
情報処理装置である。

【0177】

第１５態様によれば、複数のユーザの表情及び顔の傾きに基づいて、反応スコアを計算する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0178】

本実施形態の第１６態様は、
計算する手段は、第１ユーザの顔の画像の解析結果に第１重み付け係数を適用し、第２ユーザの顔の画像の解析結果に第２重み付け係数を適用することにより、反応スコアを計算し、
第１重み付け係数は、第２重み付け係数より大きい、
情報処理装置である。

【0179】

第１６態様によれば、複数のユーザの顔の表情の変化に基づいて反応スコアを計算する場合において、商品を所有するユーザの表情を重視する。これにより、商品に対するユーザの客観的な評価の指標の精度を向上させることができる。

【0180】

本実施形態の第１７態様は、
商品を所有する第１ユーザが使用する第１クライアント装置１０－１と、第１ユーザと対話する第２ユーザが使用する第２クライアント装置１０－２と、第１クライアント装置１０－１と第２クライアント装置１０－２との間のビデオ通話シーケンス（Ｓ３１０）を実行するサーバ３０と、を備える情報処理システム１であって、
第１クライアント装置１０－１は、第１ユーザの顔の第１画像を含む第１動画像を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ１２）を備え、
第２クライアント装置１０－２は、第２ユーザの顔の第２画像を含む第２動画像と、を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ１２）を備え、
サーバ３０は、
第１動画像及び第２動画像を取得する手段（例えば、ステップＳ３１０を実行するプロセッサ１２）を備え、
商品に関する商品情報を特定する手段（例えば、ステップＳ３１１を実行するプロセッサ１２）を備え、
商品情報が特定された場合、第１動画像に含まれる顔の画像を解析する手段（例えば、ステップＳ３１２を実行するプロセッサ１２）を備え、
解析の結果に基づいて、商品に対する第１ユーザの反応に関する指標である反応スコアを計算する手段（例えば、ステップＳ３１４を実行するプロセッサ１２）を備える、情報処理システム１である。

【0181】

本実施形態の第１８態様は、
ユーザの顔の画像を含む静止画像を取得する手段を備え、
商品に関する商品情報を特定する手段を備え、
商品情報が特定された場合、前記静止画像を解析する手段を備え、
解析の結果に基づいて、前記商品に対する前記ユーザの反応に関する指標である反応スコアを計算する手段を備える、
情報処理装置である。

【0182】

第１８態様によれば、ある時点のユーザの表情に基づいて、反応スコアを計算する。これにより、静止画像からでも、商品に対するユーザの客観的な評価の指標を得ることができる。

【0183】

本実施形態の第１９態様は、
コンピュータ（例えば、プロセッサ１２）を、上記各手段として機能させるためのプログラムである。

【0184】

（６）その他の変形例

【0185】

記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

【0186】

上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。

【0187】

画面Ｐ１０２（図８）の表示オブジェクトＡ１０２ａ及びＡ１０２ｂ、並びに、画面Ｐ１１２（図１２）の表示オブジェクトＡ１１２ａ及びＡ１１２ｂは、省略可能である。
表示オブジェクトＡ１０２ａ及びＡ１０２ｂを省略する場合、ステップＳ１０６（図６）も省略される。この場合、クライアント装置１０は、ステップＳ１０５の後、ユーザ指示を受け付けることなく、更新リクエストデータをサーバ３０に送信する。
表示オブジェクトＡ１１２ａ及びＡ１１２ｂを省略する場合、ステップＳ１１０及びＳ１１２（図１０）も省略される。この場合、サーバ３０は、ステップＳ３１４の後、クライアント装置１０との通信を行わずに、ステップＳ３１５を実行する。
これにより、測定中に感情情報及び反応スコアを示すことによる測定への影響（例えば、感情情報及び反応スコアの客観性の毀損）を防ぐことができる。

【0188】

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

【符号の説明】

【0189】

１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：ディスプレイ
１６ ：カメラ
１７ ：音声入出力装置
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】