特許 7565077 情報処理装置、情報処理方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-02

(45)【発行日】2024-10-10

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理システム

(51)【国際特許分類】

   G06Q 30/0201 20230101AFI20241003BHJP

   G06Q 30/06 20230101ALI20241003BHJP

   G07G 1/12 20060101ALI20241003BHJP

【ＦＩ】

G06Q30/0201

G06Q30/06

G07G1/12 361Z

【請求項の数】 12

(21)【出願番号】P 2020206148

(22)【出願日】2020-12-11

(65)【公開番号】P2022093063

(43)【公開日】2022-06-23

【審査請求日】2023-09-12

(73)【特許権者】

【識別番号】520490783

【氏名又は名称】株式会社Ｗｅａｖｌｉｎｘ

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】田中 慎也

【審査官】庄司 琴美

(56)【参考文献】

【文献】特開２０１６－０２４５９９（ＪＰ，Ａ）

【文献】特開２０２０－０３８５６２（ＪＰ，Ａ）

【文献】特開２０１８－１９５０１７（ＪＰ，Ａ）

【文献】特開２０２０－０８６８０８（ＪＰ，Ａ）

【文献】特開２０１５－１６４０２０（ＪＰ，Ａ）

【文献】特開２０１６－１７３７３５（ＪＰ，Ａ）

【文献】国際公開第２０２０／１１０２１１（ＷＯ，Ａ１）

【文献】特開２０１６－０６６１４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０７Ｇ １／１２

(57)【特許請求の範囲】

【請求項1】

商品又は前記商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得する取得部と、
前記撮像画像において、前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記ユーザの挙動を特定する特定部と、
前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記挙動に基づいて、前記ユーザが前記商品に対して有する関心の程度を示す関心度を算出する算出部と、
を有する、情報処理装置。

【請求項2】

前記取得部は、前記商品を展示するための施設に設けられた前記カメラが前記ユーザを撮像することによって生成された前記撮像画像を取得する、
請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、前記ユーザが使用するユーザ端末が備える前記カメラが、前記ユーザ端末に表示された前記商品を展示するためのコンテンツを閲覧している前記ユーザを撮像することによって生成された前記撮像画像を取得する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記特定部は、前記撮像画像において、前記ユーザが前記商品又は前記商品情報を見たと検出した時間又は回数と、前記ユーザが前記商品又は前記商品情報を見ていた間のまばたきを検出した回数と、前記ユーザが前記商品を触ったと検出した時間又は回数と、のうち少なくとも１つを、前記挙動として特定する、
請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記関心度が所定条件を満たす前記商品の部分又は前記商品情報の部分を示す情報を、前記商品に関連付けられた情報端末に通知する出力部をさらに有する、
請求項１から４のいずれか一項に記載の情報処理装置。

【請求項6】

同一の施設又はコンテンツにおいて展示される複数の前記商品のうち、第１の商品に対する前記関心度に対応する情報と、第２の商品に対する前記関心度に対応する情報とを、当該施設又は当該コンテンツに関連付けて、前記商品に関連付けられた情報端末に通知する出力部をさらに有する、
請求項１から４のいずれか一項に記載の情報処理装置。

【請求項7】

複数の前記商品それぞれに対する前記関心度に基づいて、前記ユーザが関心を有する前記商品の属性を抽出する抽出部と、
前記抽出部が抽出した前記属性に対応する情報を、前記商品に関連付けられた情報端末に出力する出力部と、
をさらに有する、
請求項１から４のいずれか一項に記載の情報処理装置。

【請求項8】

前記特定部は、前記ユーザが前記商品を購入したか否かを示す購入情報に基づいて、前記ユーザが前記商品を購入するか否かに影響する前記挙動を購入挙動として特定し、
前記算出部は、前記挙動及び前記購入挙動に基づいて、前記商品とは異なる商品に対する前記関心度を算出する、
請求項１から７のいずれか一項に記載の情報処理装置。

【請求項9】

前記取得部は、前記撮像画像と、前記商品又は前記商品情報を見ているユーザが発した音声とを取得し、
前記特定部は、前記撮像画像及び前記音声における前記挙動を特定する、
請求項１から８のいずれか一項に記載の情報処理装置。

【請求項10】

プロセッサが実行する、
商品又は前記商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得するステップと、
前記撮像画像において、前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記ユーザの挙動を特定するステップと、
前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記挙動に基づいて、前記ユーザが前記商品に対して有する関心の程度を示す関心度を算出するステップと、
を有する、情報処理方法。

【請求項11】

情報処理装置と、前記情報処理装置と通信可能な情報端末と、を含む情報処理システムであって、
前記情報処理装置は、
商品又は前記商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得する取得部と、
前記撮像画像において、前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記ユーザの挙動を特定する特定部と、
前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記挙動に基づいて、前記ユーザが前記商品に対して有する関心の程度を示す関心度を算出する算出部と、
を有し、
前記情報端末は、前記関心度に対応する情報を表示する、
情報処理システム。

【請求項12】

前記情報端末は、前記関心度を算出するために用いられた前記撮像画像を提供した施設又はコンテンツに関連付けられた人に対して所定の報酬を支払うための支払情報を出力する、
請求項１１に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの商品に対する関心に関する情報を提供する情報処理装置、情報処理方法及び情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、店舗に陳列された商品に付されたＩＣ（Integrated Circuit）を用いて、ユーザが商品を手に取ったか否かを検出するとともに、ユーザの店舗内の移動経路を検出することによって、ユーザが購入しなかった商品を特定するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－３４８６８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

商品の生産者や販売者において、商品の企画や販促のために、ユーザがどのような商品にどの程度の関心を持っているかを把握することが求められている。特許文献１に開示されているシステムでは、店舗に陳列された商品のうちユーザが購入した商品とユーザが購入しなかった商品とを知ることはできるものの、ユーザの商品に対する関心の程度を知ることはできない。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、商品の生産者又は販売者がユーザの商品に対する関心の程度を把握できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の情報処理装置は、商品又は前記商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得する取得部と、前記撮像画像における前記ユーザの挙動を特定する特定部と、前記挙動に基づいて、前記ユーザが前記商品に対して有する関心の程度を示す関心度を算出する算出部と、を有する。

【0007】

前記取得部は、前記商品を展示するための施設に設けられた前記カメラが前記ユーザを撮像することによって生成された前記撮像画像を取得してもよい。

【0008】

前記取得部は、前記ユーザが使用するユーザ端末が備える前記カメラが、前記ユーザ端末に表示された前記商品を展示するためのコンテンツを閲覧している前記ユーザを撮像することによって生成された前記撮像画像を取得してもよい。

【0009】

前記特定部は、前記撮像画像において、前記ユーザが前記商品又は前記商品情報を見たと検出した時間又は回数と、前記ユーザが前記商品又は前記商品情報を見ていた間のまばたきを検出した回数と、前記ユーザが前記商品を触ったと検出した時間又は回数と、のうち少なくとも１つを、前記挙動として特定してもよい。

【0010】

前記特定部は、前記撮像画像において、前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記挙動を特定し、前記算出部は、前記商品又は前記商品情報の中で前記ユーザが見た部分又は触った部分ごとに、前記挙動に基づいて前記関心度を算出してもよい。

【0011】

前記情報処理装置は、前記関心度が所定条件を満たす前記商品の部分又は前記商品情報の部分を示す情報を、前記商品に関連付けられた情報端末に通知する出力部をさらに有してもよい。

【0012】

前記情報処理装置は、同一の施設又はコンテンツにおいて展示される複数の前記商品のうち、第１の商品に対する前記関心度に対応する情報と、第２の商品に対する前記関心度に対応する情報とを、当該施設又は当該コンテンツに関連付けて、前記商品に関連付けられた情報端末に通知する出力部をさらに有してもよい。

【0013】

前記情報処理装置は、複数の前記商品それぞれに対する前記関心度に基づいて、前記ユーザが関心を有する前記商品の属性を抽出する抽出部をさらに有してもよい。

【0014】

前記特定部は、前記ユーザが前記商品を購入したか否かを示す購入情報に基づいて、前記ユーザが前記商品を購入するか否かに影響する前記挙動を購入挙動として特定し、前記算出部は、前記挙動及び前記購入挙動に基づいて、前記商品とは異なる商品に対する前記関心度を算出してもよい。

【0015】

前記取得部は、前記撮像画像と、前記商品又は前記商品情報を見ているユーザが発した音声とを取得し、前記特定部は、前記撮像画像及び前記音声における前記挙動を特定してもよい。

【0016】

本発明の第２の態様の情報処理方法は、プロセッサが実行する、商品又は前記商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得するステップと、前記撮像画像における前記ユーザの挙動を特定するステップと、前記挙動に基づいて、前記ユーザが前記商品に対して有する関心の程度を示す関心度を算出するステップと、を有する。

【0017】

本発明の第３の態様の情報処理システムは、情報処理装置と、前記情報処理装置と通信可能な情報端末と、を含む情報処理システムであって、前記情報処理装置は、商品又は前記商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得する取得部と、前記撮像画像における前記ユーザの挙動を特定する特定部と、前記挙動に基づいて、前記ユーザが前記商品に対して有する関心の程度を示す関心度を算出する算出部と、を有し、前記情報端末は、前記関心度に対応する情報を表示する。

【0018】

前記情報端末は、前記関心度を算出するために用いられた前記撮像画像を提供した施設又はコンテンツに関連付けられた人に対して所定の報酬を支払うための支払情報を出力してもよい。

【発明の効果】

【0019】

本発明によれば、商品の生産者又は販売者がユーザの商品に対する関心の程度を把握できるという効果を奏する。

【図面の簡単な説明】

【0020】

【図1】情報処理システムの概要を示す図である。

【図2】情報処理システムのブロック図である。

【図3】例示的な撮像画像を示す図である。

【図4】商品又は商品情報の中でユーザが見た部分又は触った部分ごとに関心度を算出する方法を説明するための模式図である。

【図5】ユーザが関心を有する商品の属性を抽出する方法を説明するための模式図である。

【図6】管理端末が表示している例示的な関心情報の模式図である。

【図7】情報処理装置が実行する情報処理方法のフローチャートを示す図である。

【図8】関心度を算出するための規則に購入情報を反映する方法を説明するための模式図である。

【発明を実施するための形態】

【0021】

［情報処理システムの概要］
図１は、本実施形態に係る情報処理システムの概要を示す図である。情報処理システムは、情報処理装置１と、施設端末２と、ユーザ端末３と、管理端末４と、を備える。情報処理システムは、その他のサーバ、端末等の機器を含んでもよい。

【0022】

情報処理装置１は、商品又は商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像に基づいてユ－ザの挙動を特定し、特定した挙動に基づいてユーザの商品に対する関心の程度を示す関心度を算出するコンピュータである。ユーザは、商品を展示するための施設を訪問する人間、又は商品を展示するためのＷｅｂサイト等のコンテンツを閲覧する人間である。施設又はコンテンツにおいて、商品は展示されるだけでなく、販売されてもよい。

【0023】

施設端末２は、商品を展示するための店舗や空間等の施設に設けられたコンピュータ等の情報端末であり、例えばスマートフォン、タブレット端末又はパーソナルコンピュータである。施設端末２は、施設で展示されている商品の近傍に設置され、又は施設内のユーザによって持ち運ばれる。施設端末２は、商品に関する商品情報を表示するとともに、商品又は商品情報の近傍にいるユーザを撮像する。施設端末２は、液晶ディスプレイ等の表示部と、タッチパネル等の操作部と、カメラ等の撮像部と、を有する。施設端末２は、情報処理装置１との間で通信によって情報を送受信する。

【0024】

ユーザ端末３は、ユーザが利用するコンピュータ等の情報端末であり、例えばスマートフォン、タブレット端末又はパーソナルコンピュータである。ユーザ端末３は、インターネット等のネットワークを介して商品を展示するためのＷｅｂサイト等のコンテンツを表示するとともに、商品に関する商品情報を含むコンテンツを表示しているユーザ端末３のユーザを撮像する。ユーザ端末３は、液晶ディスプレイ等の表示部と、タッチパネル等の操作部と、カメラ等の撮像部と、を有する。ユーザ端末３は、情報処理装置１との間で通信によって情報を送受信する。

【0025】

管理端末４は、商品の生産者又は販売者が利用するコンピュータ等の情報端末であり、例えばスマートフォン、タブレット端末又はパーソナルコンピュータである。管理端末４は、情報処理装置１から受信した様々な情報を表示する。管理端末４は、液晶ディスプレイ等の表示部と、タッチパネル等の操作部と、を有する。管理端末４は、情報処理装置１との間で通信によって情報を送受信する。

【0026】

本実施形態に係る情報処理システムが実行する処理の概要を以下に説明する。情報処理装置１は、商品又は商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得する（１）。撮像画像は、例えば、施設端末２のカメラがユーザを撮像することによって生成された撮像画像、又はユーザ端末３のカメラがユーザを撮像することによって生成された撮像画像である。

【0027】

情報処理装置１は、撮像画像におけるユーザの挙動を特定する（２）。ユーザの挙動は、例えば、撮像画像において、ユーザが商品又は商品情報を見た時間又は回数と、ユーザが商品又は商品情報を見ていた間のまばたきの回数と、ユーザが商品を触った時間又は回数と、のうち少なくとも１つである。

【0028】

情報処理装置１は、特定したユーザの挙動に基づいて、ユーザが商品に対して有する関心の程度を示す関心度を算出する（３）。情報処理装置１は、所定の規則を用いて、ユーザの挙動に対応する関心度を算出する。情報処理装置１は、例えば、ユーザが商品又は商品情報を見た時間が長いほど大きく、ユーザが商品又は商品情報を見た時間が短いほど小さいように、関心度を算出する。

【0029】

情報処理装置１は、算出した関心度に対応する関心情報を、管理端末４に通知する（４）。関心情報は、例えば、商品と、当該商品に対して算出した関心度とを関連付けた情報である。

【0030】

このように、情報処理装置１は、ユーザの撮像画像において商品又は商品情報を見ている又は見ていないユーザの挙動を特定し、特定した挙動に基づいてユーザの商品に対する関心度を算出する。これにより、情報処理装置１は、ユーザが商品の購入を検討する過程における商品に対する関心の程度を可視化し、商品の生産者又は販売者にユーザの商品に対する関心の程度を把握させることができる。

【0031】

［情報処理システムの構成］
図２は、本実施形態に係る情報処理システムのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

【0032】

情報処理装置１は、記憶部１１と、制御部１２とを有する。情報処理装置１は、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。また、情報処理装置１は、コンピュータ資源の集合であるクラウドによって構成されてもよい。

【0033】

記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを予め記憶している。また、記憶部１１は、ユーザの挙動を示す値から関心度を算出するための計算式等の所定の規則を予め記憶している。記憶部１１は、情報処理装置１の外部に設けられてもよく、その場合にネットワークを介して制御部１２との間でデータの授受を行ってもよい。

【0034】

制御部１２は、取得部１２１と、特定部１２２と、算出部１２３と、抽出部１２４と、出力部１２５と、を有する。制御部１２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１１に記憶されたプログラムを実行することにより、取得部１２１、特定部１２２、算出部１２３、抽出部１２４及び出力部１２５として機能する。制御部１２の機能の少なくとも一部は電気回路によって実行されてもよい。また、制御部１２の機能の少なくとも一部は、制御部１２がネットワーク経由で実行されるプログラムを実行することによって実現されてもよい。

【0035】

以下、情報処理装置１が実行する処理について詳細に説明する。取得部１２１は、ユーザ端末３から、商品又は商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得する。すなわち、取得部１２１が取得した撮像画像には、商品又は商品に関する商品情報を見ている又は見ていないユーザが含まれる。商品は、施設又はＷｅｂサイト等のコンテンツにおいて展示される物品である。商品情報は、商品に関する情報であり、例えば、商品名、価格、重量、産地、商品説明等を含む。撮像画像は、静止画像又は動画像である。

【0036】

商品を展示するための施設においてユーザが商品又は商品情報を見る場合に、商品は、施設に陳列され、商品情報は、商品の近傍に掲示され又は施設端末２の表示部上に表示される。ユーザは、商品を見たり触ったりし、又は商品情報を見る。この場合、取得部１２１は、施設において商品又は商品情報に関連付けて設けられたカメラ（例えば、施設端末２のカメラ）が商品又は商品情報の近傍にいるユーザを撮像することによって生成された撮像画像を取得する。

【0037】

図３（ａ）は、取得部１２１が施設端末２から取得した例示的な撮像画像ＩＭ１を示す図である。取得部１２１は、撮像画像ＩＭ１に写っているユーザを特定し、特定したユーザを識別可能なユーザ識別情報と撮像画像ＩＭ１とを関連付けて記憶部１１に記憶させる。ユーザ識別情報は、例えば、ユーザに予め付与されたユーザＩＤ（Identification）である。ユーザに対してユーザＩＤが付与されていない場合に、取得部１２１は、ユーザＩＤを自動的に生成してユーザに付与してもよい。

【0038】

取得部１２１は、例えば、撮像画像に対して既知の画像認識処理を実行することによって、撮像画像に写っているユーザを特定する。また、取得部１２１は、ユーザ端末３のカメラが施設に掲示されたコードを読み取ることによって取得された施設識別情報を、ユーザ端末３から取得してもよい。コードは、例えば、施設識別情報を所定の規則で符号化することによって生成された一次元コード又は二次元コードである。この場合に、取得部１２１は、当該コードを撮像したユーザ端末３を利用するユーザを、当該施設識別情報に対応する施設において撮像された撮像画像に写っているユーザとして特定する。

【0039】

一方、商品を展示するためのＷｅｂサイト等のコンテンツにおいてユーザが商品又は商品情報を見る場合に、商品の画像及び商品情報は、ユーザ端末３の表示部に表示されているコンテンツ内に表示される。この場合、取得部１２１は、商品の画像及び商品情報を表示しているユーザ端末３のカメラ（すなわち、商品又は商品情報に関連付けられたユーザ端末３のカメラ）が、ユーザ端末３に表示されたコンテンツを閲覧しているユーザを撮像することによって生成された撮像画像を取得する。

【0040】

図３（ｂ）は、取得部１２１がユーザ端末３から取得した例示的な撮像画像ＩＭ２を示す図である。取得部１２１は、ユーザ端末３を利用しているユーザを特定し、特定したユーザを識別可能なユーザ識別情報と、ユーザが閲覧しているコンテンツと、撮像画像ＩＭ２とを関連付けて記憶部１１に記憶させる。ユーザ識別情報は、例えば、ユーザに予め付与されたユーザＩＤである。ユーザＩＤは、例えば、ユーザを撮像したユーザ端末３に予め設定されている。ユーザに対してユーザＩＤが付与されていない場合に、取得部１２１は、ユーザＩＤを自動的に生成してユーザに付与してもよい。

【0041】

特定部１２２は、取得部１２１が取得した撮像画像におけるユーザの挙動を特定する。特定部１２２は、例えば、撮像画像において、ユーザが商品又は商品情報を見た時間又は回数と、ユーザが商品又は商品情報を見ていた間のまばたきの回数と、ユーザが商品を触った時間又は回数と、のうち少なくとも１つを、ユーザの挙動として特定する。また、特定部１２２は、商品又は商品情報の中でユーザが見た部分又は触った部分ごとに、上述の挙動を特定してもよい。

【0042】

図３（ａ）に示す例の場合に、特定部１２２は、例えば、取得部１２１が施設端末２から取得した撮像画像ＩＭ１に対して既知の画像認識処理を実行することによって、撮像画像ＩＭ１におけるユーザの目及び体と、商品Ｐと、を認識する。特定部１２２は、撮像画像ＩＭ１において認識したユーザの目に基づいて、ユーザが見ている向きに対応する視線Ｌを特定する。特定部１２２は、例えば、ユーザの目の中心から瞳へ向かう向きを、視線Ｌとして特定する。

【0043】

特定部１２２は、視線Ｌと商品Ｐ又は施設端末２の位置との関係に基づいて、ユーザが商品Ｐ又は商品Ｐに関する商品情報を見ているか否かを判定する。また、特定部１２２は、視線Ｌと商品Ｐ又は施設端末２の位置との関係に基づいて、商品Ｐ又は商品情報の中でユーザが見た部分を特定してもよい。商品Ｐ又は商品情報の中でユーザが見た部分は、商品Ｐを構成するいずれかの部材や部位、又は商品情報が含むいずれかの情報である。

【0044】

特定部１２２は、複数の静止画像又は動画像である撮像画像ＩＭ１においてユーザが商品Ｐ又は商品情報を見ているか否かの判定を繰り返すことによって、ユーザが商品Ｐ又は商品情報を見ていた時間又は回数を特定する。

【0045】

また、特定部１２２は、複数の静止画像又は動画像である撮像画像ＩＭ１においてユーザの目が開閉した回数を、まばたきの回数として特定する。また、特定部１２２は、撮像画像ＩＭ１において認識したユーザの体の位置と商品Ｐの位置との関係に基づいて、ユーザが商品Ｐを触っているか否かを特定する。また、特定部１２２は、撮像画像ＩＭ１において認識したユーザの体の位置と商品Ｐの位置との関係に基づいて、商品Ｐの中でユーザが触った部分を特定してもよい。商品Ｐ又は商品情報の中でユーザが触った部分は、商品Ｐを構成するいずれかの部材や部位である。

【0046】

特定部１２２は、複数の静止画像又は動画像である撮像画像ＩＭ１においてユーザが商品Ｐを触っているか否かの判定を繰り返すことによって、ユーザが商品Ｐを触った時間又は回数を特定する。

【0047】

図３（ｂ）に示す例の場合に、特定部１２２は、例えば、取得部１２１がユーザ端末３から取得した撮像画像ＩＭ２に対して既知の画像認識処理を実行することによって、撮像画像ＩＭ２におけるユーザの目を認識する。特定部１２２は、撮像画像ＩＭ２において認識したユーザの目に基づいて、ユーザが見ている向きに対応する視線Ｌを特定する。特定部１２２は、例えば、ユーザの目の中心から瞳へ向かう向きを、視線Ｌとして特定する。

【0048】

また、特定部１２２は、撮像画像ＩＭ２が撮像された時点でユーザ端末３に表示されていたコンテンツに対応する商品及び商品情報を、ユーザが見た商品Ｐ及び商品情報として特定する。

【0049】

特定部１２２は、視線Ｌとユーザ端末３の位置との関係に基づいて、ユーザが商品Ｐ又は商品Ｐに関する商品情報を見ているか否かを判定する。また、特定部１２２は、視線Ｌとユーザ端末３の位置との関係に基づいて、商品Ｐ又は商品情報の中でユーザが見た部分を特定してもよい。商品Ｐ又は商品情報の中でユーザが見た部分は、商品Ｐを構成するいずれかの部材や部位、又は商品情報が含むいずれかの情報である。

【0050】

特定部１２２は、複数の静止画像又は動画像である撮像画像ＩＭ２においてユーザが商品Ｐ又は商品情報を見ているか否かの判定を繰り返すことによって、ユーザが商品Ｐ又は商品情報を見ていた時間又は回数を特定する。

【0051】

また、特定部１２２は、複数の静止画像又は動画像である撮像画像ＩＭ２においてユーザの目が開閉した回数を、まばたきの回数として特定する。

【0052】

算出部１２３は、特定部１２２が特定したユーザの挙動に基づいて、ユーザが商品に対して有する関心の程度を示す関心度を算出する。算出部１２３は、記憶部１１に予め記憶された、ユーザの挙動に基づいて関心度を算出するための所定の規則を取得する。関心度を算出するための規則は、例えば、ユーザが商品又は商品情報を見た時間又は回数と、ユーザが商品又は商品情報を見ていた間のまばたきの回数と、ユーザが商品を触った時間又は回数と、のうち少なくとも１つの値から、関心度を算出するための計算式を含む。

【0053】

算出部１２３は、特定部１２２が特定したユーザの挙動に対して、取得した規則を適用することによって、関心度を算出する。関心度は、例えば、ユーザが商品に対して有する関心の程度が高いほど大きい値となり、ユーザが商品に対して有する関心の程度が低いほど小さい値となる。関心度は、例えば、０から１００までの範囲の数値で表される。関心度は、ここに示した値に限定されず、ユーザが商品に対して有する関心の程度に対応するその他の値であってもよい。

【0054】

このように、情報処理装置１は、撮像画像から特定されたユーザの挙動に基づいて関心度を算出することによって、ユーザの商品に対する関心の程度を客観的な数値として商品の生産者又は販売者に把握させることができる。

【0055】

また、算出部１２３は、商品又は商品情報の中でユーザが見た部分又は触った部分ごとに、関心度を算出してもよい。この場合に、算出部１２３は、特定部１２２が特定した、商品又は商品情報の中でユーザが見た部分又は触った部分ごとのユーザの挙動に対して規則を適用することによって、関心度を算出する。また、算出部１２３は、商品又は商品情報の中でユーザが見た部分又は触った部分ごとに算出した関心度の中で最大の関心度を、商品全体に対する関心度としてもよい。

【0056】

図４は、商品又は商品情報の中でユーザが見た部分又は触った部分ごとに関心度を算出する方法を説明するための模式図である。図４の例において、算出部１２３は、商品の中で側面及び持ち手それぞれに対して関心度を算出する。また、算出部１２３は、商品情報の中で商品名、価格及び商品説明それぞれに対して関心度を算出する。算出部１２３は、商品又は商品情報の中のその他の部分に対して関心度を算出してもよい。

【0057】

抽出部１２４は、複数の商品それぞれに対して算出部１２３が算出した関心度に基づいて、ユーザが関心を有する商品の属性を抽出する。商品の属性は、重さ、色、模様、産地、部材（例えば持ち手の有無）等、商品の特性に関する情報である。商品の属性は、商品と関連付けられて記憶部１１に予め記憶されている。抽出部１２４は、例えば、複数の商品の中で、関心度が相対的に高い商品が有する属性であって、関心度が相対的に低い商品が有しない属性を、ユーザが関心を有する商品の属性として抽出する。

【0058】

抽出部１２４は、１人のユーザの複数の商品それぞれに対する関心度に基づいて、当該ユーザが関心を有する商品の属性を抽出してもよい。また、抽出部１２４は、複数のユーザの複数の商品それぞれに対する関心度に基づいて、一般的なユーザが関心を有する商品の属性を抽出してもよい。

【0059】

図５は、ユーザが関心を有する商品の属性を抽出する方法を説明するための模式図である。図５の例において、抽出部１２４は、複数の商品の中で、関心度が相対的に高い商品が有する「持ち手」（すなわち、持ち手を有すること）及び「軽い」の属性を、ユーザが関心を有する商品の属性として抽出する。このように、情報処理装置１は、ユーザの商品に対する関心度に基づいて商品の属性を抽出することによって、ユーザの商品に対する関心の程度に影響を与える商品の属性を特定することができる。

【0060】

出力部１２５は、算出部１２３が算出した商品の関心度に対応する関心情報を、当該商品と関連付けて記憶部１１にデータベースとして記憶させるとともに、当該商品に関連付けられた管理端末４に通知する。管理端末４は、例えば、商品の生産者又は販売者が利用する情報端末であり、当該商品に予め関連付けられている。

【0061】

関心情報は、商品全体の関心度と、商品又は商品情報の部分ごとの関心度と、関心度が所定条件を満たす商品の部分又は商品情報の部分を示す情報と、のうち少なくとも１つを含む。関心度が所定条件を満たす商品の部分又は商品情報の部分は、例えば、商品又は商品情報の中で、関心度が所定の閾値以上である部分、又は関心度が高い順に所定の数の部分である。また、関心情報は、商品に対して特定部１２２が特定したユーザの挙動を示す情報を含んでもよい。

【0062】

図６（ａ）は、管理端末４が表示している例示的な関心情報の模式図である。管理端末４は、出力部１２５から通知された関心情報を、表示部に表示する。図６（ａ）の例において、管理端末４は、関心情報として、商品全体の関心度と、当該商品において関心度が高い順に２つの商品の部分又は商品情報の部分を示す情報とを表示している。

【0063】

このように、情報処理装置１は、撮像画像に基づいて算出した関心度を出力することによって、ユーザの商品に対する関心の程度を商品の生産者又は販売者に把握させることができる。また、情報処理装置１は、関心度が所定条件を満たす商品又は商品情報の部分を通知することによって、商品又は商品情報の中でユーザの関心に影響を与えている部分を商品の生産者又は販売者に知らせることができる。

【0064】

また、出力部１２５は、同一の施設又はコンテンツにおいて展示される複数の商品のうち、第１の商品に対する関心度に対応する関心情報と、第２の商品に対する関心度に対応する関心情報とを、当該施設又は当該コンテンツに関連付けて、当該複数の商品に関連付けられた管理端末４に通知してもよい。

【0065】

図６（ｂ）は、管理端末４が表示している例示的な２つの商品に対する関心情報の模式図である。図６（ｂ）の例において、管理端末４は、１つの施設において展示されている２つの商品それぞれの関心情報を並べて表示している。これにより、情報処理装置１は、同一の施設又はコンテンツにおいて展示される複数の商品に対するユーザの関心の程度を商品の生産者又は販売者が比較しやすくできる。

【0066】

また、出力部１２５は、関心情報として、ユーザの商品に対する関心度が所定条件を満たす場合（例えば、関心度が所定の閾値以上の場合）のユーザの撮像画像を、当該商品に関連付けられた管理端末４に通知してもよい。これにより、情報処理装置１は、ユーザの関心を表しているユーザの挙動を商品の生産者又は販売者に把握させることができる。

【0067】

また、出力部１２５は、関心情報として、抽出部１２４が抽出した商品の属性を示す情報を、ユーザ端末３又は管理端末４に通知してもよい。出力部１２５は、例えば、商品を展示するためのＷｅｂサイト等のコンテンツを表示しているユーザ端末３、又は関心情報を表示している管理端末４に、当該商品に対して抽出された商品の属性を表すタグ（「軽い」、「安い」等）を表示させる。これにより、情報処理装置１は、過去に抽出されたユーザが関心を有する商品の属性を、ユーザ、生産者又は販売者に把握させることができる。

【0068】

また、出力部１２５は、関心情報として、抽出部１２４が１人のユーザに対して抽出した関心を有する商品の属性を有する一又は複数の商品を、当該ユーザが利用するユーザ端末３に通知してもよい。これにより、情報処理装置１は、ユーザが関心を有する属性を有する商品を提案し、ユーザが商品を選ぶことを支援できる。

【0069】

［情報処理方法のフローチャート］
図７は、本実施形態に係る情報処理装置１が実行する情報処理方法のフローチャートを示す図である。取得部１２１は、商品又は商品に関する商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像を取得する（Ｓ１１）。撮像画像は、店舗や空間等の施設に設けられたカメラ、又はユーザが利用しているユーザ端末３のカメラによって撮像される。

【0070】

特定部１２２は、取得部１２１が取得した撮像画像におけるユーザの挙動を特定する（Ｓ１２）。特定部１２２は、例えば、撮像画像において、ユーザが商品又は商品情報を見た時間又は回数と、ユーザが商品又は商品情報を見ていた間のまばたきの回数と、ユーザが商品を触った時間又は回数と、のうち少なくとも１つを、ユーザの挙動として特定する。

【0071】

算出部１２３は、特定部１２２が特定したユーザの挙動に基づいて、ユーザが商品に対して有する関心の程度を示す関心度を算出する（Ｓ１３）。算出部１２３は、記憶部１１に予め記憶された所定の規則を用いて、関心度を算出する。

【0072】

抽出部１２４は、複数の商品それぞれに対して算出部１２３が算出した関心度に基づいて、ユーザが関心を有する商品の属性を抽出する（Ｓ１４）。出力部１２５は、算出部１２３が算出した商品の関心度に対応する関心情報を、当該商品と関連付けて記憶部１１にデータベースとして記憶させるとともに、当該商品に関連付けられた管理端末４に通知する（Ｓ１５）。

【0073】

［実施形態の効果］
本実施形態に係る情報処理システムにおいて、情報処理装置１は、ユーザの撮像画像において商品又は商品情報を見ている又は見ていないユーザの挙動を特定し、特定した挙動に基づいてユーザの商品に対する関心度を算出する。これにより、情報処理装置１は、ユーザが商品の購入を検討する過程における商品に対する関心の程度を可視化し、商品の生産者又は販売者にユーザの商品に対する関心の程度を把握させることができる。

【0074】

［第１変形例］
本変形例において、情報処理装置１は、ユーザが商品を購入したか否かを示す購入情報を、関心度を算出するための規則に反映する。図８は、本変形例において、関心度を算出するための規則に購入情報を反映する方法を説明するための模式図である。

【0075】

特定部１２２が商品に対してユーザの挙動を特定した後、取得部１２１は、ユーザが当該商品を購入したか否かを示す購入情報を取得する。取得部１２１は、例えば、施設又はＷｅｂサイト等のコンテンツにおける商品の販売を管理するための販売管理システムから、ユーザが購入した商品を示す購入履歴等の購入情報を取得する。

【0076】

取得部１２１は、ユーザが施設において商品を見た後に閲覧したＷｅｂサイト等のコンテンツにおいて当該商品を購入したか否かを示す購入情報を取得してもよい。この場合に、取得部１２１は、例えば、ユーザ端末３が施設に掲示されたコードを撮像した際に、当該コードが示す施設識別情報と、当該ユーザ端末３に予め設定されたユーザ識別情報とを関連付けて記憶部１１に記憶させる。取得部１２１は、ユーザ端末３を利用するユーザが、コンテンツにアクセスするために用いられたユーザ識別情報に関連付けられた施設識別情報に対応する施設にいたことを特定する。

【0077】

そして取得部１２１は、特定した施設においてユーザが見た商品を、コンテンツにおいてユーザが購入したか否かを示す購入情報を取得する。これにより、情報処理装置１は、施設にいたユーザと、コンテンツを見たユーザとを関連付けることができ、ユーザが施設において商品を見た後にコンテンツにおいて当該商品を購入したことを特定することができる。

【0078】

また、取得部１２１は、ユーザを撮像した撮像画像に基づいて、購入情報を取得してもよい。この場合に、取得部１２１は、撮像画像に基づいて、ユーザが施設のレジ等の販売場所に近付いたか否かを特定する。取得部１２１は、ユーザが施設において商品を見た後に販売場所に近付いた場合に当該商品を購入したと推定し、近付かなかった場合に当該商品を購入しなかったと推定する。取得部１２１は、ユーザが商品を購入したか否かの推定結果を、購入情報として取得する。

【0079】

特定部１２２は、取得部１２１が取得した購入情報に基づいて、ユーザが商品を購入するか否かに影響するユーザの挙動を購入挙動として特定する。図８の例では、ユーザの挙動のうち、ユーザが購入した商品をユーザが見ている際のまばたきの回数が、ユーザが購入しなかった商品をユーザが見ている際のまばたきの回数よりも多い。したがって、特定部１２２は、まばたきの回数を、ユーザが商品を購入するか否かに影響する購入挙動として特定する。特定部１２２は、特定した購入挙動を示す情報を、記憶部１１に記憶させる。

【0080】

ユーザが購入挙動の特定に用いられた第１商品とは異なる第２商品を見た場合に、算出部１２３は、特定部１２２が第２商品に対して特定したユーザの挙動と、特定部１２２が第１商品に対して特定した購入挙動とに基づいて、第２商品に対する関心度を算出する。すなわち、算出部１２３は、過去にユーザが見た第１商品に対して特定された購入挙動を、関心度を算出するための規則に反映した上で、ユーザの第２商品に対する関心度を算出する。

【0081】

算出部１２３は、例えば、記憶部１１から取得した関心度を算出するための規則が含む計算式において、購入挙動に対応する値（図８の例ではまばたきの回数）の重みを増加させる。これにより、購入挙動に対応する値が関心度に影響する程度が大きくなる。

【0082】

本変形例に係る情報処理システムにおいて、情報処理装置１は、ユーザが商品を購入したか否かに基づいてユーザが商品を購入するか否かに影響する購入挙動を特定し、特定した購入挙動を用いて関心度を算出する。これにより、これにより、情報処理装置１は、関心度を算出するための規則にユーザが実際に商品を購入した際の挙動を反映し、算出される関心度の精度を向上させることができる。

【0083】

［第２変形例］
本変形例では、情報処理装置１は、ユーザを撮像した撮像画像に加えて、ユーザが発した音声に基づいて、関心度を算出する。取得部１２１は、商品又は商品情報に関連付けて設けられたカメラによってユーザを含む領域を撮像した撮像画像と、商品又は商品情報を見ているユーザが発した音声と、を取得する。ユーザは、施設において商品を見ている間に、店員と話したり、ユーザ同士で会話をしたりする。取得部１２１は、例えば、施設に設けられたマイクロフォン（例えば、施設端末２が備えるマイクロフォン）がユーザから収集した音声を、施設端末２から取得する。

【0084】

特定部１２２は、上述の実施形態と同様の方法で撮像画像におけるユーザの挙動を特定するとともに、音声におけるユーザの挙動を特定する。特定部１２２は、例えば、音声において、ユーザの音声の高さ（すなわち周波数）と、ユーザが音声を発した時間又は回数と、のうち少なくとも１つを、ユーザの挙動として特定する。

【0085】

算出部１２３は、記憶部１１に予め記憶された、ユーザの挙動に基づいて関心度を算出するための所定の規則を取得する。関心度を算出するための規則は、例えば、撮像画像に基づいて特定したユーザの挙動を示す値と、音声に基づいて特定したユーザの挙動を示す値とから、関心度を算出するための計算式を含む。算出部１２３は、特定部１２２が撮像画像及び音声に基づいて特定したユーザの挙動に対して、取得した規則を適用することによって、関心度を算出する。

【0086】

本変形例に係る情報処理システムにおいて、情報処理装置１は、ユーザを撮像した撮像画像だけでなく、ユーザが発した音声に基づいて関心度を算出するため、より多くの種類のユーザの挙動を反映した関心度を商品の生産者又は販売者に提供できる。

【0087】

［第３変形例］
本変形例では、情報処理装置１又は管理端末４は、課金及び支払いに関する機能を有する。情報処理装置１又は管理端末４は、例えば、商品に係るユーザの挙動を特定し、又は商品に対する関心度を算出するために用いられた情報（撮像画像）を提供した施設又はコンテンツに関連付けられた人（オーナーや展示担当者等）に対して所定の報酬を支払うための支払情報を出力する。支払情報は、例えば、店舗端末２又はユーザ端末３が撮像画像を情報処理装置１に送信した回数、データ量又は期間に基づいて算出された金額を含む。これにより、情報処理装置１又は管理端末４は、関心度を算出するための情報を提供した施設又はコンテンツのオーナー又は展示担当者等に報酬を与えることができる。

【0088】

同様に、情報処理装置１は、情報端末からネットワークを介して記憶部１１において商品に対するユーザの挙動又は関心度を含む情報を取得するための問い合わせを受けた場合に、当該情報端末の利用者に対して請求をするための請求情報を出力してもよい。請求情報は、例えば、情報端末が問い合わせをした回数、データ量又は期間に基づいて算出された金額を含む。これにより、情報処理装置１は、ユーザ挙動又は関心度を含む情報を取得した人や、ユーザ挙動又は関心度に関するキュレーションサービスを使用した人から、情報提供料を得ることができる。

【0089】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【0090】

情報処理装置１のプロセッサは、図７に示す情報処理方法に含まれる各ステップ（工程）の主体となる。すなわち、情報処理装置１のプロセッサは、図７に示す情報処理方法を実行するためのプログラムを記憶部１１から読み出し、該プログラムを実行して情報処理システムの各部を制御することによって、図７に示す情報処理方法を実行する。図７に示す情報処理方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

【符号の説明】

【0091】

１ 情報処理装置
１１ 記憶部
１２ 制御部
１２１ 取得部
１２２ 特定部
１２３ 算出部
１２４ 抽出部
１２５ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】