特許 7494933 情報提供システム、情報提供方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】情報提供システム、情報提供方法及びプログラム

(51)【国際特許分類】

   G06Q 30/0203 20230101AFI20240528BHJP

【ＦＩ】

G06Q30/0203

【請求項の数】 10

(21)【出願番号】P 2022557363

(86)(22)【出願日】2021-10-04

(86)【国際出願番号】 JP2021036550

(87)【国際公開番号】W WO2022080160

(87)【国際公開日】2022-04-21

【審査請求日】2023-04-05

(31)【優先権主張番号】P 2020173969

(32)【優先日】2020-10-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】石井 恵美子

(72)【発明者】

【氏名】下村 英恵

(72)【発明者】

【氏名】千代延 真吾

(72)【発明者】

【氏名】瀬戸 広樹

【審査官】岡北 有平

(56)【参考文献】

【文献】特開２０１９－１５９９９８（ＪＰ，Ａ）

【文献】特開２０１９－０６１４５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３６５７４９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

ユーザによる調査の対象であって、前記ユーザと異なる人物である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録する相手顔画像登録手段と、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録する情報生成手段と、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する提示手段と、
を有する情報提供システム。

【請求項2】

前記相手顔画像登録手段は、
予め登録された前記ユーザの顔画像に基づき、前記店内画像の中から前記ユーザを検出し、
検出した前記ユーザの同伴者を前記店内画像の中から検出し、
前記店内画像から前記同伴者の顔画像を切り出し、前記相手顔画像として登録する請求項１に記載の情報提供システム。

【請求項3】

前記相手顔画像登録手段は、
ユーザ入力に基づき、前記相手と同伴して来店する来店日を事前に登録し、
予め登録された前記来店日に生成された前記店内画像に基づき、前記ユーザを検出する処理、前記同伴者を検出する処理、及び前記同伴者の顔画像を切り出し前記相手顔画像として登録する処理を実行する請求項２に記載の情報提供システム。

【請求項4】

前記相手顔画像登録手段は、
ユーザ入力に基づき、前記相手の属性を登録し、
前記店内画像の中から検出した前記同伴者の中の、前記店内画像から推定される属性が登録された前記相手の属性と一致する前記同伴者の顔画像を前記店内画像から切り出し、前記相手顔画像として登録する請求項２又は３に記載の情報提供システム。

【請求項5】

前記相手顔画像登録手段は、
前記ユーザが入力した前記相手顔画像を取得し、登録する請求項１に記載の情報提供システム。

【請求項6】

前記情報生成手段は、
前記相手顔画像及び前記店内画像の少なくとも一方に基づき前記相手の属性を推定し、推定した前記相手の属性に基づき前記ユーザと前記相手の関係性を推定する請求項１から５のいずれか１項に記載の情報提供システム。

【請求項7】

前記提示手段は、
前記ユーザと前記相手との関係性と一致する他の前記ユーザと他の前記相手の組み合わせを特定し、
特定した他の前記ユーザのユーザ識別情報に紐付けて登録されている他の前記相手が関心を示した商品の商品情報を、関連情報として前記ユーザに提示する請求項６に記載の情報提供システム。

【請求項8】

前記提示手段は、
前記相手が関心を示した商品の購入用クーポンを前記ユーザに提示する請求項１から７のいずれか１項に記載の情報提供システム。

【請求項9】

コンピュータが、
ユーザによる調査の対象であって、前記ユーザと異なる人物である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録し、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録し、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する情報提供方法。

【請求項10】

コンピュータを、
ユーザによる調査の対象であって、前記ユーザと異なる人物である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録する相手顔画像登録手段、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録する情報生成手段、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する提示手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提供システム、情報提供方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、商品に対する顧客の動作をトラッキングし、トラッキングした顧客の動作に対応した商品に関連するプロモーション情報を顧客へ出力する技術を開示している。特許文献２は、画像解析でユーザの同伴者を特定し、特定した同伴者の装いと調和する商品をユーザに推薦する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１５／０３３５７５号

【文献】特開２０１６－５７９４０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

プレゼントを贈りたい相手がどのような商品に関心を持っているかを認識できれば、相手が喜ぶ商品をプレゼントできるようになる。相手に直接関心のある商品を尋ねた場合、その商品をプレゼントした際の相手の驚きや喜びが小さくなる可能性がある。そこで、相手に気付かれないように、相手が関心を持っている商品を認識する技術が望まれている。特許文献１及び２はいずれも、当該課題及びその解決手段を開示していない。

【0005】

本発明は、相手に気付かれないように、相手が関心を持っている商品を認識する技術を提供することである。

【課題を解決するための手段】

【0006】

本発明によれば、
ユーザによる調査の対象である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録する相手顔画像登録手段と、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録する情報生成手段と、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する提示手段と、
を有する情報提供システムが提供される。

【0007】

また、本発明によれば、
コンピュータが、
ユーザによる調査の対象である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録し、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録し、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する情報提供方法が提供される。

【0008】

また、本発明によれば、
コンピュータを、
ユーザによる調査の対象である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録する相手顔画像登録手段、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録する情報生成手段、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する提示手段、
として機能させるプログラムが提供される。

【発明の効果】

【0009】

本発明によれば、相手に気付かれないように、相手が関心を持っている商品を認識する技術が実現される。

【図面の簡単な説明】

【0010】

【図1】本実施形態の情報提供システムのハードウエア構成の一例を示す図である。

【図2】本実施形態の情報提供システムの機能ブロック図の一例である。

【図3】本実施形態の情報提供システムが処理する情報の一例を模式的に示す図である。

【図4】本実施形態の情報提供システムの処理の流れの一例を示すフローチャートである。

【図5】本実施形態の情報提供システムが処理する情報の一例を模式的に示す図である。

【図6】本実施形態の情報提供システムの処理の流れの一例を示すフローチャートである。

【図7】本実施形態の情報提供システムが処理する情報の一例を模式的に示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0012】

＜第１の実施形態＞
「概要」
本実施形態の情報提供システムの処理の概要は、以下の通りである。まず、ユーザは、調査の対象である相手の顔画像（相手顔画像）を情報提供システムに登録する。情報提供システムは、相手顔画像に基づき、店内を撮影した店内画像の中から相手を検出する。そして、情報提供システムは、店内画像で示される相手の店内での行動内容に基づき相手が関心を示した商品を特定し、特定した商品の商品情報をユーザのユーザ識別情報に紐付けて登録する。そして、情報提供システムは、ユーザのユーザ識別情報に紐付けて登録されている「相手が関心を示した商品の商品情報」を、ユーザに提示する。

【0013】

このような情報提供システムによれば、ユーザは、相手に気付かれないように、相手が関心を持っている商品を認識することができる。

【0014】

「構成」
次に、情報提供システムの構成を説明する。情報提供システムは、クラウドサーバであってもよいし、各店舗に設置された店舗サーバであってもよいし、複数の店舗を管理するセンターに設置されたセンターサーバであってもよいし、その他であってもよい。

【0015】

まず、情報提供システムのハードウエア構成の一例を説明する。図１は、情報提供システムのハードウエア構成例を示す図である。情報提供システムが備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0016】

図１に示すように、情報提供システムは、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。情報提供システムは周辺回路４Ａを有さなくてもよい。

【0017】

なお、情報提供システムは物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び論理的に一体となった１つの装置で構成されてもよい。前者の場合、各装置が上記ハードウエア構成を備えることができる。

【0018】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0019】

次に、情報提供システムの機能構成の一例を説明する。図２は、情報提供システム１０の機能ブロック図の一例を示す。図示するように、情報提供システム１０は、相手顔画像登録部１１と、情報生成部１２と、提示部１４とを有する。なお、情報提供システム１０は記憶部１５を有さなくてもよい。この場合、情報提供システム１０と通信可能に構成された外部装置が記憶部１５を備える。以下、これらの機能部により実現される処理を詳細に説明する。

【0020】

相手顔画像登録部１１は、ユーザによる調査の対象である相手の顔画像である相手顔画像を取得し、ユーザのユーザ識別情報に紐付けて相手顔画像を登録する。

【0021】

「ユーザ」は、情報提供システム１０が提供する情報提供サービス（以下、単に「情報提供サービス」という場合がある）のユーザである。会員登録等の所定の処理を行うことで、情報提供サービスのユーザになることができる。
「ユーザ識別情報」は、情報提供サービスのユーザを互いに識別する情報である。
「調査」は、相手（調査の対象）が関心を持っている商品を特定する調査である。例えば、「ユーザがプレゼントを贈る相手」などが、調査の対象として登録される。なお、調査の対象は、情報提供サービスのユーザであってもよいし、当該サービスのユーザでなくてもよい。

【0022】

本実施形態では、相手顔画像登録部１１は、ユーザが入力した相手顔画像を取得し、その相手顔画像をそのユーザのユーザ識別情報に紐付けて登録する。例えば、ユーザは、所定のアプリケーション又はウェブページを介して、情報提供システム１０にログインする操作（例：ユーザ識別情報等の入力）を行う。そして、ユーザは、ログイン後の相手顔画像登録ページにおいて、所定の記憶装置に記憶された相手顔画像を選択する操作、及び選択した相手顔画像を情報提供システム１０にアップロードする操作を行う。ユーザは、スマートフォン、タブレット端末、パーソナルコンピュータ、スマートウォッチ、携帯電話等の端末を介して、これらの操作を行う。

【0023】

図３に、相手顔画像登録部１１が登録した情報の一例を模式的に示す。当該情報は、記憶部１５に記憶される。図示する情報では、ユーザ識別情報に紐付けて、相手顔画像が登録されている。図示する情報では、さらに、ユーザ識別情報に紐付けて、相手顔画像から抽出された外観の特徴量である相手顔情報が登録されている。このように、相手顔画像登録部１１は、相手顔画像から外観の特徴量を抽出し、ユーザ識別情報に紐付けて登録してもよい。なお、図示する相手関心情報は、後述する情報生成部１２により生成され、登録される情報である。相手関心情報の詳細は後述する。

【0024】

図２に戻り、情報生成部１２は、相手顔画像に基づき、店内を撮影した店内画像の中から相手を検出する処理、店内画像で示される検出した相手の店内での行動内容に基づき相手が関心を示した商品を特定する処理、及び特定した商品の商品情報をユーザ識別情報に紐付けて登録する処理を実行する。

【0025】

店内画像の中から相手を検出する処理は、従来のあらゆる画像解析技術を用いて実現することができる。例えば、相手顔画像又はそれから抽出された相手の顔の外観の特徴量と、店内画像との照合処理等が例示される。

【0026】

なお、情報提供システム１０は、店内を撮影するカメラが生成した店内画像を任意の手段で取得するように構成されている。店内画像は、動画像であることが好ましいが、動画像よりも大きい時間間隔（フレームレート）で連続的に撮影して生成された複数の時系列な静止画像であってもよい。情報提供システム１０は、店内画像をバッチ処理（例：１日分のデータをまとめて処理）で取得してもよいし、リアルタイム処理で取得してもよい。店内画像をバッチ処理で取得する場合、情報生成部１２による処理もバッチ処理で行われる。店内画像をリアルタイム処理で取得する場合、情報生成部１２による処理はリアルタイム処理で行われてもよいし、バッチ処理で行われてもよい。

【0027】

相手が関心を示した商品を特定する処理は、店内画像を解析することで実現される。以下、相手が関心を示した商品を特定する手法の一例を説明するが、ここでの例示に限定さない。

【0028】

－第１の特定手法－
情報生成部１２は、店内画像に基づき相手の視線を検出し、視線の先に存在する商品を特定する。そして、視線の先がその商品となっている状態が所定条件（例：所定時間以上継続、累積時間が所定時間以上）を満たした場合、相手はその商品に関心を示していると判断する。

【0029】

－第２の特定手法－
情報生成部１２は、店内画像に基づき相手が触れた商品又は手に持った商品を検出し、その商品を相手が関心を示した商品として特定する。なお、情報生成部１２は、例えば商品の外観の特徴量に基づき、画像に含まれる商品（相手が触れた商品や手に持った商品）の識別情報を特定することができる。

【0030】

－第３の特定手法－
情報生成部１２は、店内画像に基づき相手が試した商品を検出し、その商品を相手が関心を示した商品として特定する。商品を試す行為は、商品毎に定義される。例えば、衣服を試着する行為、いすやソファーに座る行為等が例示される。情報生成部１２は、各商品に対して、各商品に対応して定義された試す行為が行われた場合、相手がその商品を試したと判断する。なお、商品を試す行為を検出した後、手に取る／見るなどのその商品に対する関心を示す所定の行動を検出できなかった場合、試したうえで関心を失ったものとみなし、関心を示した商品としてその商品を特定しなくてもよい。そして、商品を試す行為を検出した後、手に取る／見るなどのその商品に対する関心を示す所定の行動を検出できた場合、関心を示した商品としてその商品を特定してもよい。

【0031】

－第４の特定手法－
情報生成部１２は、店内画像に基づき相手の店内での位置を特定する。そして、情報生成部１２は、所定の商品の陳列場所の前に存在する状態が所定条件（例：所定時間以上継続、累積時間が所定時間以上）を満たした場合、相手はその商品に関心を示したと判断する。

【0032】

図３に、特定した商品の商品情報をユーザ識別情報に紐付けて登録した情報の一例を模式的に示す。図示する「相手関心情報」が、特定した商品の商品情報を示す。商品情報は、商品識別情報（商品コード等）、商品名、商品画像、メーカー名、価格、商品スペックの中の少なくとも１つを含むことができる。商品情報は、その他の情報を含んでもよい。

【0033】

図２に戻り、提示部１４は、ユーザ識別情報に紐付けて登録されている「相手が関心を示した商品の商品情報」を、ユーザに提示する。

【0034】

例えば、提示部１４は、所定のアプリケーション又はウェブページを介して情報提供システム１０にログインした後の情報閲覧ページにおいて、「相手が関心を示した商品の商品情報」を閲覧可能に表示してもよい。

【0035】

なお、当該情報閲覧ページにおいては各商品の購入ページへのリンクがはられており、１つの商品情報を選択するユーザ操作に応じてその商品の購入ページへ遷移するよう構成されてもよい。購入ページは、その商品を購入するための操作を受付けるページであり、商品価格、商品スペック、商品画像、商品購入ボタン等が表示されている。

【0036】

このように、ログインした後の情報閲覧ページにおいて「相手が関心を示した商品の商品情報」を閲覧可能に表示する場合、提示部１４は、アプリケーションのプッシュ通知や電子メールなどで、新たに「相手が関心を示した商品の商品情報」が登録された旨をユーザに通知してもよい。

【0037】

その他、提示部１４は、電子メールで、「相手が関心を示した商品の商品情報」をユーザに通知してもよい。すなわち、電子メールの本文の中、又は添付ファイルにおいて、相手が関心を示した商品の商品情報が示されてもよい。

【0038】

また、提示部１４は、相手が関心を示した商品の購入用クーポンを、上記と同様の手法でユーザに提示してもよい。購入用クーポンは、その商品の購入時に利用できるクーポンであり、例えば「１００円引き」、「１０％引き」のような割引クーポンであってもよいし、景品をプレゼントするクーポンであってもよいし、その他であってもよい。

【0039】

次に、図４のフローチャートを用いて、情報提供システム１０の処理の流れの一例を説明する。

【0040】

まず、図４で示す処理が実行される前に、予め、ユーザが相手顔画像を情報提供システム１０に登録する操作を行う。この操作に応じて、相手顔画像登録部１１は、ユーザによる調査の対象である相手の顔画像（相手顔画像）を取得し、ユーザのユーザ識別情報に紐付けて相手顔画像を登録する。

【0041】

情報生成部１２は、予め記憶部１５に記憶されている相手顔画像に基づき、店内を撮影した店内画像の中から相手を検出する（Ｓ２０）。

【0042】

そして、情報生成部１２は、相手を検出すると、店内画像の中で相手を追跡する。そして、情報生成部１２は、相手の店内での行動内容に基づき相手が関心を示した商品を特定し、特定した商品の商品情報をユーザ識別情報に紐付けて登録する（Ｓ２１）。相手が関心を示した商品を特定する処理は、例えば上述した第１乃至第４の特定手法の中の少なくとも１つを用いて実現される。

【0043】

その後、提示部１４は、アプリケーションのプッシュ通知や電子メールなどで、新たに「相手が関心を示した商品の商品情報」が登録された旨をユーザに通知する（Ｓ２２）。ユーザは、任意のタイミングで情報提供システム１０にログインした後、情報閲覧ページを開いて「相手が関心を示した商品の商品情報」を確認する。

【0044】

その他の例として、提示部１４は、電子メールで、「相手が関心を示した商品の商品情報」をユーザに通知してもよい。この場合、電子メールの本文の中、又は添付ファイルにおいて、相手が関心を示した商品の商品情報が示される。

【0045】

「作用効果」
本実施形態の情報提供システム１０は、ユーザが登録した相手顔画像に基づき店内画像の中から相手を検出すると、店内画像で示される相手の店内行動に基づき相手が関心を示した商品を特定し、特定した結果をユーザに提示する機能を有する。このような情報提供システム１０を利用することで、ユーザは、相手に気付かれないように、相手が関心を持っている商品を認識することができる。

【0046】

一方で、情報提供システム１０を利用する店は、情報提供システム１０を利用し、ユーザに有益な情報を提示することで、商品の購買率を高めることができる。また、店は、例えばプレゼント購入目的の顧客を集客することができる。

【0047】

また、情報提供システム１０は、相手が関心を示した商品のクーポンをユーザに提示することができる。これにより、店は、商品の購買率を高める、プレゼント購入目的の顧客を集客する等の利益が得られる。また、ユーザは、相手が喜ぶ商品を、クーポンを利用してお得に購入することができる。

【0048】

＜第２の実施形態＞
本実施形態の情報提供システム１０は、ユーザによる事前登録なしで、相手顔画像を取得し、登録する機能を有する。本実施形態は、ユーザと相手（調査の対象）とが同伴して来店することを前提とする。情報提供システム１０は、予め登録されたユーザの顔画像に基づき店内画像からユーザを検出すると、検出したユーザの同伴者を店内画像から検出する。そして、情報提供システム１０は、その同伴者の顔画像を店内画像から切りだし、相手顔画像として登録する。以下、詳細に説明する。

【0049】

本実施形態の情報提供システム１０の機能ブロック図の一例は、第１の実施形態と同様に図２で示される。

【0050】

相手顔画像登録部１１は、ユーザが入力したユーザの顔画像（以下、「ユーザ顔画像」）を取得し、そのユーザ顔画像をそのユーザのユーザ識別情報に紐付けて登録する。例えば、ユーザは、所定のアプリケーション又はウェブページを介して、情報提供システム１０にログインする操作（例：ユーザ識別情報の入力等）を行う。そして、ユーザは、ログイン後のユーザ顔画像登録ページにおいて、所定の記憶装置に記憶されたユーザ顔画像を選択する操作、及び選択したユーザ顔画像を情報提供システム１０にアップロードする操作を行う。ユーザは、スマートフォン、タブレット端末、パーソナルコンピュータ、スマートウォッチ、携帯電話等の端末を介して、これらの操作を行う。

【0051】

図５に、相手顔画像登録部１１が登録した情報の一例を模式的に示す。当該情報は、記憶部１５に記憶される。図示する情報では、ユーザ識別情報に紐付けて、ユーザ顔画像が登録されている。図示する情報では、さらに、ユーザ識別情報に紐付けて、ユーザ顔画像から抽出された外観の特徴量であるユーザ顔情報が登録されている。このように、相手顔画像登録部１１は、ユーザ顔画像から外観の特徴量を抽出し、ユーザ識別情報に紐付けて登録してもよい。

【0052】

そして、相手顔画像登録部１１は、予め登録されたユーザ顔画像に基づき、店内画像の中からユーザを検出する。店内画像の中からユーザを検出する処理は、従来のあらゆる画像解析技術を用いて実現することができる。例えば、ユーザ顔画像又はそれから抽出されたユーザの顔の外観の特徴量と、店内画像との照合処理等が例示される。

【0053】

次いで、相手顔画像登録部１１は、検出したユーザの同伴者を店内画像の中から検出する。そして、相手顔画像登録部１１は、店内画像から同伴者の顔画像を切り出し、相手顔画像として登録する（図５参照）。なお、相手顔画像登録部１１は、相手顔画像から外観の特徴量を抽出し、ユーザ識別情報に紐付けて登録してもよい（図５の相手顔情報）。

【0054】

画像解析で同伴者を特定するアルゴリズムは様々である。例えば、相手顔画像登録部１１は、ユーザとの距離が閾値以下の状態が所定条件（例：所定時間以上継続、累積時間が所定時間以上）を満たした人を、ユーザの同伴者と判断してもよい。その他、相手顔画像登録部１１は、ユーザと見つめ合う状態（互いの視線が互いに向いた状態）になった人や、その状態が所定条件（例：所定時間以上継続、累積時間が所定時間以上）を満たした人を、ユーザの同伴者と判断してもよい。その他、相手顔画像登録部１１は、ユーザとの間で、互いに手をつないだ状態、一方が他方の肩や腰に手をまわした状態等の所定の動作状態になった人を、ユーザの同伴者と判断してもよい。なお、ここでの例示はあくまで一例であり、この内容に限定されない。

【0055】

ところで、ユーザは、調査の対象以外の人とも、来店する場合がある。このような場合にも、同伴者の顔画像を相手顔画像として登録し、関心を示した商品を特定し、ユーザに提示すると、不要な情報をユーザに提示することとなり好ましくない。そこで、当該不都合を回避するため、相手顔画像登録部１１は、以下の回避手段１及び２の少なくとも一方を備えてもよい。

【0056】

－回避手段１－
相手顔画像登録部１１は、ユーザ入力に基づき、調査の対象と同伴して来店する来店日を事前に登録しておく。例えば、ユーザは、所定のアプリケーション又はウェブページを介して、情報提供システム１０にログインした後、調査の対象と同伴して来店する来店日を入力し、情報提供システム１０に登録する操作を行う。相手顔画像登録部１１は、当該操作に基づきユーザが入力した来店日を取得し、そのユーザのユーザ識別情報に紐付けて登録する。

【0057】

そして、相手顔画像登録部１１は、予め登録された来店日に撮影・生成された店内画像に基づき、上述したユーザを検出する処理、同伴者を検出する処理、及び同伴者の顔画像を切り出し相手顔画像として登録する処理を実行する。

【0058】

－回避手段２－
相手顔画像登録部１１は、ユーザ入力に基づき、調査の対象の属性を登録しておく。登録する属性は、画像から推定／特定可能なものであり、例えば性別、年令層、国籍、体格、身長等である。例えば、ユーザは、所定のアプリケーション又はウェブページを介して、情報提供システム１０にログインした後、調査の対象の属性を入力し、情報提供システム１０に登録する操作を行う。相手顔画像登録部１１は、当該操作に基づきユーザが入力した相手の属性を取得し、そのユーザのユーザ識別情報に紐付けて登録する。

【0059】

そして、相手顔画像登録部１１は、上述したユーザを検出する処理及び同伴者を検出する処理でユーザの同伴者を検出した後、検出した同伴者の属性を店内画像に基づく画像解析で推定・特定する。次いで、相手顔画像登録部１１は、推定・特定した属性と、予め登録された調査の対象の属性とを照合する。そして、相手顔画像登録部１１は、店内画像から検出したユーザの同伴者の中の、推定される属性が事前に登録された調査の対象の属性と一致する同伴者の顔画像を店内画像から切り出し、相手顔画像として登録する。

【0060】

次に、図６のフローチャートを用いて、情報提供システム１０の処理の流れの一例を説明する。

【0061】

まず、図６で示す処理が実行される前に、予め、ユーザがユーザ顔画像を情報提供システム１０に登録する操作を行う。この操作に応じて、相手顔画像登録部１１は、ユーザ顔画像を取得し、ユーザのユーザ識別情報に紐付けてユーザ顔画像を登録する。

【0062】

相手顔画像登録部１１は、予め記憶部１５に記憶されているユーザ顔画像に基づき、店内を撮影した店内画像の中からユーザを検出する（Ｓ１０）。そして、相手顔画像登録部１１は、検出したユーザの同伴者を店内画像の中から検出した後（Ｓ１１）、店内画像から同伴者の顔画像を切り出し、相手顔画像として登録する（Ｓ１２）。

【0063】

その後、情報生成部１２は、店内画像の中で相手（同伴者）を追跡する。そして、情報生成部１２は、相手の店内での行動内容に基づき相手が関心を示した商品を特定し、特定した商品の商品情報をユーザ識別情報に紐付けて登録する（Ｓ１３）。相手が関心を示した商品を特定する処理は、例えば第１の実施形態で説明した第１乃至第４の特定手法の中の少なくとも１つを用いて実現される。

【0064】

その後、提示部１４は、アプリケーションのプッシュ通知や電子メールなどで、新たに「相手が関心を示した商品の商品情報」が登録された旨をユーザに通知する（Ｓ１４）。ユーザは、任意のタイミングで情報提供システム１０にログインした後、情報閲覧ページを開いて「相手が関心を示した商品の商品情報」を確認する。

【0065】

その他の例として、提示部１４は、電子メールで、「相手が関心を示した商品の商品情報」をユーザに通知してもよい。この場合、電子メールの本文の中、又は添付ファイルにおいて、相手が関心を示した商品の商品情報が示される。

【0066】

情報提供システム１０のその他の構成は、第１の実施形態と同様である。

【0067】

本実施形態の情報提供システム１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の情報提供システム１０によれば、ユーザは事前に自身の顔画像を登録すればよく、相手の顔画像を登録する必要がない。このため、ユーザが行うべき作業の難易度が低くなる。

【0068】

「変形例」
ここで、本実施形態の情報提供システム１０の変形例を説明する。同伴者を特定するアルゴリズム等によっては、調査の対象である相手が来店してからその相手の顔画像を相手顔画像として情報提供システム１０に登録するまでに、一定の時間を要することとなる。そして、相手顔画像を登録後に、相手の店内での行動内容に基づき関心を示した商品を特定する処理を開始する場合、調査の対象である相手が来店してからその相手の顔画像を相手顔画像として情報提供システム１０に登録するまでの時間帯においては、その相手が関心を示した商品を特定する処理が実行されなくなる。結果、ユーザに提示する情報（相手が関心を示した商品の商品情報）に、調査の対象である相手が来店してからその相手の顔画像が情報提供システム１０に登録されるまでの時間における相手の行動内容が反映されなくなる。当該不都合を回避するため、次のような変形例を採用してもよい。

【0069】

情報生成部１２は、店内画像から検出した全ての来店者各々に来店者識別情報を付与し、店内画像から切り出した各来店者の顔画像やその顔画像から抽出した外観の特徴量を紐付けて管理する（図７参照）。そして、情報生成部１２は、店内画像から検出した全ての来店者各々に対して、上述した店内行動に基づき関心を示した商品を特定する処理を実行し、特定した商品の商品情報を各来店者の来店者識別情報に紐付けて登録する（図７参照）。

【0070】

そして、情報生成部１２は、相手顔画像登録部１１によりある来店者があるユーザの同伴者として特定され、その来店者の顔画像が相手顔画像としてあるユーザのユーザ識別情報に紐付けて登録されると、それまでに登録されたその来店者が関心を示した商品の商品情報（図７参照）を、そのユーザのユーザ識別情報に紐付けて登録する。

【0071】

当該変形例によれば、来店時に相手が関心を示した商品を漏らすことなく検出し、ユーザに提示することができる。また、店は全ての来店者各々が関心を示した商品を把握することができる。そして、当該情報を活用して商品の品揃えの変更などを行うことができる。

【0072】

＜第３の実施形態＞
本実施形態の情報提供システム１０は、ユーザと相手との関係性を推定し、その推定結果に基づき有益な情報をユーザに提供する機能を有する。以下詳細に説明する。

【0073】

本実施形態の情報提供システム１０の機能ブロック図の一例は、第１及び第２の実施形態と同様に図２で示される。

【0074】

本実施形態の情報生成部１２は、相手顔画像及び店内画像の少なくとも一方に基づき相手の属性を推定する。そして、情報生成部１２は、推定した相手の属性とユーザの属性とに基づき、ユーザと相手の関係性を推定する。ユーザの属性は、予めユーザ自身により情報提供システム１０に登録されていてもよいし、ユーザ顔画像及び店内画像の少なくとも一方に基づき推定されてもよい。属性は、画像から推定可能なものであり、性別、年令層等である。

【0075】

例えば、情報生成部１２は、ユーザと相手の性別が互いに異なり、年令層が近い（同じ年齢層、又はその差が閾値以下）場合、ユーザと相手の関係はカップルと推定してもよい。また、情報生成部１２は、ユーザと相手の性別が同じであり、年令層が近い（同じ年齢層、又はその差が閾値以下）場合、ユーザと相手の関係は友達と推定してもよい。また、情報生成部１２は、ユーザと相手の年令層が遠い（その差が閾値より大）場合、ユーザと相手の関係は親子と推定してもよい

【0076】

また、情報生成部１２は、その時の季節柄を考慮して、ユーザと相手の関係性を推定してもよい。例えば、バレンタインデー、クリスマス等のイベントの前の所定期間においては、上記カップルと推定するための年齢層の差の閾値を、他の期間よりも大きくしてもよい（カップルと判断し易くなる）。

【0077】

提示部１４は、ユーザに向けて、相手が関心を示した商品の商品情報のみならず、ユーザと相手との関係性と一致する他のユーザと他の相手との組み合わせにおいてその他の相手が関心を示した商品の商品情報を、関連情報として提示する。

【0078】

すなわち、提示部１４は、情報生成部１２による上記関係性の推定結果に基づき、ユーザと相手との関係性と一致する他のユーザと他の相手の組み合わせを特定する。そして、提示部１４は、特定した他のユーザのユーザ識別情報に紐付けて登録されている相手が関心を示した商品の商品情報を、関連情報としてユーザに提示する。

【0079】

情報提供システム１０のその他の構成は、第１及び第２の実施形態と同様である。

【0080】

本実施形態の情報提供システム１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の情報提供システム１０によれば、ユーザに対して、ユーザと相手との関係性と一致する他のユーザと他の相手とに関する情報、具体的にはその他の相手が関心を示した商品の商品情報を、関連情報として提示することができる。ユーザは、このような関連情報に基づき、相手にプレゼントする商品を選ぶことができる。

【0081】

また、本実施形態の情報提供システム１０によれば、店は、どのような関係性の人がプレゼント選びにその店を利用しているのか、また、どのような商品に関心を示しているのか等を把握することができる。当該情報を活用して商品の品揃えの変更などを行うことができる。

【0082】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0083】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

【0084】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0085】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． ユーザによる調査の対象である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録する相手顔画像登録手段と、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録する情報生成手段と、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する提示手段と、
を有する情報提供システム。
２． 前記相手顔画像登録手段は、
予め登録された前記ユーザの顔画像に基づき、前記店内画像の中から前記ユーザを検出し、
検出した前記ユーザの同伴者を前記店内画像の中から検出し、
前記店内画像から前記同伴者の顔画像を切り出し、前記相手顔画像として登録する１に記載の情報提供システム。
３． 前記相手顔画像登録手段は、
ユーザ入力に基づき、前記相手と同伴して来店する来店日を事前に登録し、
予め登録された前記来店日に生成された前記店内画像に基づき、前記ユーザを検出する処理、前記同伴者を検出する処理、及び前記同伴者の顔画像を切り出し前記相手顔画像として登録する処理を実行する２に記載の情報提供システム。
４． 前記相手顔画像登録手段は、
ユーザ入力に基づき、前記相手の属性を登録し、
前記店内画像の中から検出した前記同伴者の中の、前記店内画像から推定される属性が登録された前記相手の属性と一致する前記同伴者の顔画像を前記店内画像から切り出し、前記相手顔画像として登録する２又は３に記載の情報提供システム。
５． 前記相手顔画像登録手段は、
前記ユーザが入力した前記相手顔画像を取得し、登録する１に記載の情報提供システム。
６． 前記情報生成手段は、
前記相手顔画像及び前記店内画像の少なくとも一方に基づき前記相手の属性を推定し、推定した前記相手の属性に基づき前記ユーザと前記相手の関係性を推定する１から５のいずれかに記載の情報提供システム。
７． 前記提示手段は、
前記ユーザと前記相手との関係性と一致する他の前記ユーザと他の前記相手の組み合わせを特定し、
特定した他の前記ユーザのユーザ識別情報に紐付けて登録されている他の前記相手が関心を示した商品の商品情報を、関連情報として前記ユーザに提示する６に記載の情報提供システム。
８． 前記提示手段は、
前記相手が関心を示した商品の購入用クーポンを前記ユーザに提示する１から７のいずれかに記載の情報提供システム。
９． コンピュータが、
ユーザによる調査の対象である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録し、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録し、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する情報提供方法。
１０． コンピュータを、
ユーザによる調査の対象である相手の顔画像である相手顔画像を取得し、前記ユーザのユーザ識別情報に紐付けて前記相手顔画像を登録する相手顔画像登録手段、
前記相手顔画像に基づき、店内を撮影した店内画像の中から前記相手を検出し、前記店内画像で示される検出した前記相手の店内での行動内容に基づき前記相手が関心を示した商品を特定し、特定した商品の商品情報を前記ユーザ識別情報に紐付けて登録する情報生成手段、
前記ユーザ識別情報に紐付けて登録されている前記相手が関心を示した商品の商品情報を、前記ユーザに提示する提示手段、
として機能させるプログラム。

【0086】

この出願は、２０２０年１０月１５日に出願された日本出願特願２０２０－１７３９６９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0087】

１０ 情報提供システム
１１ 相手顔画像登録部
１２ 情報生成部
１４ 提示部
１５ 記憶部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】