特許 7563573 情報処理装置、情報処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241001BHJP

   G06Q 30/06 20230101ALI20241001BHJP

【ＦＩ】

G06Q50/10

G06Q30/06

【請求項の数】 10

(21)【出願番号】P 2023506473

(86)(22)【出願日】2021-03-17

(86)【国際出願番号】 JP2021010762

(87)【国際公開番号】W WO2022195752

(87)【国際公開日】2022-09-22

【審査請求日】2023-09-04

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】上村 純一

【審査官】塩田 徳彦

(56)【参考文献】

【文献】国際公開第２０１８／１８０５８８（ＷＯ，Ａ１）

【文献】特開２０２０－０３０６４７（ＪＰ，Ａ）

【文献】特開２０２０－１６６６３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

施設に入場した人物を特定する人物特定手段と、
複数の人物により構成されるグループを推定するグループ推定手段と、
前記グループの推定結果を前記人物に提示するグループ提示手段と、
前記グループの推定結果に対する応答に基づいて、前記グループを設定するグループ設定手段と、
を備える情報処理装置。

【請求項2】

前記人物特定手段は、前記施設内又は前記施設外に設置されたカメラが撮像した画像から顔画像を取得し、前記顔画像に基づいて前記人物を特定し、
前記グループ提示手段は、前記グループと推定される人物の顔画像を含む推定結果を提示する請求項１に記載の情報処理装置。

【請求項3】

前記施設内にいる複数の人物間の関連度を算出する関連度算出手段をさらに備え、
前記グループ推定手段は、前記関連度に基づいて前記グループを推定し、
前記関連度算出手段は、前記画像に含まれる人物間の距離、顔の向き、口の開閉、身体的動作及び商品を入れて持ち運ぶ入れ物の共有の有無のいずれか１つ以上のデータに基づいて、関連度を算出する請求項２に記載の情報処理装置。

【請求項4】

前記人物の属性情報を記憶する記憶手段を備え、
前記関連度算出手段は、前記属性情報を用いて前記関連度を算出する請求項３に記載の情報処理装置。

【請求項5】

前記グループを構成する人物の中から決済者を推定する決済者推定手段と、
前記決済者の推定結果を前記人物に提示する決済者提示手段と、
前記決済者の推定結果に対する応答に基づいて、前記決済者を設定する決済者設定手段と、
前記決済者の決済情報に基づいて、前記グループを構成する人物がそれぞれ取得した全ての商品の決済をまとめて行う決済処理手段と、
を備える請求項１乃至４のいずれか一項に記載の情報処理装置。

【請求項6】

前記決済者推定手段は、前記施設内又は前記施設外に設置されたカメラが撮像した画像から顔画像を取得し、前記画像に含まれる人物の推定年齢、入店順、性別、取得した商品を入れて持ち運ぶ入れ物の有無のいずれか１つ以上のデータに基づいて、前記決済者を推定する請求項５に記載の情報処理装置。

【請求項7】

前記グループ推定手段は、前記施設の出口付近に設置されたカメラが撮像した画像に含まれる人物を同じグループに属すると推定する請求項１乃至６のいずれか一項に記載の情報処理装置。

【請求項8】

前記グループ提示手段は、前記グループを構成する人物と、各人物が取得した商品と、各人物が取得した商品の合計金額とを対応付けたリストを、前記グループの推定結果として提示する請求項１乃至７のいずれか一項に記載の情報処理装置。

【請求項9】

コンピュータにより実行される情報処理方法であって、
施設に入場した人物を特定し、
複数の人物により構成されるグループを推定し、
前記グループの推定結果を前記人物に提示し、
前記グループの推定結果に対する応答に基づいて、前記グループを設定する情報処理方法。

【請求項10】

施設に入場した人物を特定し、
複数の人物により構成されるグループを推定し、
前記グループの推定結果を前記人物に提示し、
前記グループの推定結果に対する応答に基づいて、前記グループを設定する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、施設運営を自動化又は省人化する施設管理システムの技術分野に関する。

【背景技術】

【0002】

近年、スーパーマーケットやコンビニエンスストアなどにおいて、無人・省人化ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）店舗が導入されている。昨今の感染症拡大の影響から、今後さらに無人・省人化ＡＩ店舗の需要が増えると予想される。

【0003】

店舗運営を自動化又は省人化するための技術として、特許文献１乃至３が挙げられる。特許文献１には、人物が棚から取り出した商品を自動で判別し、人物と商品を紐付ける物品推定装置が記載されている。また、特許文献２には、視線情報などに基づいて、複数の対象者のうち、少なくとも一部の対象者を含むグループを推定するグループ推定装置が記載されている。さらに、特許文献３には、ネットショッピングにおいて、複数のユーザから構成されるグループで買い物を行い、指定された１人のユーザが一括で支払いを行うショッピング管理装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開ＷＯ２０２０／１７９４８０号公報

【文献】特開２０２０－０９１６２２号公報

【文献】特開２０１５－０９９５０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

この開示は先行技術文献に開示された技術の改善を目的とする。

【課題を解決するための手段】

【0006】

この開示の１つの観点では、情報処理装置は、
施設に入場した人物を特定する人物特定手段と、
複数の人物により構成されるグループを推定するグループ推定手段と、
前記グループの推定結果を前記人物に提示するグループ提示手段と、
前記グループの推定結果に対する応答に基づいて、前記グループを設定するグループ設定手段と、を備える。

【0007】

この開示の他の観点では、コンピュータにより実行される情報処理方法は、
施設に入場した人物を特定し、
複数の人物により構成されるグループを推定し、
前記グループの推定結果を前記人物に提示し、
前記グループの推定結果に対する応答に基づいて、前記グループを設定する。

【0008】

この開示の他の観点では、プログラムは、
施設に入場した人物を特定し、
複数の人物により構成されるグループを推定し、
前記グループの推定結果を前記人物に提示し、
前記グループの推定結果に対する応答に基づいて、前記グループを設定する処理をコンピュータに実行させる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る施設管理システムの構成を示す。

【図2】管理サーバの概略構成を示す。

【図3】登録者情報ＤＢのデータ構成の一例である。

【図4】商品情報ＤＢのデータ構成の一例である。

【図5】入店者情報ＤＢのデータ構成の一例である。

【図6】購入商品リストＤＢのデータ構成の一例である。

【図7】店舗５の様子を示す概略図である。

【図8】グループ確認画面の表示例である。

【図9】購入商品リスト画面の表示例である。

【図10】携帯端末の概略構成を示す。

【図11】第１実施形態に係るグループ決済処理のフローチャートである。

【図12】商品紐付処理のフローチャートである。

【図13】グループ設定処理のフローチャートである。

【図14】第２実施形態に係る施設管理システムの構成を示す。

【図15】第２実施形態に係るグループ決済処理のフローチャートである。

【図16】第３実施形態に係る情報処理装置の構成を示す。

【図17】第３実施形態による処理のフローチャートである。

【発明を実施するための形態】

【0010】

＜第１実施形態＞
以下、図面を参照しながら、この開示の第１実施形態について説明する。
［施設管理システムの構成］
図１は、本実施形態に係る施設管理システム１００の構成を示す。施設管理システム１００は、施設を管理するシステムであって、施設とは、例えば、店舗、空港、駅、遊園地、イベント会場、会社等が挙げられる。本実施形態では、施設の一例として、店舗に本願を適用した場合の具体例を記載する。

【0011】

施設管理システム１００は、主に、管理サーバ１と、ユーザが使用する携帯端末２と、店舗５内又は店舗５外に設置された複数のカメラ１０と、商品棚１４と、入口１６と、出口１８とを備える。入口１６及び出口１８について、ゲートの有無は任意である。

【0012】

管理サーバ１と、カメラ１０とは、ローカルエリアネットワーク、インターネット等の任意のネットワーク３を介して、有線接続又は無線接続の少なくとも一方によって接続される。なお、管理サーバ１と、カメラ１０とは、直接接続されていてもよい。また、管理サーバ１と、携帯端末２とは、インターネット等の任意のネットワーク３を介して、通信可能に接続されている。

【0013】

施設管理システム１００は、まず、店舗５に入店したユーザについて、グループと決済者を推定し、推定結果をユーザに提示する。そして、施設管理システム１００は、推定結果に対するユーザの応答に基づいて、グループと決済者を設定する。さらに、施設管理システム１００は、決済者の決済情報に基づいて、グループに属するユーザが取得した全ての商品の合計金額に対する決済を１度にまとめて行う。ここで、グループとは、家族や友人など一緒に買い物を行うユーザの集まりである。また、決済者とは、グループに属するユーザが取得した全ての商品の代金を支払う者である。

【0014】

ユーザは、１人で、又は、他のユーザと共に入店し、商品棚１４に陳列された商品の中から購入予定の商品（以下、「購入商品」とも呼ぶ。）を取得し、カートへ入れる。具体的に、図１に示すユーザ２０は３０代男性であって、妻であるユーザ２２及び娘であるユーザ２４と共に入店する。カートは、店舗５において、買い物を行うユーザが購入商品を入れて移動する際に使用される入れ物であって、同じグループに属する複数のユーザは、１つのカートを共有している。この開示において、ユーザ２０、ユーザ２２及びユーザ２４は家族であって、１つのグループに属している。また、購入商品の代金を支払うユーザを決済者、グループに属する決済者以外のユーザを同伴者と呼ぶ。図１の例では、ユーザ２０が決済者、ユーザ２２及びユーザ２４が同伴者である。

【0015】

カメラ１０は、撮像装置である。カメラ１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等のイメージセンサを含む。

【0016】

カメラ１０は、店舗５の入口１６付近や、店舗５において商品が陳列されている場所（以下、「売り場」とも呼ぶ。）、店舗５の出口１８付近、店舗５の駐車場等、店舗内又は店舗外の複数の位置に設けられる。入口１６付近に設けられるカメラ１０は、入店するユーザを撮像する。売り場に設けられるカメラ１０は、売り場に存在するユーザ及び商品を撮像する。出口１８付近に設けられるカメラ１０は、退店するユーザを撮像する。駐車場に設けられるカメラ１０は、ユーザが乗っている車や同乗者、ユーザの乗車位置を撮像する。店舗５には、店舗５内のいずれの場所に存在するユーザ及び商品をも撮像可能な配置及び数のカメラ１０が設けられる。カメラ１０は、撮像により取得した画像を含む画像データを管理サーバ１へ送信する。

【0017】

管理サーバ１は、カメラ１０から取得した画像データに基づき、入店したユーザの特定と、各ユーザが取得した購入商品の特定と、グループの推定と、決済者の推定とを行う。そして、管理サーバ１は、推定結果をユーザに提示し、推定結果に対するユーザの応答に基づいて、グループの設定及び決済者の設定を行う。さらに、管理サーバ１は、決済者の決済情報に基づいて、グループに属するユーザが取得した全ての購入商品の合計金額に対する決済を１度にまとめて行う。

【0018】

管理サーバ１は、単一、又は、複数のコンピュータ上で実現される。管理サーバ１は、店舗５に設置されてもよい。また、管理サーバ１は、コンピュータ資源の集合であるクラウド上で実現されてもよい。

【0019】

携帯端末２は、店舗５で買い物をするユーザが使用するスマートフォンやタブレットなど、持ち運び可能な端末装置である。携帯端末２は、管理サーバ１からグループや決済者の推定結果を受信し、グループ確認画面として表示する機能などを有する。また、携帯端末２は、グループ確認画面においてユーザが操作した同伴者の追加、除外や決済者の変更等を、推定結果に対するユーザの応答として管理サーバ１へ送信する機能などを有する。なお、図１では、説明の便宜上、ユーザ２０が使用する携帯端末２のみ表示されているが、店舗５において、他のユーザが携帯端末２を保有していてもよい。

【0020】

［装置構成］
次に、管理サーバ１及び携帯端末２の各構成について図２～図１０を参照して説明する。

【0021】

（管理サーバ）
図２は、管理サーバ１の概略構成を示す。管理サーバ１は、主に、記憶部３１と、データ通信を行う通信部３２と、制御部３３とを備える。これらの要素はバスライン３０により相互に接続されている。

【0022】

記憶部３１は、ハードディスク又はフラッシュメモリといったメモリによって構成される。記憶部３１は、制御部３３が実行するプログラム、及び、制御部３３がプログラムを実行することで所定の処理を実行するのに必要な情報を記憶する。本実施形態では、記憶部３１は、登録者情報ＤＢ（Ｄａｔａｂａｓｅ）３５と、商品情報ＤＢ３６と、入店者情報ＤＢ３７と、購入商品リストＤＢ３８とを含んでいる。なお、記憶部３１は、登録者情報ＤＢ３５、商品情報ＤＢ３６、入店者情報ＤＢ３７、購入商品リストＤＢ３８以外の種々の店舗管理に関する情報を記憶してもよい。

【0023】

登録者情報ＤＢ３５は、店舗５の会員登録をしているユーザ（以下、「登録者」とも呼ぶ。）に関する情報のデータベースである。図３は、登録者情報ＤＢ３５のデータ構成の一例である。図示のように、登録者情報ＤＢ３５は、登録ＩＤ、氏名、連絡情報、決済情報、人物特徴情報、属性情報などの登録者情報を記憶している。なお、店舗５の会員登録は、任意の方法によって行われる。

【0024】

登録ＩＤは、登録者を識別するための識別情報である。氏名は、登録者の氏名である。連絡情報は、登録者と通信するために必要な連絡先に関する情報であって、例えば、登録者の使用する携帯端末２のメールアドレスなどが挙げられる。決済情報は、購入商品の決済処理に利用される情報であって、例えば、登録者のクレジットカード番号や銀行口座番号などが挙げられる。人物特徴情報は、入店したユーザの画像データを用いて、当該ユーザが登録者であるか否かを判定し、登録者であれば誰であるかを特定するための情報である。人物特徴情報は、ユーザの顔を含む領域の画像データそのものであってもよいし、ユーザの顔を含む領域の画像データから算出した特徴量であってもよい。属性情報は、「家族」や「友人」といった登録者間の関係性を示す情報であって、例えば、登録ＩＤ「Ｍ００１」の登録者と登録ＩＤ「Ｍ００２」の登録者が夫婦である場合、登録ＩＤ「Ｍ００１」の属性情報として「Ｍ００２と家族」といった情報が記憶される。

【0025】

商品情報ＤＢ３６は、店舗５で取り扱う商品に関する情報のデータベースである。図４は、商品情報ＤＢ３６のデータ構成の一例である。図示のように、商品情報ＤＢ３６は、商品ＩＤ、商品名、価格及び商品特徴情報などの商品情報を記憶している。商品ＩＤは、商品を識別するための識別情報であって、例えばＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コードなどでもよい。商品名は、商品の名称であり、価格は、商品の価格である。商品特徴情報は、商品を含む領域の画像データを用いて、ユーザが取得した購入商品は何かを特定するための情報である。商品特徴情報は、商品を含む領域の画像データそのものであってもよいし、商品を含む領域の画像データから算出した特徴量であってもよい。

【0026】

入店者情報ＤＢ３７は、店舗５内に存在するユーザに関する情報のデータベースである。図５は、入店者情報ＤＢ３７のデータ構成の一例である。図示のように、入店者情報ＤＢ３７は、登録ＩＤ、仮ＩＤ、氏名、種別、人物画像情報、退店フラグ及びグループＩＤなどの店舗５内に存在するユーザに関する情報を入店者情報として記憶している。なお、入店者情報は、詳細は後述するが、ユーザが入店したタイミングで生成され、ユーザ及び当該ユーザが属するグループが店舗５内に存在する限り、グループ構成の変更などに応じて、随時更新される。

【0027】

登録ＩＤは、入店したユーザが会員登録をした際に発行された登録ＩＤであって、当該ユーザが登録者の場合に記憶される。仮ＩＤは、入店したユーザを識別するために一時的に設定された識別情報であって、当該ユーザが未登録者の場合に発行され、記憶される。氏名は、入店したユーザの氏名であって、当該ユーザが登録者の場合に登録者情報ＤＢ３５を参照して記憶される。種別は、入店したユーザが決済者であるか、同伴者であるか、決済者及び同伴者のいずれか不明な未定であるかを示す情報である。人物画像情報は、入店したユーザの顔を含む領域の画像データ（以下、「顔画像データ」とも呼ぶ。）である。退店フラグは、ユーザが店舗５から出たか（退店済み（ｙ））否か（退店済みでない（ｎ））を示すフラグである。退店フラグは、入店者情報が生成されたタイミングでは「退店済みでない（ｎ）」が設定される。また、退店フラグは、ユーザが店舗５の出口１８から出ると、退店したとみなし、「退店済み（ｙ）」が設定される。グループＩＤは、ユーザが属するグループを識別する識別情報である。

【0028】

なお、ユーザが１人で来店してグループに属していない場合、グループＩＤは、何も記憶せずブランクとしてもよいし、ユーザ１人のグループとみなしてグループＩＤを設定してもよい。また、ユーザが属するグループの候補が複数存在し、１つのグループに特定できない場合、グループＩＤは、候補となる複数のグループＩＤを記憶してもよい。この場合、ユーザが属する確度の高い順にグループＩＤを並べて記憶することが望ましい。

【0029】

購入商品リストＤＢ３８は、店舗５においてユーザが取得した購入商品に関する情報のデータベースである。図６は、購入商品リストＤＢ３８のデータ構成の一例である。図示のように、購入商品リストＤＢ３８は、購入者情報、購入商品ＩＤ、商品名、価格、個数、小計、グループＩＤ及び合計金額などの購入商品リスト情報を記憶している。なお、購入商品リスト情報は、詳細は後述するが、ユーザが購入商品を取得したタイミングで生成され、ユーザ及び当該ユーザが属するグループが店舗５内に存在する限り、随時更新される。

【0030】

購入者情報は、商品棚１４から購入商品を取り出して取得したユーザを示す情報であって、登録者ＩＤ及び仮ＩＤから構成されている。購入者情報は、ユーザが登録者である場合は登録者ＩＤが記憶され、ユーザが未登録者である場合は仮ＩＤが記憶される。購入商品ＩＤは、購入商品の商品ＩＤである。商品名は、購入商品の商品名であり、価格は購入商品の価格である。商品名及び価格は、購入商品の商品ＩＤに基づいて商品情報ＤＢ３６を参照して記憶される。個数は、購入商品の個数である。小計は、各ユーザが取得した購入商品の価格の合計金額である。グループＩＤは、ユーザが属するグループのグループＩＤである。合計金額は、グループに属するユーザが取得した全ての購入商品の価格の合計金額である。

【0031】

なお、ユーザが１人で来店してグループに属していない場合、グループＩＤ及び合計金額は、何も記憶されずブランクとしてもよいし、ユーザ１人のグループとみなしてグループＩＤ及び合計金額を記憶してもよい。

【0032】

通信部３２は、有線又は無線通信により、携帯端末２及びカメラ１０と通信する。

【0033】

制御部３３は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備え、管理サーバ１内の各構成要素に対して種々の制御を行う。本実施形態では、制御部３３は、人物特定部４０と、追跡部４１と、関連度算出部４２と、紐付部４３と、グループ推定部４４と、提示部４５と、受付部４６と、グループ設定部４７と、決済者設定部４８と、決済処理部４９とを含んでいる。

【0034】

人物特定部４０は、カメラ１０から取得したユーザの画像データを用いて、入店したユーザを特定する。具体的に、人物特定部４０は、店舗５の入口１６付近に設けられたカメラ１０から、入店したユーザの画像データを取得し、当該ユーザの人物特徴情報を取得する。このとき、人物特定部４０は、入店したユーザの画像データから顔画像データを取得してもよい。そして、人物特定部４０は、入店したユーザの人物特徴情報と、登録者情報ＤＢ３５から読み出した各登録者の人物特徴情報とを比較することによって、入店したユーザが登録者であるか否か、登録者であれば誰であるかを特定する。入店したユーザが登録者であれば、人物特定部４０は、登録者情報ＤＢ３５から読み出した登録ＩＤ及び氏名と、ユーザの顔画像データと、退店フラグ（ｎ）とを含む新たな入店者情報を生成し、入店者情報ＤＢ３７に記憶する。一方、入店したユーザが登録者でなければ、人物特定部４０は、発行した仮ＩＤと、ユーザの顔画像データと、退店フラグ（ｎ）とを含む新たな入店情報を生成し、入店者情報ＤＢ３７に記憶する。

【0035】

追跡部４１は、カメラ１０から取得したユーザの画像データを用いて、各ユーザの店内における動きを追跡し、追跡データとして取得する。具体的に、追跡部４１が追跡したユーザ２０、ユーザ２２及びユーザ２４の動きを、図１に点線で示す。追跡部４１は、ユーザが店舗５の出口１８から出ると、退店したとみなし、入店者情報ＤＢ３７の退店フラグを「退店済み（ｙ）」とする。

【0036】

関連度算出部４２は、カメラ１０から取得したユーザの画像データや追跡部４１による追跡データなどを用いてインタラクション検知を行い、任意の判定要素により、複数のユーザ間の関連度を算出する。関連度を算出する判定要素としては、例えば、ユーザ間の距離、顔の向き、口の開閉、身体的動作及び商品を入れて持ち運ぶ入れ物の共有の有無などが挙げられる。関連度算出部４２は、店内における画像データや追跡データなどの情報に限らず、例えば、同じ車で来た、他のお店でも一緒に買い物をしていたなど、駐車場や他の店舗での画像データや追跡データなどの情報も含めて関連度を算出する。関連度算出部４２による関連度の算出は、随時行われる。

【0037】

ここで、関連度を算出する判定要素について詳しく説明する。判定要素であるユーザ間の距離は、ユーザの画像データに基づいて、実世界上での各ユーザの座標を認識することで計測される。具体的に、関連度算出部４２は、機械学習による人体検出と、カメラキャリブレーションとにより計測したユーザ間の物理的な距離を、ユーザ間の距離に関するデータとして取得する。

【0038】

判定要素である顔の向きは、ユーザの画像データに基づいて、視線を分析することで検出される。具体的に、関連度算出部４２は、機械学習による顔向き検出及び視線検出により、ユーザの顔の向きと何を見ているかを認識し、目を合わせているユーザの登録ＩＤ又は仮ＩＤを顔の向きに関するデータとして取得する。また、関連度算出部４２は、同時に同じものを見ている複数のユーザの登録ＩＤ又は仮ＩＤを顔の向きに関するデータとして取得する。

【0039】

さらに、関連度算出部４２は、ユーザ同士が同じタイミングで目を合わせているだけでなく、所定のユーザへの顔向きと目線を向けた回数を顔の向きに関するデータとして取得する。具体的に、所定のユーザへの顔向きと目線を向けた回数とは、例えば、ユーザＡがユーザＢを見た回数などであって、後述するグループ推定部４４は、顔向きと目線を向けた回数が所定回数以上の場合に、そのユーザ同士を同じグループと推定してもよい。グループ推定部４４がユーザ同士を同じグループと推定する条件は、例えば、「ユーザＡがユーザＢを見た回数が５回を超える場合」、「ユーザＡがユーザＢを見た回数が３回を超え、且つ、ユーザＢがユーザＡを見た回数が３回を超える場合」など任意に設定することができる。

【0040】

判定要素である口の開閉は、ユーザの画像データに基づいて、ユーザの口元を分析することで検出する。具体的に、関連度算出部４２は、機械学習による発話検知により、発話しているユーザの登録ＩＤ又は仮ＩＤを口の開閉に関するデータとして取得する。

【0041】

判定要素である身体的接触は、ユーザの画像データに基づいて、人の骨格、姿勢、体形、外観又はシルエット等を推定し、例えば、腕を組んでいる、手をつないでいるといったユーザ同士の身体的接触を検出する。具体的に、関連度算出部４２は、機械学習によるポーズ推定により、身体的接触をしているユーザの登録ＩＤ又は仮ＩＤを身体的接触に関するデータとして取得する。

【0042】

判定要素である入れ物の共有の有無は、ユーザの画像データに基づいて、購入商品を入れるカート、かご、エコバッグなどの入れ物を複数のユーザで共有しているか否かを検出する。具体的に、関連度算出部４２は、入れ物を共有しているユーザの登録ＩＤ又は仮ＩＤをデータとして取得する。

【0043】

なお、関連度算出部４２は、１つの判定要素から関連度を算出してもよいし、複数の判定要素を組み合わせて関連度を算出してもよい。例えば、関連度算出部４２は、「口の開閉」と「顔の向き」といった２つの判定要素により、会話しているユーザ同士を検出して関連度を算出してもよい。また、関連度算出部４２は、属性情報を加味して、関連度を算出してもよい。また、関連度算出部４２は、画像データに限らず、追跡データを用いて関連度を算出してもよい。

【0044】

紐付部４３は、カメラ１０から取得したユーザの画像データを用いて、購入商品を取得したユーザ、及び、取得された購入商品を特定する。また、紐付部４３は、特定したユーザと購入商品を紐付け、購入商品リストＤＢ３８に記憶する。

【0045】

図７は、第１実施形態に係る店舗５の様子を示す概略図である。店舗５には商品棚１４が設置されており、商品棚１４には商品が並べられる。また、商品棚１４の近傍において、ユーザ２０の顔及び購入商品５１を含む領域を撮像できる位置にカメラ１０が設けられる。

【0046】

具体的に、紐付部４３は、商品を含む領域の画像データをカメラ１０から取得し、当該画像データから購入商品５１の商品特徴情報を取得する。紐付部４３は、購入商品５１の商品特徴情報を用いて、商品棚１４から購入商品５１が取り出されることを検出する。商品棚１４から購入商品５１が取り出されることの検出は、例えば、時系列で連続する複数の画像データの間で、購入商品５１の商品特徴情報が商品棚１４に対応する領域の中から外へ（あるいは接する位置から接しない位置へ）移動することを検出することによって行われる。画像データの中の商品棚１４に対応する領域は、画像データ中の座標として予め記録されてもよく、画像データから商品棚１４を画像認識することによって決定されてもよい。また、紐付部４３は、画像データから購入商品５１がカートに入れられることを検出することによって、ユーザ２０による購入商品５１の取得を検出してもよい。紐付部４３は、購入商品５１の商品特徴情報と、商品情報ＤＢ３６から読み出した商品特徴情報とを比較することによって、購入商品５１を特定し、当該購入商品５１の商品ＩＤ、商品名及び価格を取得する。

【0047】

さらに、紐付部４３は、購入商品５１を取り出したユーザ２０の顔画像データをカメラ１０から取得する。購入商品５１を取り出したユーザ２０は、例えば、購入商品５１に最も近いユーザである。紐付部４３は、購入商品５１を取り出したユーザ２０の顔画像データの人物特徴情報と、入店者情報ＤＢ３７から読み出した顔画像データの人物特徴情報とを比較することによって、購入商品５１を取り出したユーザ２０を特定し、当該ユーザ２０の登録ＩＤ又は仮ＩＤを取得する。

【0048】

そして、紐付部４３は、購入商品５１を取り出したユーザ２０の登録ＩＤ又は仮ＩＤと、購入商品５１の商品ＩＤと、商品名と、価格と、個数とを購入商品リストＤＢ３８に記憶する。このとき、紐付部４３は、小計を算出し、併せて購入商品リストＤＢ３８に記憶する。また、ユーザがグループに属している場合、紐付部４３は、合計金額を算出し、購入商品リストＤＢ３８を更新する。

【0049】

なお、購入商品５１を取り出したユーザ２０の特定方法は、ユーザの手を含む領域の画像データをカメラ１０から取得して当該手の位置や動きに基づく方法、追跡データに基づく方法などを適用してもよい。

【0050】

グループ推定部４４は、カメラ１０から取得した画像データ、属性情報及び関連度などに基づいて、複数のユーザにより構成されるグループを推定する。例えば、グループ推定部４４は、属性情報を加味して、関連度が閾値以上のユーザ同士を同じグループに属すると推定する。なお、関連度が閾値以上のユーザが存在しない場合、グループ推定部４４は、ユーザが１人で買い物をしていると推定する。グループ推定部４４によるグループの推定は、ユーザが店舗５内に存在している間、随時行われる。

【0051】

このように、種々の判定要素を組み合わせて算出した関連度に基づいてグループを推定することで、管理サーバ１は、グループ設定の精度を向上させることができる。また、予め入店前に記憶された属性情報を加味することで、管理サーバ１は、より正確にグループの推定及び設定をすることが可能となる。

【0052】

また、グループ推定部４４は、グループを構成するユーザの中から決済者を推定する。グループ推定部４４は、ユーザが１人で買い物をしていると推定した場合、当該ユーザを決済者と推定する。

【0053】

なお、グループ推定方法及び決済者推定方法の詳細は、後述する。

【0054】

提示部４５は、グループ推定部４４によるグループの推定結果をユーザに提示する。また、提示部４５は、グループ推定部４４による決済者の推定結果をユーザに提示する。具体的に、提示部４５は、当該グループの決済者として推定又は設定されたユーザに、推定結果を提示する。決済者として推定又は設定されたユーザは、決済情報を記憶している登録者であるため、登録者情報３５から読み出した連絡情報に基づいて、当該ユーザが使用する携帯端末２へ推定結果を送信する。提示部４５は、例えば、グループ確認画面を推定結果として送信する。携帯端末２は、受信したグループ確認画面を表示し、ユーザは、グループ確認画面において後述する所定の操作を行う。

【0055】

このように、決済者として推定又は設定されたユーザに推定結果を提示することで、購入商品の代金を支払うユーザが、グループに属する他のユーザの追加や除外を行うことできる。

【0056】

ここで、グループ確認画面について説明する。図８は、グループ確認画面の一例である。図８（ａ）に示すように、グループ確認画面は、ユーザへの指示６０と、決済者と推定されたユーザの顔画像データ（以下、「決済者顔画像データ」とも呼ぶ。）６１と、同伴者と推定されたユーザの顔画像データ（以下、「同伴者顔画像データ」とも呼ぶ。）６２及び６３と、修正ボタン６４と、追加ボタン６５及び６７と、除外ボタン６６及び６８とを有する。

【0057】

決済者顔画像データ６１は、決済者と推定されたユーザの顔画像データであって、入店者情報ＤＢ３７から読み出される。修正ボタン６４は、指示６０に記載された通り、決済者が異なる場合に押下し、正しい決済者を指定するためのボタンである。具体的に、ユーザは、修正ボタン６４を押下した後、正しい決済者の氏名や登録ＩＤを入力することで決済者を指定してもよいし、携帯端末２に内蔵されたカメラで正しい決済者を撮像し、正しい決済者の顔画像データを送信することで決済者を指定してもよい。

【0058】

同伴者顔画像データ６２及び６３は、同伴者と推定されたユーザの顔画像データであって、入店者情報ＤＢ３７から読み出される。追加ボタン６５及び６７は、指示６０に記載された通り、同伴者顔画像データ６２及び６３がそれぞれ示すユーザが同伴者である場合に押下し、当該ユーザが同じグループに属することを承認するボタンである。一方、除外ボタン６６及び６８は、指示６０に記載された通り、同伴者顔画像データ６２及び６３がそれぞれ示すユーザが同伴者ではない場合に押下し、当該ユーザが同じグループに属することを認めず、除外するボタンである。ユーザによる各種ボタンの押下や所定の操作は、推定結果に対する応答として携帯端末２から管理サーバ１へ送信される。

【0059】

このように、ユーザの顔画像データを含むグループ確認画面を推定結果として提示することで、ユーザは、自身が属するグループを構成するユーザを認識しやすい。よって、ユーザは、推定結果に対する応答を正確に行うことができ、管理サーバ１は、グループ設定の精度を高めることができる。

【0060】

なお、グループ確認画面に一緒に買い物をしているユーザが含まれていない場合、ユーザは、携帯端末２に内蔵されたカメラで一緒に買い物をしているユーザを撮像し、顔画像データを管理サーバ１に送信することで、同じグループに属するユーザを指定してもよい。具体的に、図１に示すユーザ２０は、グループの推定結果であるグループ確認画面に自分の娘であるユーザ２４が含まれていない場合、携帯端末２に内蔵されたカメラでユーザ２４を撮像し、当該ユーザ２４の顔画像データを管理サーバ１に送信する。管理サーバ１は、ユーザ２４の顔画像データに基づいて、店舗５内に当該顔画像データが示すユーザ存在するか否かを確認し、存在する場合は、ユーザ２４がユーザ２０と同じグループに属すると設定する。

【0061】

また、本実施形態では、推定結果として図８（ａ）に示すようなグループ確認画面を提示しているが、これに限らず、推定結果の提示とユーザによる応答が可能であれば、その画面構成は任意である。例えば、図８（ｂ）に示すように、決済者顔画像データ及び同伴者顔画像データが示す各ユーザが取得した購入商品が分かるように、購入商品リスト情報に基づく購入商品リスト７０を併せて表示することとしてもよい。これによれば、ユーザは、各ユーザが何を購入したかを確認した上で、同じグループに追加するか、それとも除外するかを決めることができる。

【0062】

また、提示部４５による推定結果の提示は、ユーザの入店時の他、グループの構成が変化した任意のタイミングで行われる。さらに、提示部４５は、グループの決済者として推定又は設定されたユーザに限らず、グループに属する全てのユーザに推定結果を提示してもよい。具体的に、店舗５にユーザが自由に使用できる共有端末が設けられている場合、提示部４５は、推定結果を共有端末に送信することで、全てのユーザに推定結果を提示することが可能となる。ここで、共有端末は、携帯端末２と同様のタブレット端末などであって、管理サーバ１と通信可能に接続されている。

【0063】

受付部４６は、提示部４５により提示された推定結果に対するユーザの応答を、通信部３２を介して、ユーザが使用する携帯端末２から受け付ける。具体的に、受付部４６は、応答として推定結果に対する修正、ユーザの指定、追加及び除外などに関する情報を取得する。

【0064】

グループ設定部４７は、推定結果と、当該推定結果に対する応答とに基づいて、グループを設定する。そして、グループ設定部４７は、グループを識別するグループＩＤを発行し、入店者情報ＤＢ３７において、グループに属する各ユーザのグループＩＤを記憶する。グループに属していないユーザのグループＩＤは、例えば、ハイフンが記憶される。また、グループ設定部４７は、購入商品リストＤＢ３８において、グループに属する各ユーザのグループＩＤを記憶するとともに、同じグループに属するユーザが取得した全ての購入商品の合計金額を算出して記憶する。

【0065】

決済者設定部４８は、推定結果と、当該推定結果に対する応答とに基づいて、決済者を設定する。そして、決済者設定部４８は、入店者情報ＤＢ３７において、決済者であるユーザの種別を決済者、同伴者であるユーザの種別を同伴者と記憶する。

【0066】

決済処理部４９は、グループに属する全てのユーザが店舗５の出口１８から出たタイミングで、登録者情報ＤＢ３５を参照して決済者の決済情報により、当該グループに属するユーザがそれぞれ取得した全ての購入商品の決済処理をまとめて行う。決済処理とは、決済情報により、代金の支払いを行う処理である。具体的に、決済処理部４９は、生体認証により決済者を認証するとともに、認証された決済者の決済情報に基づいて決済処理を行う。ここで、生体認証としては、例えば、顔画像、虹彩、指紋、歩容、声などを用いる認証が挙げられる。

【0067】

なお、提示部４５は、決済処理部４９による決済処理が行われる前に、通信部３２を介して、決済者が使用している携帯端末２に購入商品リスト情報を送信してもよい。図９は、購入商品リスト画面の一例である。具体的に、図９（ａ）に示すように、購入商品リスト画面は、決済者顔画像データ及び同伴者顔画像データを含み、顔画像データが示す各ユーザが取得した購入商品の商品名、個数、価格及び小計と、各ユーザがそれぞれ取得した全ての購入商品の合計金額と、承認ボタン７２とを表示する。この場合、決済処理部４９は、ユーザにより承認ボタン７２が押下されると、通信部３２を介して、携帯端末２から購入商品リストを承認した旨の情報を取得し、全ての購入商品の決済を行う。つまり、決済処理部４９は、ユーザが購入商品を確認して決済を承認してから、決済処理を行うこととしてもよい。

【0068】

また、購入商品リスト画面は、決済者顔画像データ及び同伴者顔画像データを含むものに限られず、図９（ｂ）に示すように、グループを構成するユーザと、各ユーザが取得した購入商品との対応が分かれば、その画面構成は任意である。

【0069】

なお、上記の構成において、記憶部３１は記憶手段の一例であり、人物特定部４０は人物特定手段の一例であり、関連度算出部４２は関連度算出手段の一例である。また、グループ推定部４４はグループ推定手段及び決済者推定手段の一例であり、提示部４５はグループ提示手段及び決済者提示手段の一例であり、グループ設定部４７はグループ設定手段の一例であり、決済者設定部４８は決済者設定手段の一例である。また、決済処理部４９は決済処理手段の一例であり、警戒処理部５０は警戒処理手段の一例である。

【0070】

（携帯端末）
図１０は、携帯端末２の概略構成を示す。携帯端末２は、主に、表示部９１と、入力部９２と、記憶部９３と、通信部９４と、制御部９５とを備える。これらの各要素は、バスライン９０を介して相互に接続されている。

【0071】

表示部９１は、制御部９５の制御に基づき、グループ確認画面や購入商品リスト画面などの各種情報の表示を行う。

【0072】

入力部９２は、グループ確認画面や購入商品リスト画面において、所定の操作によるユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、音声入力装置などが該当する。

【0073】

記憶部９３は、ハードディスク又はフラッシュメモリといったメモリによって構成される。記憶部９３は、制御部９５が実行するプログラム、及び、制御部９５がプログラムを実行することで所定の処理を実行するのに必要な情報を記憶する。例えば、記憶部９３には、店舗５において買い物を行う際に起動され、グループ確認画面や購入商品リスト画面などの種々の画面の表示を制御するための専用のアプリケーションプログラムが記憶されていてもよい。

【0074】

通信部９４は、無線通信により、管理サーバ１と通信する。制御部９５は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭなどを備え、携帯端末２内の各構成要素に対して種々の制御を行う。

【0075】

［グループ推定方法及び決済者推定方法］
次に、グループ推定方法及び決済者推定方法について説明する。

【0076】

（入店前のユーザの行動に基づくグループ推定方法）
夫婦や親子といった家族であるユーザ同士は、予め入店前にその旨を登録者情報ＤＢ３５に属性情報として記憶しておく。この場合、グループ推定部４４は、登録者情報ＤＢ３５から読み出した属性情報に基づいて、店舗５内に存在するユーザのグループを推定する。なお、属性情報を用いず、会員登録時のアカウントを家族内で連携させてもよい。また、家族であっても、ユーザが未成年などで会員登録をすることができず、アカウントを保有していない場合、当該ユーザの顔写真を予め登録し、登録者情報ＤＢ３５に記憶してもよい。

【0077】

グループ推定部４４は、店舗外の駐車場に設けられたカメラ１０から取得した画像データに基づいて関連度を算出し、店舗５内に存在するユーザのグループを推定してもよい。具体的に、グループ推定部４４は、画像データに基づいて、同じ車に乗っていたユーザを同じグループと推定する。

【0078】

店舗５が大型ショッピングモールの施設である場合、グループ推定部４４は、当該ショッピングモールの別の店舗において設定したグループを、店舗５内に存在するユーザのグループと推定してもよい。この場合、当該ショッピングモールに設置された店舗間で、登録者情報ＤＢ３５や入店者情報ＤＢ３７を共有する。

【0079】

ユーザが過去に店舗５を利用した際の入店者情報や購入商品リスト情報を履歴情報として記憶部３１に記憶しておき、グループ推定部４４が、当該履歴情報に基づいて関連度を算出し、店舗５内に存在するユーザのグループを推定するようにしてもよい。具体的に、前回一緒に入店したユーザは、同じグループに属する可能性が高いため、グループ推定部４４は、今回も同じグループであると推定する。

【0080】

ユーザが携帯端末２を用いて店舗５での買い物に使用する商品購入アプリ（例えば、Ａｍａｚｏｎアプリ）が、他のＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）アプリ（例えば、Ｌｉｎｅ、Ｆａｃｅｂｏｏｋなど）と連携している場合、グループ推定部４４は、ＳＮＳアプリでフレンドなどの関係性を持つユーザを特定し、特定したユーザ同士が店舗５内に存在していれば、当該ユーザ同士を同じグループと推定してもよい。

【0081】

ユーザが携帯端末２において使用するＳＮＳアプリの情報に基づいて、複数のユーザの時刻と位置情報が同じであれば、グループ推定部４４は、当該複数のユーザを同じグループに推定してもよい。

【0082】

（入店前のユーザの行動に基づく決済者推定方法）
夫婦や親子といった家族であるユーザ同士は、予め入店前に家族の中で誰が決済者であるかを指定し、登録者情報ＤＢ３５に種別として記憶しておく。この場合、グループ推定部４４は、登録者情報ＤＢ３５から読み出した種別に基づいて、グループの決済者を推定する。

【0083】

友人同士は、割り勘にするのか、一括決済するのか、誰が決済するのか等がその都度異なり、家族のように予め属性情報や種別として記憶しておくことは難しい。そのため、グループ推定部４４は、入口１６付近に設けられるカメラ１０から取得した画像データに基づいて、グループ内で最初に入店したユーザを決済者として推定してもよい。

【0084】

グループ推定部４４は、店舗外の駐車場に設けられたカメラ１０から取得した画像データに基づいて、車を運転しているユーザを決済者と推定してもよい。また、グループ推定部４４は、店舗外に設けられたカメラ１０から取得した画像データに基づいて、ユーザの来店手段を特定し、来店手段が車であるユーザを決済者と推定してもよい。

【0085】

（入店中のユーザの行動に基づくグループ推定方法）
関連度算出部４２は、店舗５におけるユーザ同士のインタラクション検知によって関連度を算出し、グループ推定部４４は、当該関連度に基づいて、グループを推定する。このとき、関連度算出部４２は、属性情報や追跡データを加味して関連度を算出してもよいし、グループ推定部４４は、属性情報や追跡データを加味してグループを推定してもよい。

【0086】

（入店中のユーザの行動に基づく決済者推定方法）
グループ推定部４４は、店舗５内に設けられたカメラ１０から取得した画像データに基づいて、カートを押しているユーザを決済者に推定する。なお、カートに限らず、グループ推定部４４は、かごやエコバッグといった購入商品を入れる入れ物を持っているユーザを決済者に推定してもよい。

【0087】

グループ推定部４４は、店舗５内に設けられたカメラ１０から取得した画像データに基づいて、ユーザの外見情報を取得し、当該外見情報に基づいて決済者を推定してもよい。具体的に、グループ推定部４４は、外見情報から判別可能な推定年齢、性別、身長、体形服装、アクセサリーなどに基づいて、例えば予め設定された「４０代男性」や「ブランド品を身に着けている」などの条件に合致したユーザを決済者に推定する。

【0088】

店舗５内に設けられたカメラ１０から音声データを取得できる場合、グループ推定部４４は、画像データ及び音声データに基づいて、「今日は私が払う」など支払を行う旨の発言したユーザを特定し、当該ユーザを決済者と推定してもよい。

【0089】

店舗５内に設けられたカメラ１０やセンサからユーザの心拍数や体温に関する身体データを取得できる場合、決済者は緊張状態である可能性が高いため、グループ推定部４４は、身体データに基づいて、心拍数や体温が高いユーザを決済者と推定してもよい。

【0090】

グループ推定部４４は、グループの中で登録者情報ＤＢ３５に決済情報が記憶されている、即ち登録者であるユーザが１人であれば、当該ユーザを決済者と推定する。

【0091】

ユーザが過去に店舗５を利用した際の入店者情報や購入商品リスト情報を履歴情報として記憶部３１に記憶しておき、グループ推定部４４が、履歴情報に基づいて、過去に決済者となったユーザを決済者と推定してもよい。また、グループ推定部４４は、例えば、履歴情報に基づいて過去の購入商品よりも安い購入商品を取得している場合はユーザ自身が決済者である可能性が高いと判断し、当該ユーザを決済者と推定してもよい。

【0092】

このように、予め入店前に決済者を記憶部３１に記憶していなくても、グループ推定部４４は、入店中のユーザの行動に基づいて、決済者を推定することができる。

【0093】

（決済直前のユーザの行動に基づくグループ推定方法）
出口１８付近にカメラ１０や共有端末が設けられる場合、一緒に買い物をしている複数のユーザは全員で当該カメラ１０や共有端末に撮像されるものとする。この場合、グループ推定部４４は、当該カメラ１０や共有端末から取得した画像データに基づいて、当該画像データに含まれるユーザは同じグループに属すると推定してもよい。

【0094】

店舗５の出口１８付近に設けられたカメラ１０から取得した画像データに基づいて、インタラクション検知により、グループ推定部４４は、出口１８付近で腕を組んでいたり、握手をしたりしたユーザ同士は同じグループに属すると推定してもよい。

【0095】

このように、出口付近で取得されたグループ全員が含まれる画像データを用いることで、グループ推定部４４は、正確にユーザが属するグループと、当該グループを構成するユーザとを推定及び設定することができる。

【0096】

（決済直前のユーザの行動に基づく決済者推定方法）
出口１８付近に設けられたカメラ１０や共有端末から取得した画像データに基づいて、グループ推定部４４は、出口付近で手を挙げているユーザを決済者と推定してもよい。

【0097】

なお、グループ推定部４４は、上述した１つ以上の要素を組み合わせて、店舗５内に存在するユーザのグループを推定する。

【0098】

［グループ決済処理］
次に、施設管理システム１００によるグループ決済処理の概要について説明する。グループ決済処理は、店舗５に入店したユーザについて、グループと決済者を設定する処理である。また、グループ決済処理は、決済者の決済情報に基づいて、グループに属するユーザが取得した全ての購入商品の合計金額に対する決済をまとめて行う処理である。

【0099】

図１１は、第１実施形態に係るグループ決済処理の概要を示すフローチャートである。グループ決済処理は、商品紐付処理Ｓ２００と、グループ設定処理Ｓ３００とを有する。なお、グループ決済処理は、主として管理サーバ１が、予め用意されたプログラムを実行することにより実現される。

【0100】

ユーザが店舗５に入ると、管理サーバ１は、入口１６付近に設けられたカメラ１０から取得した画像データに基づいて、入店したユーザを特定する（ステップＳ１００）。具体的に、管理サーバ１は、取得した画像データに基づいて、ユーザの顔画像データ及び人物特徴情報を取得する。そして、管理サーバ１は、入店したユーザの人物特徴情報と、登録者情報ＤＢ３５から読み出した各登録者の人物特徴情報とを比較することによって、入店したユーザが登録者であるか否か、登録者であれば誰であるかを特定する。

【0101】

管理サーバ１は、特定したユーザが登録者であるか否かを判定し（ステップＳ１０１）、ユーザが登録者である場合（ステップＳ１０１；Ｙｅｓ）、登録者情報ＤＢ３５から読み出した登録ＩＤ及び氏名と、ユーザの顔画像データと、退店フラグ（ｎ）とを含む新たな入店者情報を生成し、入店者情報ＤＢ３７に記憶する（ステップＳ１０２）。一方、ユーザが登録者ではない場合（ステップＳ１０１；Ｎｏ）、管理サーバ１は、仮ＩＤを発行し、当該仮ＩＤと、ユーザの顔画像データと、退店フラグ（ｎ）とを含む新たな入店情報を生成し、入店者情報ＤＢ３７に記憶する（ステップＳ１０３）。

【0102】

そして、管理サーバ１は、カメラ１０から取得したユーザの画像データを用いて、各ユーザの店内における動きを追跡し、追跡データを取得する（ステップＳ１０４）。さらに管理サーバ１は、商品紐付処理を行う（ステップＳ２００）。

【0103】

次に、商品紐付処理について説明する。商品紐付処理は、ユーザが取得した購入商品と、当該ユーザとを紐付ける処理である。図１２は、商品紐付処理のフローチャートである。この処理は、管理サーバ１により実行される。

【0104】

管理サーバ１は、カメラ１０から取得した画像データに基づいて、ユーザにより商品が取得されたか否かを判定する（ステップＳ２０１）。具体的に、管理サーバ１は、商品を含む領域の画像データをカメラ１０から取得し、当該画像データから商品特徴情報を取得する。そして、管理サーバ１は、商品特徴情報を用いて、商品棚１４から商品が取り出されることを検出する。商品が取得されていない場合（ステップＳ２０１；Ｎｏ）、管理サーバ１は、商品紐付処理を終了し、図１１に示すグループ決済処理のステップＳ３００の処理へ進む。

【0105】

一方、商品が取得された場合（ステップＳ２０１；Ｙｅｓ）、管理サーバ１は、カメラ１０から取得した画像データを用いて、取得された商品、及び、商品を取得したユーザを特定する（ステップＳ２０２）。具体的に、管理サーバ１は、購入商品の商品特徴情報と、商品情報ＤＢ３６から読み出した商品特徴情報とを比較することによって、購入商品を特定し、当該購入商品の商品ＩＤ、商品名及び価格を取得する。また、管理サーバ１は、購入商品を取り出したユーザの顔画像データの人物特徴情報と、入店者情報ＤＢ３７から読み出した顔画像データの人物特徴情報とを比較することによって、購入商品を取り出したユーザを特定し、当該ユーザの登録ＩＤ又は仮ＩＤを取得する。そして、管理サーバ１は、特定した購入商品とユーザを紐付け、購入商品リストＤＢ３８に記憶する（ステップＳ２０３）。これにより、管理サーバ１は、商品紐付処理を終了し、図１１に示すグループ決済処理のステップＳ３００の処理へ進む。

【0106】

次に、グループ設定処理について説明する。グループ設定処理は、ユーザが属するグループと、当該グループの決済者とを設定する処理である。図１３は、グループ設定処理のフローチャートである。この処理は、管理サーバ１により実行される。

【0107】

管理サーバ１は、カメラ１０から取得したユーザの画像データや追跡部４１による追跡データなどを用いてインタラクション検知を行い、任意の判定要素により、店舗５内に存在する複数のユーザ間の関連度を算出する（ステップＳ３０１）。関連度を算出する判定要素としては、例えば、ユーザ間の距離、顔の向き、口の開閉、身体的動作及び商品を入れて持ち運ぶ入れ物の共有の有無などが挙げられる。管理サーバ１は、関連度の算出を随時行う。

【0108】

そして、管理サーバ１は、予め記憶された属性情報や算出した関連度に基づいて、複数のユーザにより構成されるグループを推定する。例えば、グループ推定部４４は、属性情報を加味して、関連度が閾値以上のユーザ同士を、同じグループに属すると推定する（ステップＳ３０２）。なお、管理サーバ１は、関連度が閾値以上のユーザが存在しない場合などに、ユーザがグループに属さず、１人で買い物をしていると推定する。

【0109】

さらに、管理サーバ１は、グループを構成するユーザの中から決済者を推定する（ステップＳ３０３）。ユーザがグループに属さず、１人で買い物をしていると推定した場合、管理サーバ１は、当該ユーザを決済者と推定する。

【0110】

次に、管理サーバ１は、グループ及び決済者の推定結果をユーザに提示する（ステップＳ３０４）。具体的に、管理サーバ１は、グループや決済者の推定結果を、当該グループの決済者として推定又は設定されたユーザに提示する。決済者として推定又は設定されたユーザは、基本的に決済情報を記憶している登録者であるため、管理サーバ１は、登録者情報３５から読み出した連絡情報に基づいて、グループや決済者の推定結果を当該ユーザが使用する携帯端末２へ送信する。具体的に、管理サーバ１は、グループ確認画面を推定結果として携帯端末２へ送信する。

【0111】

携帯端末２は、受信したグループ確認画面を表示し、ユーザは、グループ確認画面において、指示に従って所定の操作を行う。管理サーバ１は、通信部３２を介して、携帯端末２から、ユーザによる所定の操作に関する情報を、推定結果に対する応答として受け付ける（ステップＳ３０５）。具体的に、管理サーバ１は、応答として推定結果に対する修正などに関する情報を取得する。

【0112】

管理サーバ１は、推定結果に対する応答に修正が含まれているか否かを判定する（ステップＳ３０６）。ここで、修正とは、グループの推定結果に対する同伴者の除外に関する情報と、決済者の推定結果に対する修正に関する情報である。

【0113】

推定結果に対する応答に修正が含まれている場合（ステップＳ３０６；Ｙｅｓ）、管理サーバ１は、推定したグループ及び決済者を修正する（ステップＳ３０７）。具体的に、グループの推定結果に対する同伴者の除外に関する情報が含まれている場合、管理サーバ１は、除外ボタンが押下された同伴者をグループから除外し、追加ボタンが押下された同伴者のみをグループに設定する。また、決済者の推定結果に対する修正に関する情報が含まれている場合、管理サーバ１は、修正に従って決済者を設定する（ステップＳ３０８）。一方、推定結果に対する応答に修正が含まれていない場合（ステップＳ３０６；Ｎｏ）、管理サーバ１は、推定したグループ及び決済者を、そのままグループ及び決済者に設定する（ステップＳ３０８）。

【0114】

グループ及び決済者の設定が完了すると、管理サーバ１は、入店者情報ＤＢ３７及び購入商品リストＤＢ３８を更新する（ステップＳ３０９）。具体的に、管理サーバ１は、グループを設定すると、グループを識別するグループＩＤを発行し、入店者情報ＤＢ３７において、グループに属する各ユーザのグループＩＤを記憶する。グループに属していないユーザのグループＩＤは、例えば、ハイフンが記憶される。さらに、管理サーバ１は、購入商品リストＤＢ３８において、グループに属する各ユーザのグループＩＤを記憶し、同じグループに属するユーザが取得した全ての購入商品の合計金額を算出して記憶する。また、管理サーバ１は、決済者を設定すると、入店者情報ＤＢ３７において、決済者であるユーザの種別を決済者、同伴者であるユーザの種別を同伴者と記憶する。

【0115】

そして、管理サーバ１は、グループ設定処理を終了し、図１１に示すグループ決済処理のステップＳ１０５の処理へ進む。

【0116】

管理サーバ１は、入店者情報ＤＢ３７の退店フラグを参照し、グループに属するユーザ全員が退店したか否かを判定する（ステップＳ１０５）。グループに属するユーザ全員が退店していない、即ち、グループに属するユーザが１人以上店舗５内に存在する場合（ステップＳ１０５；Ｎｏ）、管理サーバ１は、ステップＳ１０４の処理に戻り、店舗５内でのユーザの行動に応じて、ユーザの追跡、ユーザと商品の紐付け、グループの推定及び設定を随時行う。

【0117】

一方、グループに属するユーザ全員が退店した場合（ステップＳ１０５；Ｙｅｓ）、管理サーバ１は、登録者情報ＤＢ３５を参照して決済者の決済情報により、当該グループに属するユーザがそれぞれ取得した全ての購入商品の合計金額に対する決済をまとめて行う（ステップＳ１０６）。具体的に、決済処理部４９は、生体認証により決済者を認証するとともに、認証された決済者の決済情報に基づいて決済を行う。なお、ユーザが１人で入店しており、グループに属していない場合、管理サーバ１は、当該ユーザが退店すると、グループ全員が退店したとみなす。これにより、第１実施形態に係るグループ決済処理は終了する。

【0118】

このように、本実施形態の施設管理システム１００は、店舗５に入店したユーザについて、グループと決済者を推定し、推定結果をユーザに提示する。そして、施設管理システム１００は、推定結果に対する応答に基づいてグループと決済者を設定する。さらに、施設管理システム１００は、決済者の決済情報に基づいて、グループに属するユーザが取得した全ての商品の合計金額に対する決済処理を１度にまとめて行う。

【0119】

これによれば、予め会員登録をしていないユーザであっても、決済者がいるグループに属することで、店舗５において買い物をすることができる。そのため、未成年であって決済情報を持たず、会員登録ができない子供たちも家族と一緒に店舗５において買い物を楽しむことができる。

【0120】

また、施設管理システム１００は、インタラクション検知などによって自動的にグループを推定するが、推定結果をユーザに提示して確認するため、グループ設定の精度を向上することができる。よって、一緒に買い物をしていない他人を同じグループに設定すること、他人の購入商品の代金を併せて決済してしまうことなどを防止することができる。

【0121】

さらに、施設管理システム１００は、カメラ１０から取得した画像データなどによって自動的に決済者を推定するが、推定結果をユーザに提示して確認するため、決済者設定の精度を向上することができる。

【0122】

現在の無人・省人化ＡＩ店舗では、ユーザが予め会員登録をする必要があり、未登録の人物は入店できないことが多い。また、無人・省人化ＡＩ店舗では、基本的に、会員登録をしたユーザが単独で買い物を行うことが前提であって、家族や友人といったグループで一緒に買い物を行うことは想定されていない。しかし、このような施設管理システム１００によれば、自動化又は無人化された施設において、ユーザが事前に会員登録をすることなく入場でき、グループでの買い物が可能となるシステムを提供することができる。

【0123】

［変形例］
（第１変形例）
上記の実施形態では、紐付部４３は、カメラ１０から取得したユーザの画像データと、商品特徴情報とを用いて、ユーザにより取得された購入商品を特定している。しかし、これに限らず、紐付部４３は、購入商品を特定するために、位置情報も利用可能である。ここで、位置情報は、例えば、「所定の商品棚１４の上から１列目はおにぎりである」、「おにぎりは、左から梅おにぎり、鮭おにぎり、ツナおにぎりである」といった情報であって、商品陳列時の画像データ、画像データの中の座標など、データの仕様や形式は任意である。

【0124】

また、紐付部４３は、購入商品を特定するために、画像だけではなく、商品棚１４に内蔵された重量センサを用いることとしてもよい。この場合、各商品棚に重量センサを設け、例えば鮭おにぎりの陳列エリアからおにぎり１つ分の重量が減ったことを検知すると、紐付部４３は、鮭おにぎりが取られたと検知し、購入商品を特定する。紐付部４３は、画像解析と重量センサを組み合わせることで、購入商品特定の精度を向上させ、ミスを減らすことができる。

【0125】

（第２変形例）
グループ推定部４４は、１人のユーザが複数のグループに属すると推定される場合に、予め設定された優先度に基づいて、グループを推定する。なお、予め設定された優先度は、登録者情報ＤＢ３５に記憶される。

【0126】

（第３変形例）
上記の実施形態では、同じグループに属するユーザは、カート、かご、エコバッグといった入れ物を共有しているが、これに限らず、各ユーザそれぞれが各種入れ物に購入商品を入れてもよい。この場合、グループ推定部４４は、入れ物の共有の有無に基づいて決済者を推定することはなく、別の要素に基づいて決済者を推定する。

【0127】

（第４変形例）
上記の実施形態では、１つのグループに対し１人の決済者が設定され、当該決済者の決済情報に基づいて、グループに属する複数のユーザが取得した全ての商品の合計金額に対する決済処理を１度にまとめて行っている。しかし、これに限らず、１つのグループに対し複数の決済者が設定され、各決済者の決済情報に基づいて、決済処理を行うこととしてもよい。この場合、グループに属する複数のユーザが取得した全ての商品の合計金額が、決済者の人数で割り勘され、各決済者の決済情報に基づいて、割り勘された金額に対する決済処理を行う。なお、割り勘に限らず、決済者毎に任意の決済金額を別個に設定することとしてもよい。例えば、合計金額が８０００円であり、決済者としてユーザＡとユーザＢが設定された場合、決済処理部４９は、ユーザＡの決済情報に基づいて３０００円の決済処理を行い、ユーザＢの決済情報に基づいて５０００円の決済処理を行うこととしてもよい。

【0128】

（第５変形例）
上記の実施形態では、決済者は、予め会員登録され、登録者情報ＤＢ３５が決済情報を記憶しているが、これに限らず、決済情報が記憶されていないユーザを決済者とすることもできる。この場合、店舗５内に管理サーバ１と通信可能なセルフレジを設け、決済者は、セルフレジを用いて、グループに属するユーザが取得した全ての購入商品の代金を、現金などで支払う。また、ユーザは、買い物中に携帯端末２における所定の操作で、管理サーバ１にクレジットカード番号などの決済情報を送信してもよい。この場合、決済処理部４９は、受信した決済情報に基づいて、グループに属するユーザが取得した全ての購入商品の代金に対して決済を行う。

【0129】

（第６変形例）
上記の実施形態では、グループに属する全てのユーザが退店した場合に、グループに属するユーザが取得した全ての購入商品の合計金額をまとめて決済している。しかし、決済のタイミングは、これに限られるものではなく、決済処理部４９は、同伴者Ａが退店した場合に、同伴者Ａが取得した購入商品の代金を決済し、同伴者Ｂが退店した場合に、同伴者Ｂが取得した購入商品の代金を決済してもよい。つまり、決済処理部４９は、決済者の決済情報に基づいて、ユーザが退店する都度、退店したユーザが取得した購入商品の代金を決済することとしてもよい。

【0130】

（第７変形例）
上記の実施形態では、グループに属する全てのユーザが退店した場合に、決済処理を行っている。この場合、退店したユーザが決済者及び同伴者のいずれであるかに関わらず、店舗５内にグループに属するユーザが１人でも残っていれば決済処理は行われず、買い物を続けることができる。しかし、これに限らず、管理サーバ１は、決済者が退店した場合に、決済者の決済情報に基づいて、決済処理を行うこととしてもよい。この場合、同伴者は、決済者が退店すると、店舗５で買い物をすることができなくなる。

【0131】

なお、出口１８に管理サーバ１と通信可能なフラッパーゲートが設置されていれば、決済処理が完了するまで、ユーザの退店を制限することとしてもよい。

【0132】

（第８変形例）
上記の実施形態において、提示部４５は、グループの推定結果と決済者の推定結果をまとめてグループ確認画面としてユーザに提示しているが、これに限らず、グループの推定結果と決済者の推定結果を別々にユーザに提示してもよい。例えば、提示部４５は、決済者の推定結果を決済者に提示し、グループの推定結果をグループに属するユーザの一部又は全員に提示してもよい。

【0133】

（第９変形例）
各ユーザが取得した購入商品を示す購入商品リストは、ユーザが要求した任意のタイミングで提示することができる。具体的に、提示部４５は、ユーザが使用している携帯端末２から所定の操作による購入商品リスト要求を、通信部３２を介して受信したタイミングで、携帯端末２へ購入商品リスト情報を送信する。携帯端末２が受信した購入商品リスト情報に基づく購入商品リストを表示することで、ユーザは、容易に購入商品を確認することができる。

【0134】

なお、購入商品リスト要求に応じて、購入商品リスト情報を共有端末へ送信することとしてもよい。これによれば、共有端末が受信した購入商品リスト情報に基づく購入商品リストを表示することで、携帯端末２を保有していないユーザも、容易に購入商品を確認することができる。

【0135】

（第１０変形例）
商品棚１４に、管理サーバ１と通信可能な電子棚札を設けてもよい。この場合、提示部４５は、ユーザが商品棚１４から商品を取り出したタイミングで、購入商品リストＤＢ３８を参照し、当該購入商品の電子棚札に、当該ユーザが既に取得した購入商品の商品名や個数を提示してもよい。また、提示部４５は、当該ユーザ自身に限らず、当該ユーザが属するグループを構成する他のユーザが既に取得した購入商品の商品名や個数を提示してもよい。さらに、提示部４５は、例えば、「現在の合計金額は６９５円です」のように、取り出した商品を含めた、グループ全員の合計金額を提示してもよい。これによれば、ユーザは、商品を取り出したタイミングで、グループに属する他のユーザが既に取得している購入商品やグループ全員の合計金額を確認することができ、便利である。

【0136】

＜第２実施形態＞
以下、図面を参照しながら、この開示の第２実施形態について説明する。なお、第１実施形態と同様に、本実施形態では、施設の一例として、店舗に本願を適用した場合の具体例を記載する。

【0137】

［施設管理システムの構成］
本実施形態に係る施設管理システム１００ｘの構成は、第１実施形態と同様であるため、便宜上説明は省略する。ただし、本実施形態に係る施設管理システム１００ｘは、出口１８付近やカートにユーザが使用可能な共有端末が設けられる。また、商品棚１４には、電子棚札が設けられる。共有端末や電子棚札は、サーバ１ｘと通信可能に接続されている。

【0138】

［装置構成］
次に、管理サーバ１ｘ構成について図１４を参照して説明する。図１４は、管理サーバ１ｘの概略構成を示す。管理サーバ１ｘは、主に、記憶部３１と、データ通信を行う通信部３２と、制御部３３ｘとを備える。これらの要素はバスライン３０により相互に接続されている。なお、記憶部３１及び通信部３２は、第１実施形態と同様のため、説明を省略する。

【0139】

制御部３３ｘは、図示しないＣＰＵ、ＲＯＭ及びＲＡＭなどを備え、管理サーバ１内の各構成要素に対して種々の制御を行う。本実施形態では、制御部３３ｘは、人物特定部４０と、追跡部４１と、関連度算出部４２と、紐付部４３と、グループ推定部４４と、提示部４５と、受付部４６と、グループ設定部４７と、決済者設定部４８と、決済処理部４９と、警戒処理部５０とを含んでいる。

【0140】

ここで、第１実施形態と異なる警戒処理部５０について説明する。警戒処理部５０は、決済情報が紐付いていないユーザを警戒対象者に設定し、警戒対象者に対して警戒処理を実行する。具体的に、１人又はグループのいずれで買い物をしている場合であっても、ユーザの決済情報が記憶部３１に記憶されていれば、当該ユーザは警戒対象者とはならない。一方、１人で入店して買い物をしている場合に、ユーザの決済情報が記憶部３１に記憶されていなければ、当該ユーザは警戒対象者に設定される。

【0141】

また、複数のユーザで入店してグループで買い物をしている場合、ユーザの決済情報が記憶部３１に記憶されていなくても、ユーザが属するグループに決済者が設定されていれば、当該ユーザは警戒対象者とはならない。一方、複数のユーザで入店していても、ユーザがグループに属していない、又は、ユーザが属するグループに決済者が設定されていない場合、当該ユーザは警戒対象者に設定される。つまり、店舗５においてユーザが取得した購入商品の代金に対する決済情報が不明であると、警戒処理部５０は、当該ユーザを警戒対象者に設定し、警戒処理を実行する。

【0142】

具体的な警戒処理について説明する。まず、警戒処理部５０は、警戒対象者に対し、決済情報の登録又は決済者のいるグループへの所属を促すメッセージを告知する。警戒対象者は決済情報が記憶されていない未登録者であるため、連絡情報が不明である。そのため、警戒処理部５０は、例えば、警戒対象者の近くに設けられた共有端末や電子棚札に「決済情報が不明で、グループにも属していないようです。決済情報を登録するか、又は、決済者のいるグループに所属してください」といった旨のメッセージを告知する。

【0143】

なお、警戒処理部５０は、スポットライトを用いて床にディスプレイを表示し、当該ディスプレイにメッセージを告知してもよい。また、警戒処理部５０は、警備ロボットやドローンを用いて、画面や音声によりメッセージを告知してもよい。

【0144】

このとき、登録者であるにも関わらず警戒対象者に設定されたユーザは、共有端末で自身の顔をはっきり撮像するなどの操作を行う。これにより、管理サーバ１は、精度の高いユーザの顔画像データに基づいて、当該ユーザを登録者と特定することができる。

【0145】

また、警戒処理部５０は、警戒対象者を設定すると、店員に警戒対象者の顔画像データを提示する。具体的に、警戒処理部５０は、店員が使用する携帯端末やバックヤードに設けられた店員のみが使用可能な共有端末などに、警戒対象者の顔画像データや追跡データを送信する。店員は、警戒対象者の顔画像データや追跡データに基づいて、警戒対象者の動向を注視し、必要であれば声掛け等を行う。

【0146】

また、警戒処理部５０は、警戒対象者に関する情報を、必要に応じて店舗５内に存在するユーザに提示してもよい。例えば、善良なユーザと同じグループに故意に所属しようとする不審な行動が警戒対象者に確認された場合、警戒処理部５０は、当該ユーザに注意喚起を促すメッセージを提示する。

【0147】

また、警戒処理部５０は、出口１８に管理サーバ１と通信可能なフラッパーゲートが設置されていれば、購入商品を取得している警戒対象者の退店を制限する。購入商品を取得している警戒対象者が、店舗５から出た場合、警戒処理部５０は、警備室や警察への通報を行う。

【0148】

なお、警戒処理部５０は、警戒対象者がクレジットカードや銀行口座といった決済情報を保有していない場合、セルフレジで購入商品の清算をすることで、警戒対象者という設定を外し、退店可能としてもよい。また、警戒処理部５０は、決済情報を保有していない警戒対象者が出口１８付近やフラッパーゲートに近づいた場合に、サイネージなどでセルフレジでの決済を誘導することとしてもよい。

【0149】

［グループ決済処理］
次に、施設管理システム１００ｘによるグループ決済処理の概要について説明する。グループ決済処理は、店舗５に入店したユーザについて、グループと決済者を設定する処理である。また、グループ決済処理は、決済者の決済情報に基づいて、グループに属するユーザが取得した全ての購入商品に対する決済をまとめて行う処理である。なお、施設管理システム１００ｘによるグループ決済処理では、決済情報と紐付けられていないユーザを警戒対象者に設定し、警戒処理を実行する。

【0150】

図１５は、第２実施形態に係るグループ決済処理の概要を示すフローチャートである。グループ決済処理は、商品紐付処理Ｓ２００と、グループ設定処理Ｓ３００とを有する。商品紐付処理Ｓ２００及びグループ設定処理Ｓ３００は、第１実施形態と同様のため、便宜上説明は省略する。なお、グループ決済処理は、主として管理サーバ１が、予め用意されたプログラムを実行することにより実現される。

【0151】

ユーザが店舗５に入ると、管理サーバ１は、入口１６付近に設けられたカメラ１０から取得した画像データに基づいて、入店したユーザを特定する（ステップＳ４００）。そして、管理サーバ１は、特定したユーザが登録者であるか否かを判定する（ステップＳ４０１）。ユーザが登録者である場合（ステップＳ４０１；Ｙｅｓ）、管理サーバ１は、登録者情報ＤＢ３５から読み出した登録ＩＤ及び氏名と、ユーザの顔画像データと、退店フラグ（ｎ）とを含む新たな入店者情報を生成し、入店者情報ＤＢ３７に記憶する（ステップＳ４０２）。一方、ユーザが登録者ではない場合（ステップＳ４０２；Ｎｏ）、管理サーバ１は、仮ＩＤを発行し、当該仮ＩＤと、ユーザの顔画像データと、退店フラグ（ｎ）とを含む新たな入店情報を生成し、入店者情報ＤＢ３７に記憶する（ステップＳ４０３）。

【0152】

そして、管理サーバ１は、カメラ１０から取得したユーザの画像データを用いて、各ユーザの店内における動きを追跡し、追跡データとして取得する（ステップＳ４０４）。さらに管理サーバ１は、商品紐付処理を行う（ステップＳ２００）。商品紐付処理が終了すると、管理サーバ１は、グループ設定処理を行う（ステップＳ３００）

【0153】

グループ設定処理が終了すると、管理サーバ１は、出口１８付近に設けられたカメラ１０から取得した画像データに基づいて、ユーザが退店しようとしているか否かを判定する（ステップＳ４０５）。ユーザが退店しようとしていない場合（ステップＳ４０５；Ｎｏ）、管理サーバ１は、ステップＳ４０４の処理に戻り、店舗５内でのユーザの行動に応じて、ユーザの追跡、ユーザと商品の紐付け、グループの推定及び設定を随時行う。

【0154】

一方、ユーザが退店しようとしている場合（ステップＳ４０５；Ｙｅｓ）、管理サーバ１は、購入商品リストＤＢ３８を参照し、ユーザが購入商品を取得しているか否かを判定する（ステップＳ４０６）。ユーザが購入商品を取得していない場合（ステップＳ４０６；Ｎｏ）、管理サーバ１は、ステップＳ４０８の処理へ進む。一方、ユーザが購入商品を取得している場合（ステップＳ４０６；Ｙｅｓ）、管理サーバ１は、入店者情報ＤＢ３７を参照し、ユーザが警戒対象者であるか否かを判定する（ステップＳ４０７）。

【0155】

ユーザが警戒対象者である場合（ステップＳ４０７；Ｙｅｓ）、管理サーバ１は、警戒処理を実行する（ステップＳ４１０）。例えば、管理サーバ１は、警戒処理として、例えば警戒対象者に対し、決済情報の登録又は決済者のいるグループへの所属を促すメッセージを告知する。また、管理サーバ１は、店員に警戒対象者の顔画像データを提示してもよい。さらに、管理サーバ１は、出口１８にフラッパーゲートが設置されていれば、購入商品を取得している警戒対象者の退店を制限してもよい。警戒処理の実行後、管理サーバ１はステップＳ４０５の処理へ戻る。

【0156】

一方、ユーザが警戒対象者ではない場合（ステップＳ４０７；Ｎｏ）、管理サーバ１は、入店者情報ＤＢ３７の退店フラグを参照し、グループを構成するユーザ全員が退店したか否かを判定する（ステップＳ４０８）。グループを構成するユーザ全員が退店していない、即ち、グループに属するユーザが１人以上店舗５内に存在する場合（ステップＳ４０８；Ｎｏ）、管理サーバ１は、ステップＳ４０４の処理に戻り、店舗５内でのユーザの行動に応じて、ユーザの追跡、ユーザと商品の紐付け、グループの推定及び設定を随時行う。

【0157】

一方、グループを構成するユーザ全員が退店した場合（ステップＳ４０８；Ｙｅｓ）、管理サーバ１は、登録者情報ＤＢ３５を参照して決済者の決済情報により、当該グループを構成するユーザがそれぞれ取得した全ての購入商品の決済をまとめて行う（ステップＳ４０９）。具体的に、決済処理部４９は、生体認証により決済者を認証するとともに、認証された決済者の決済情報に基づいて決済を行う。なお、ユーザが１人で入店してグループに属していない場合、管理サーバ１は、当該ユーザが退店すると、グループ全員が退店したとみなす。これにより、第２実施形態に係るグループ決済処理は終了する。

【0158】

なお、上記のグループ決済処理においては、管理サーバ１は、購入商品を取得している警戒対象者が退店しようとしたタイミングで警戒処理を実行しているが、これに限らず、警戒対象者が店舗５内にいる任意のタイミングで任意の警戒処理を実行することができる。

【0159】

このように、本実施形態の施設管理システム１００ｘは、施設に入場した決済情報に紐付いていないユーザを警戒対象者に設定し、必要に応じて警戒処理を実行する。施設管理システム１００ｘは、無人・省人化ＡＩ施設を想定しており、予め会員登録の必要がなく、決済情報を持たないユーザであってもグループで買い物をすることができる。しかし、その反面、悪意のあるユーザによる不正行為を防止する必要性が高い。そのため、警戒対象者となったユーザに対して警戒処理を実行することが、万引きや他のユーザに決済させるといった不正行為の抑止力となり、防犯機能を強化することができる。

【0160】

＜第３実施形態＞
図１６は、この開示の第３実施形態に係る情報処理装置の構成を示す。情報処理装置８０は、施設に入場した人物を特定する人物特定手段８１と、複数の人物により構成されるグループを推定するグループ推定手段８２と、グループの推定結果を人物に提示するグループ提示手段８３と、グループの推定結果に対する応答に基づいて、前記グループを設定するグループ設定手段８４と、を備える。

【0161】

図１７は、情報処理装置８０による処理のフローチャートである。人物特定手段８１は、施設に入場した人物を特定する（ステップＳ８１）。グループ推定手段８２は、複数の人物により構成されるグループを推定する（ステップＳ８２）。グループ提示手段８３は、グループの推定結果を人物に提示する（ステップＳ８３）。グループ設定手段８４は、グループの推定結果に対する応答に基づいて、グループを設定する（ステップＳ８４）。

【0162】

第３実施形態によれば、施設に入場した複数の人物をグループに設定し、グループ単位での管理や決済を可能とすることができる。

【0163】

その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

【0164】

（付記１）
施設に入場した人物を特定する人物特定手段と、
複数の人物により構成されるグループを推定するグループ推定手段と、
前記グループの推定結果を前記人物に提示するグループ提示手段と、
前記グループの推定結果に対する応答に基づいて、前記グループを設定するグループ設定手段と、
を備える情報処理装置。

【0165】

（付記２）
前記人物特定手段は、前記施設内又は前記施設外に設置されたカメラが撮像した画像から顔画像を取得し、前記顔画像に基づいて前記人物を特定し、
前記グループ提示手段は、前記グループと推定される人物の顔画像を含む推定結果を提示する付記１に記載の情報処理装置。

【0166】

（付記３）
前記施設内にいる複数の人物間の関連度を算出する関連度算出手段をさらに備え、
前記グループ推定手段は、前記関連度に基づいて前記グループを推定し、
前記関連度算出手段は、前記画像に含まれる人物間の距離、顔の向き、口の開閉、身体的動作及び商品を入れて持ち運ぶ入れ物の共有の有無のいずれか１つ以上のデータに基づいて、関連度を算出する付記２に記載の情報処理装置。

【0167】

（付記４）
前記人物の属性情報を記憶する記憶手段を備え、
前記関連度算出手段は、前記属性情報を用いて前記関連度を算出する付記３に記載の情報処理装置。

【0168】

（付記５）
前記グループを構成する人物の中から決済者を推定する決済者推定手段と、
前記決済者の推定結果を前記人物に提示する決済者提示手段と、
前記決済者の推定結果に対する応答に基づいて、前記決済者を設定する決済者設定手段と、
前記決済者の決済情報に基づいて、前記グループを構成する人物がそれぞれ取得した全ての商品の決済をまとめて行う決済処理手段と、
を備える付記１乃至４のいずれか一項に記載の情報処理装置。

【0169】

（付記６）
前記決済者推定手段は、前記施設内又は前記施設外に設置されたカメラが撮像した画像から顔画像を取得し、前記画像に含まれる人物の推定年齢、入店順、性別、取得した商品を入れて持ち運ぶ入れ物の有無のいずれか１つ以上のデータに基づいて、前記決済者を推定する付記５に記載の情報処理装置。

【0170】

（付記７）
前記グループ推定手段は、前記施設の出口付近に設置されたカメラが撮像した画像に含まれる人物を同じグループに属すると推定する付記１乃至６のいずれか一項に記載の情報処理装置。

【0171】

（付記８）
前記グループ提示手段は、前記グループの推定結果を決済者に提示する付記５乃至７のいずれか一項に記載の情報処理装置。

【0172】

（付記９）
前記グループ提示手段は、前記グループを構成する人物と、各人物が取得した商品と、各人物が取得した商品の合計金額とを対応付けたリストを、前記グループの推定結果として提示する付記１乃至８のいずれか一項に記載の情報処理装置。

【0173】

（付記１０）
前記人物が、決済情報を有しておらず、且つ、決済者が含まれるグループに属していない場合、当該人物に対して警戒処理を行う警戒処理手段をさらに備える付記５乃至９のいずれか一項に記載の情報処理装置。

【0174】

（付記１１）
施設に入場した人物を特定し、
複数の人物により構成されるグループを推定し、
前記グループの推定結果を前記人物に提示し、
前記グループの推定結果に対する応答に基づいて、前記グループを設定する情報処理方法。

【0175】

（付記１２）
施設に入場した人物を特定し、
複数の人物により構成されるグループを推定し、
前記グループの推定結果を前記人物に提示し、
前記グループの推定結果に対する応答に基づいて、前記グループを設定する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【0176】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0177】

１ 管理サーバ
２ 携帯端末
３ ネットワーク
５ 店舗
１０ カメラ
１４ 商品棚
１６ 入口
１８ 出口
２０、２２、２４ ユーザ
１００ 施設管理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】