特開 2024-101250 情報処理システム、情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101250

(43)【公開日】2024-07-29

(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240722BHJP

【ＦＩ】

G06Q30/06

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023005128

(22)【出願日】2023-01-17

(71)【出願人】

【識別番号】521556417

【氏名又は名称】ＴＲＩＢＡＷＬ株式会社

(74)【代理人】

【識別番号】100190621

【弁理士】

【氏名又は名称】崎間 伸洋

(74)【代理人】

【識別番号】100212510

【弁理士】

【氏名又は名称】笠原 翔

(72)【発明者】

【氏名】山本 雄一郎

(72)【発明者】

【氏名】田中 清貴

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB72

5L049BB72

(57)【要約】

【課題】完全に無人化された小売店舗の運営にあたり、顧客の入店制限や多額の設備投資を必要とする場合に比べて、顧客側および店舗運営側の各々の負担を抑制すること。
【解決手段】情報処理システム１を構成する管理サーバ１０の制御部１１では、情報取得部１０１と、区画ユーザ抽出部１０２と、距離算出部１０３と、監視対象特定部１０４と、画像特定部１０５と、退店制御情報生成部１０６と、により、算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

店舗内を撮像する１以上の撮像画像を取得する取得手段と、
店舗の所定の区画を特定する区画特定手段と、
取得手段が取得した撮像画像に基づいて、店舗内のユーザと特定された区画との距離を算出する距離算出手段と、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定手段と、
を有することを特徴とする、
情報処理システム。

【請求項2】

前記所定の区画には、商品が陳列されている陳列領域と、当該商品の在庫が保管されている保管領域との少なくとも一方が含まれ、
前記区画特定手段は、前記所定の区画として、前記陳列領域に配置された商品陳列棚と、前記保管領域に配置された商品保管棚との少なくとも一方を特定し、
前記ユーザには、前記陳列領域に存在し得る顧客と、前記陳列領域および前記保管領域に存在し得る従業員との少なくとも一方が含まれることを特徴とする、
請求項１に記載の情報処理システム。

【請求項3】

前記商品の決済に関する決済情報と、当該商品の在庫に関する在庫情報とを少なくとも含む、当該商品に関する商品情報を取得する商品情報取得手段をさらに有し、
前記区画特定手段は、さらに、前記商品情報取得手段により取得された前記商品情報に基づいて、前記所定の区画を特定することを特徴とする、
請求項２に記載の情報処理システム。

【請求項4】

前記区画特定手段は、さらに、前記決済情報から算出される前記商品の販売の実績数と、前記在庫情報から算出される当該商品の在庫の増減に関する在庫増減数とを比較した結果に基づいて、それらの差が所定値以上である場合に、前記所定の区画を特定することを特徴とする、
請求項３に記載の情報処理システム。

【請求項5】

前記ユーザとしての顧客の前記店舗内への進入を検知する顧客検知手段と、
アバター画像を表示させる表示手段と、
をさらに有することを特徴とする、
請求項２乃至４のいずれかに記載の情報処理システム。

【請求項6】

アバター表示手段に設けられ、進入する顧客の顔を撮像する進入時顔画像取得手段と、
前記顧客が購入する前記商品の決済と、決済時の当該顧客の顔の撮像とを行う決済撮像手段と、
前記取得手段により取得された撮像画像から、前記顧客の顔画像を抽出する抽出手段と、
前記進入時顔画像取得手段により取得された前記顧客の進入時顔画像と、抽出手段により抽出された前記顧客の店舗内顔画像と、前記決済撮像手段により撮像された前記顧客の決済時顔画像と、当該決済撮像手段により決済された前記商品の情報と、前記商品の決済額とを記憶する記憶手段と、
をさらに有することを特徴とする、
請求項５に記載の情報処理システム。

【請求項7】

進入時顔画像、前記店舗内顔画像、および前記決済時顔画像を比較し、同一人物であるか否かを判定することにより、顔画像の関連付けを行う判定手段をさらに有し、
前記記憶手段は、記憶手段に記憶された入店時顔画像、店舗内顔画像、精算時顔画像、精算された商品、および決済金額を対応付けて記憶することを特徴とする、
請求項６に記載の情報処理システム。

【請求項8】

警告の対象となる顧客が前記店舗内に進入すると、所定の警告を管理者に報知する警告報知手段をさらに有し、
前記記憶手段は、前記警告の対象となる顧客の顔の撮像画像をさらに記憶し、
前記判定手段は、さらに、前記進入時顔画像と、前記警告の対象となる顧客の顔の撮像画像とを比較した結果に基づいて、当該顧客が同一人物であるか否かを判定し、
前記警告報知手段は、前記判定手段が、前記進入時顔画像と、前記警告の対象となる顧客の顔の撮像画像とが同一の顧客の顔を撮像したものであると判定した場合、前記所定の警告を前記管理者に報知することを特徴とする、
請求項７に記載の情報処理システム。

【請求項9】

店舗内を撮像する１以上の撮像画像を取得する取得手段と、
店舗の所定の区画を特定する区画特定手段と、
撮像手段が取得した店舗内画像に基づいて、店舗内のユーザと特定された区画との距離を算出する距離算出手段と、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定手段と、
を有することを特徴とする、
情報処理装置。

【請求項10】

店舗内を撮像する１以上の撮像画像を取得するステップと、
店舗の所定の区画を特定するステップと、
撮像手段が取得した店舗内画像に基づいて、店舗内のユーザと特定された区画との距離を算出するステップと、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定ステップと、
を含むことを特徴とする、
情報処理方法。

【請求項11】

コンピュータに、
店舗内を撮像する１以上の撮像画像を取得する機能と、
店舗の所定の区画を特定する機能と、
撮像手段が取得した店舗内画像に基づいて、店舗内のユーザと特定された区画との距離を算出する機能と、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

人手不足を背景として、スーパーマーケットやコンビニエンスストアなどの小売店舗では、店舗に常駐するスタッフの数の削減や、商品の決済を顧客が行えるいわゆるセルフレジの導入といった省人化が進んでいる。近年では、完全に無人化された小売店舗も出現し、関連する技術も知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－７３５９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、完全に無人化された小売店舗を安全に運営しようとすると、事前に登録された顧客のみ入店を許可する入店制限や、店舗内に多数のカメラを設置するために多額の設備投資を必要とするなど、顧客側および店舗運営側の各々の負担が大きかった。

【0005】

本発明は、このような状況に鑑みてなされたものであり、完全に無人化された小売店舗の運営にあたり、顧客の入店制限や多額の設備投資を必要とする場合に比べて、顧客側および店舗運営側の各々の負担を抑制することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様の情報処理システムは、
店舗内を撮像する１以上の撮像画像を取得する取得手段と、
店舗の所定の区画を特定する区画特定手段と、
取得手段が取得した撮像画像に基づいて、店舗内のユーザと特定された区画との距離を算出する距離算出手段と、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定手段と、
を有する。

【0007】

また、本発明の一態様の情報処理装置は、
店舗内を撮像する１以上の撮像画像を取得する取得手段と、
店舗の所定の区画を特定する区画特定手段と、
撮像手段が取得した店舗内画像に基づいて、店舗内のユーザと特定された区画との距離を算出する距離算出手段と、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定手段と、
を有する。

【0008】

本発明の一態様の上記情報処理システムに対応する情報処理方法およびプログラムも、本発明の一態様の情報処理方法およびプログラムとして提供される。

【発明の効果】

【0009】

本発明によれば、完全に無人化された小売店舗の運営にあたり、顧客の入店制限や多額の設備投資を必要とする場合に比べて、顧客側および店舗運営側の各々の負担を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】本実施の形態が適用される情報処理システムの全体構成の一例を示す図である。

【図2】本実施の形態が適用される情報処理装置としての管理サーバのハードウェア構成の一例を示す図である。

【図3】本実施の形態が適用される情報処理装置としてのオペレータ端末のハードウェア構成の一例を示す図である。

【図4】管理サーバの制御部の機能構成の一例を示す図である。

【図5】（Ａ）は、オペレータ端末の制御部の機能構成の一例を示す図である。（Ｂ）は、ゲート端末の制御部の機能構成の一例を示す図である。（Ｃ）は、管理者端末の制御部の機能構成の一例を示す図である。

【図6】（Ａ）は、店舗サイネージの制御部の機能構成の一例を示す図である。（Ｂ）は、セルフレジ端末の制御部の機能構成の一例を示す図である。（Ｃ）は、顧客端末の制御部の機能構成の一例を示す図である。

【図7】管理サーバの処理のうち、ユーザの入店時における処理の流れの一例を示すフローチャートである。

【図8】管理サーバの処理のうち、ユーザの退店時における処理の流れの一例を示すフローチャートである。

【図9】図１の情報処理システムが適用される無人店舗の具体例を示す図である。

【図10】撮像可能領域の撮像画像の具体例を示す図である。

【発明を実施するための形態】

【0011】

（情報処理システムの構成）
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される情報処理システム１の全体構成の一例を示す図である。
情報処理システム１は、管理サーバ１０と、オペレータ端末２０と、ゲート端末３０と、管理者端末４０と、店舗カメラ５０－１乃至５０－ｎ（ｎは１以上の整数値）と、店舗センサ６０－１乃至６０－ｍ（ｍは１以上の整数値）と、店舗サイネージ７０－１乃至７０－ｒ（ｒは１以上の整数値）と、セルフレジ端末８０と、顧客端末９０－１乃至９０－ｐ（ｐは１以上の整数値）とがネットワークＮを介して接続されることで構成されている。

【0012】

ネットワークＮは、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＶＰＮ（Ｖｅｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、などである。なお、ネットワークＮを介して接続されている店舗カメラ５０－１乃至５０－ｎ、店舗センサ６０－１乃至６０－ｍ、店舗サイネージ７０－１乃至７０－ｒ、顧客端末９０－１乃至９０－ｐの各々を個別に説明する必要がない場合、これらをまとめて店舗カメラ５０、店舗センサ６０、店舗サイネージ７０、顧客端末９０の各々と呼ぶ。

【0013】

本実施の形態において、情報処理システム１は、顧客に対面して商品を販売する店員（以下、「販売店員」と呼ぶ。）が配置されていない店舗Ｔ（以下、「無人店舗Ｔ」と呼ぶ。）に適用されるシステムである。無人店舗Ｔとしては、例えば、販売店員が配置されていないコンビニエンスストアやスーパーマーケットなどが挙げられる。無人店舗Ｔは、顧客が購入できる商品が陳列されている領域Ｔａ（以下、「陳列領域Ｔａ」と呼ぶ。）と、商品の在庫が保管されている領域Ｔｂ（以下、「保管領域Ｔｂ」と呼ぶ。）とを含むように構成される。

【0014】

無人店舗Ｔは、完全に無人になる時間帯と、補助店員がいる時間帯とがある。本実施の形態において、補助店員とは、販売店員とは異なり、顧客に対面して商品を販売することはないが、商品の陳列など補助的な業務のみを行う店員のことをいう。補助店員は、陳列領域Ｔａで商品の陳列業務を行うときもあれば、保管領域Ｔｂで商品の在庫の管理業務を行うときもある。無人店舗Ｔを利用する顧客、および無人店舗Ｔで業務を行う補助店員は、いずれも本発明における「ユーザ」に該当する。

【0015】

管理サーバ１０は、情報処理システム１の全体の管理をするサーバとしての情報処理装置である。管理サーバ１０は、オペレータ端末２０、ゲート端末３０、管理者端末４０、店舗カメラ５０－１乃至５０－ｎ、店舗センサ６０－１乃至６０－ｍ、店舗サイネージ７０－１乃至７０－ｒ、セルフレジ端末８０、および顧客端末９０－１乃至９０－ｐの各々から送信されてくる各種の情報を取得し、各種の処理を行う。また、管理サーバ１０は、オペレータ端末２０、ゲート端末３０、管理者端末４０、店舗サイネージ７０、セルフレジ端末８０、および顧客端末９０の各々に向けて各種の情報を送信する。

【0016】

例えば、管理サーバ１０は、店舗カメラ５０－１乃至５０－ｎの各々により撮像された無人店舗Ｔ内の所定領域の撮像画像を解析し、その解析結果に基づいて、無人店舗Ｔ内に存在するユーザとしての顧客または補助店員と、顧客または補助店員が接近した無人店舗Ｔ内の所定区画との各々を特定する。本実施の形態における「所定領域」とは、１台の店舗カメラ５０で撮像可能な無人店舗Ｔ内の領域（以下、「撮像可能領域」と呼ぶ。）のことをいう。

【0017】

また、本実施の形態における「所定区画」とは、例えば、商品が陳列される商品陳列棚や、商品の在庫が保管される商品保管棚のことをいう。ここで、所定区画としての商品陳列棚または商品保管棚が複数の段からなる場合には、段の単位で所定区画が特定される。具体的には、例えば、上段、中段、および下段の３段からなる商品陳列棚または商品保管棚は、上段、中段、および下段の段の単位で所定区画が特定される。

【0018】

また、管理サーバ１０は、特定したユーザとしての顧客または補助店員と、特定した所定区画としての商品陳列棚または商品保管棚との位置関係が、所定条件を満たす場合、その顧客または補助店員を監視対象として特定する。なお、「所定条件」については後述する。

【0019】

また、管理サーバ１０は、店舗カメラ５０－１乃至５０－ｎの各々の撮像可能領域の撮像画像のデータのうち、監視対象として特定した顧客または補助店員が撮像されている撮像画像のデータを特定する。特定された撮像画像のデータは、例えば、監視対象の顧客が無人店舗Ｔ内で不正行為を行っていないかどうかを判断するための証拠資料として用いられる。なお、管理サーバ１０の具体的な構成および処理については後述する。

【0020】

オペレータ端末２０は、オペレータが操作する情報処理装置であり、パーソナルコンピュータ、タブレット端末などで構成される。本実施の形態において、「オペレータ」とは、無人店舗Ｔから離れた場所、または無人店舗Ｔのバックヤードなどから、無人店舗Ｔにおける顧客の動作を支援するための情報（以下、「支援情報」と呼ぶ。）を顧客に報知する者のことをいう。オペレータ端末２０は、管理サーバ１０から送信されてくる各種の情報を取得し、各種の処理を行う。また、オペレータ端末２０は、管理サーバ１０に向けて各種の情報を送信する。
さらに、オペレータは、無人店舗内の複数台のカメラによる映像を一台のモニターに同時に表示された画像を監視することができる。

【0021】

例えば、オペレータ端末２０は、管理サーバ１０から送信されてきた、店舗サイネージ７０に顧客が接近したことを示す情報（以下、「サイネージ接近情報」と呼ぶ。）を取得すると、オペレータに対し、店舗サイネージ７０に顧客が接近したことを報知する。そして、店舗サイネージ７０に顧客が接近したことを報知されたオペレータが所定の操作を行うと、オペレータ端末２０と店舗サイネージ７０との間で通信が開始され、オペレータのアバター画像が店舗サイネージ７０に表示される。
店舗サイネージ７０に接近した顧客が、求める商品の場所を問い合わせる質問を行うと、オペレータはその顧客からの音声を聞き取って商品の陳列位置を店舗内情報から探し出す。顧客の質問は音声の他、店舗サイネージ７０に対する質問文入力であってもよい。そして、オペレータは探し出した顧客が求める商品の陳列位置をアバターを介して音声により伝え、又は店舗内商品位置概略図を店舗サイネージ７０に表示して顧客に提示する。顧客から再度の質問が無ければ、顧客の質問は解消したとみなして、オペレータによる一連の対応は終了する。

【0022】

これにより、アバター画像を介したオペレータと顧客との間のコミュニケーションが開始され、顧客からオペレータに向けた質問や問い合わせ、その質問や問い合わせに対するオペレータからの支援情報の提供などがスムーズに行われる。
なお、店舗サイネージ７０に表示されるオペレータのアバター画像の具体例については、図９を参照して後述する。

【0023】

ゲート端末３０は、無人店舗Ｔの出入口に配置された情報処理装置であり、タブレット端末などで構成される。ゲート端末３０は、管理サーバ１０から送信されてくる各種の情報を取得し、各種の処理を行う。また、ゲート端末３０は、管理サーバ１０に向けて各種の情報を送信する。

【0024】

例えば、ゲート端末３０は、無人店舗Ｔの出入口となる自動扉から無人店舗Ｔに入店しようとするユーザ（顧客および補助店員）の顔を撮像し、その撮像画像のデータ（以下、「顔画像データ」と呼ぶ。）を管理サーバ１０に向けて送信する。無人店舗Ｔに入店しようとするユーザの顔を撮像する手法は特に限定されない。本実施の形態では、ゲート端末３０に搭載されたカメラがユーザの顔を撮像するが、これに限定されず、検温装置と兼用で配置された店舗カメラ５０がユーザの顔を撮像してもよい。

【0025】

自動扉は、通常時は施錠された状態にある。ゲート端末３０は、送信した顔画像データが管理サーバ１０により取得されると、これをトリガとして、施錠された状態の自動扉を解錠する。これにより、ユーザは、顔画像データを含む生体情報（指紋や声紋など）を事前に登録したり、解錠のための暗証番号を記憶したり、解錠のための媒体（カードなど）を持参したりすることなく、その場で顔画像データを提供するだけで無人店舗Ｔに入店することができる。

【0026】

また、ゲート端末３０は、ユーザが無人店舗Ｔから退店する際に通過しようとする自動扉の解錠の制御を行う。具体的には、ゲート端末３０は、管理サーバ１０から送信されてくる、ユーザの退店の可否に関する制御情報（以下、「退店制御情報」と呼ぶ。）に基づいて、自動扉の解錠の制御を行う。

【0027】

ゲート端末３０は、退店制御情報の内容がユーザの退店を許可するものである場合には、そのユーザが自動扉に近付くと自動扉を解錠する制御を行う。これに対して、退店制御情報の内容がユーザの退店を禁止するものである場合、そのユーザが自動扉に近付くと、ゲート端末３０は自動扉を解錠する制御を行うことなく警告音を出力し、ユーザが退店しようとしている旨を示す情報を管理サーバ１０に向けて送信する。

【0028】

管理者端末４０は、無人店舗Ｔの管理者が操作する情報処理装置であり、パーソナルコンピュータ、タブレット端末などで構成される。管理者端末４０は、管理サーバ１０から送信されてくる各種の情報を取得し、各種の処理を行う。また、管理者端末４０は、管理サーバ１０に向けて各種の情報を送信する。

【0029】

例えば、管理者端末４０は、管理サーバ１０から送信されてくる、無人店舗Ｔの商品に関する情報（以下、「商品情報」と呼ぶ。）を取得し、取得したその商品情報を表示部に表示する。商品情報には、無人店舗Ｔの商品の在庫量やその増減などに関する情報（以下、「在庫情報」と呼ぶ。）などが含まれる。また、管理者端末４０は、管理サーバ１０から送信されてくる、無人店舗Ｔの商品の決済に関する情報（以下、「決済情報」と呼ぶ。）を取得し、取得したその決済情報を表示部に表示する。

【0030】

また、管理者端末４０は、管理サーバ１０から送信されてくる、警告の対象とされた顧客に関する情報（以下、「要注意顧客情報」と呼ぶ。）と、警告の対象とされた顧客が無人店舗Ｔに来店していることを示す情報（以下、「警告情報」と呼ぶ。）を取得する。そして、管理者端末４０は、取得した要注意顧客情報および警告情報の各々を表示部に表示する。また、管理者端末４０は、表示部に表示した要注意顧客情報および警告情報に対する管理者の対応に関する情報（以下、「管理者対応情報」と呼ぶ。）を管理サーバ１０に向けて送信する。管理者対応情報には、例えば、自動扉の解錠を禁止する制御を行うために操作部に入力された情報などが挙げられる。

【0031】

店舗カメラ５０は、無人店舗Ｔに設置された撮像手段としての可動式または固定式のカメラである。例えば、店舗カメラ５０は、無人店舗Ｔ内の撮像可能領域の撮像を行い、その撮像画像（動画像または静止画像）のデータを管理サーバ１０に向けて送信する。無人店舗Ｔに設置する店舗カメラ５０の台数ｎは特に限定されず、例えば、出入口、天井、商品陳列棚ごとなど、多数の店舗カメラ５０を設置することもできる。また、入店時におけるユーザの検温に用いられるカメラと兼用で店舗カメラ５０を設置してもよい。

【0032】

ただし、無人店舗内に店舗カメラ５０が多数設置されると、無人店舗に来店した顧客は、「誰かに監視されている」という威圧感や恐怖感を感じる場合がある。このような場合、顧客の店舗の滞在時間が減り、その結果、顧客単価も減ってしまうおそれがある。また、無人店舗内に店舗カメラ５０が多数設置されると、それだけ設備投資のためのコストや、メンテナンスのためのコストが増大することになる。

【0033】

これに対して、本実施の形態では、店舗カメラ５０の設置台数を必要最小限に抑えている。具体的には、店舗カメラ５０の設置位置を決定する際、撮像可能領域が最大化される位置を考慮することで店舗カメラ５０の設置台数を抑えている。また、撮像可能領域の撮像画像からユーザと所定区画との距離を算出する際、画角を考慮することで店舗カメラ５０の設置台数を抑えている。「画角」とは、店舗カメラ５０により撮像された撮像可能領域を角度で表したものであり、焦点距離が長くなるほど狭くなり、焦点距離が短くなるほど広くなる。すなわち、店舗カメラ５０のレンズとして広角レンズを採用すると画角が広くなり、望遠レンズを採用すると画角が狭くなる。このため、本実施の形態では、店舗カメラ５０の設置台数が必要最小限に抑えるべく、店舗カメラ５０のレンズとして広角レンズが採用されているが、広角レンズに限定されるものではない。

【0034】

また、店舗カメラ５０の設置台数を必要最小限に抑えるために、無人店舗内の撮像可能領域に存在し得る物体の各々の外形サイズがデータベースに予め記憶され管理されている。これにより、撮像可能領域に存在し得る物体の外形サイズを管理することにより、撮像可能領域に存在し得る物体の外形サイズに基づいて、ユーザと所定区画との距離を算出することが可能となる。

【0035】

撮像可能領域に存在し得る物体としては、例えば、ユーザ、ユーザの持ち物、ユーザが身に着けている物、商品陳列棚、商品保管棚、商品、買い物カゴ、買い物袋などが挙げられる。このうち、ユーザの持ち物としては、例えば、バッグ、スマートフォンなどが挙げられる。また、ユーザが身に着けている物としては、例えば、帽子、衣服、靴、腕時計、アクセサリなどが挙げられる。

【0036】

上述の物体を検知する方法としては、例えば、特定の商品棚ごとに枠や線で指示することによる。この方法により、２４時間に渡り撮像した画像データのうち、指示した枠として、四角に入った者や当該線を越えた者が存在する画像データだけを抽出することができる。また、当該四角に入った者や当該線を越えた者を特定できる。商品棚を特定する枠は、顔認証方法において顔を四角の枠で囲むといった方法がある。さらに、店舗内に人がいる時間だけを画像データで抽出することもできる。
この際、撮影した画像により、人と商品を紐づけることの他、人が入店した際の画像データや特定の商品棚の商品に触れた人を検索することもできる。

【0037】

店舗内の従業員を監視する場合には、バックヤードにカメラを配置する、従業員の出退勤情報と紐づける、といった方法がある。在庫管理システムと結びついた、商品の特定や精算情報との紐づけ情報を管理することも必要である。

【0038】

店舗センサ６０は、無人店舗Ｔに設置された各種のセンサである。店舗センサ６０は、無人店舗内に独立して設置される場合と、店舗カメラ５０や店舗サイネージ７０に搭載される場合とがある。店舗センサ６０としては、例えば、人感センサなどが挙げられる。店舗センサ６０は、顧客または補助店員が無人店舗Ｔに入店したこと、顧客が店舗サイネージ７０に接近したこと、顧客または補助店員が無人店舗Ｔから退店したことなどを検知する。そして、店舗センサ６０は、センシングによる検知結果を管理サーバ１０に向けて送信する。センシングによる検知結果には、例えば、サイネージ接近情報などが挙げられる。

【0039】

無人店舗Ｔに設置する店舗センサ６０の台数は特に限定されず、例えば、出入口、天井、商品陳列棚ごとなどに設置される。無人店舗内に店舗センサ６０を多数設置したとしても、上述の店舗カメラ５０とは異なり、無人店舗に来店した顧客に威圧感や恐怖感を感じさせる可能性は少ない。ただし、無人店舗内に店舗センサ６０が多数設置されると、上述の店舗カメラ５０と同様に、それだけ設備投資のためのコストや、メンテナンスのためのコストが増大することになる。

【0040】

このため、本実施の形態では、店舗センサ６０の設置台数を必要最小限に抑えている。具体的には、以下の手法により、店舗センサ６０の設置台数を必要最小限に抑えている。すなわち、購入される商品の特定や、万引きの防止などを図るための従来の手法として、セルフレジ端末、商品陳列棚、商品保管棚などに重量センサを利用する手法が多く採用されているが、本実施の形態では重量センサを使用しない。本実施の形態では、撮像可能領域の撮像画像のデータの解析結果や、ユーザの顔画像データなどの情報が対応付けられた、ユーザに関する情報（以下、「ユーザ情報」と呼ぶ。）に基づいて、購入される商品の決済処理や、万引きを防止するための処理などが行われる。

【0041】

店舗カメラ５０などの設置台数を必要最小限に抑えるためには、万引きが常習的に発生している店舗についてのみ、来客時にリモート観察することで対応できる。あるいは、来客時にアラートが届き、入口の店舗サイネージでアバターが発声すれば万引きなどへの警告になる。従業員が金庫に近づいたり、精算時以外にレジを操作したりすると、管理者に通知が届くようにしてもよい。
本実施の形態では、顧客および従業員の双方を対象とすること、これらの行動を監視してアラートを通知することも含まれる。

【0042】

万引きを防止するためには、上述のカメラによる方法以外もとることが出来る。例えば、店舗の特定商品の在庫数が１０個から６個に減少した場合、その商品の販売実績数が４個であれば、万引きは発生していないことが分かる。逆に、その商品の販売実績数が３個であれば、一個盗難されていることが分かる。

【0043】

店舗サイネージ７０は、無人店舗Ｔに設置されたデジタルサイネージとしての情報処理装置である。店舗サイネージ７０は、オペレータ端末２０から送信されてくる各種の情報を取得し、各種の処理を行う。また、店舗サイネージ７０は、オペレータ端末２０に向けて各種の情報を送信する。図１の例において、店舗サイネージ７０は１台であるが、無人店舗Ｔに設置される店舗サイネージ７０の台数は特に限定されない。無人店舗Ｔに２台以上の店舗サイネージ７０は設置することもできる。

【0044】

店舗サイネージ７０は、顧客が自身に接近したことが店舗センサ６０により検知されると、顧客に向けて支援情報を報知する。具体的には、店舗サイネージ７０は、オペレータのアバター画像を表示し、オペレータ端末２０に入力された支援情報としての音声のデータ、テキスト情報、動画像のデータなどを顧客に向けて出力する。

【0045】

また、店舗サイネージ７０は、顧客からの質問や問い合わせとして発話された音声のデータや、顧客の入力操作により入力された入力操作情報などを管理サーバ１０に向けて送信する。また、店舗サイネージ７０は、撮像部のカメラでユーザの顔を撮像し、店舗内顔画像データとして取得する。そして、店舗サイネージ７０は、取得した決済時顔画像データを管理サーバ１０に向けて送信する。

【0046】

セルフレジ端末８０は、顧客が購入する商品の決済処理を行う情報処理装置であり、タブレット端末などで構成される。セルフレジ端末８０は、管理サーバ１０および顧客端末９０の各々から送信されてくる各種の情報を取得し、各種の処理を行う。また、セルフレジ端末８０は、管理サーバ１０および顧客端末９０の各々に向けて各種の情報を送信する。例えば、セルフレジ端末８０は、管理サーバ１０から送信されてきた商品情報を取得して管理する。

【0047】

また、セルフレジ端末８０は、商品ごとに付された識別情報を読み取ることで、識別情報に紐づけられたその商品の価格を含む商品情報を特定し、商品の決済に必要となる情報（以下、「決済情報」と呼ぶ。）を生成する。そして、セルフレジ端末８０は、顧客端末９０との間で決済情報のやり取りを行うことで決済処理を完了させる。セルフレジ端末８０は、決済処理が完了すると、撮像部のカメラで顧客の顔を撮像し、決済時顔画像データとして取得する。そして、セルフレジ端末８０は、顧客の決済処理が完了した旨を示す情報と、決済情報と、その顧客の決済時顔画像データとを管理サーバ１０に向けて送信する。

【0048】

セルフレジ端末８０が識別情報を読み取る際に用いられる手法、およびセルフレジ端末８０と顧客端末９０との間で決済情報のやり取りを行う際に用いられる手法は特に限定されない。例えば、２次元コードの読み取り、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）タグの読み取りなど従来の手法により行われる。

【0049】

顧客端末９０は、情報処理システム１を利用するユーザとしての顧客が操作する情報処理装置である。顧客端末９０は、セルフレジ端末８０から送信されてくる各種の情報を取得し、各種の処理を行う。また、顧客端末９０は、セルフレジ端末８０に向けて各種の情報を送信する。例えば、顧客端末９０は、無人店舗Ｔに来店した顧客が商品を購入する際、セルフレジ端末８０との間で決済情報の送受信を行うことで決済処理を完了させる。

【0050】

情報処理システム１を構成する管理サーバ１０、オペレータ端末２０、ゲート端末３０、管理者端末４０、店舗カメラ５０－１乃至５０－ｎ、店舗センサ６０－１乃至６０－ｍ、店舗サイネージ７０、セルフレジ端末８０、および顧客端末９０－１乃至９０－ｐの各々の上述の処理は一例であり、情報処理システム１全体として上述の処理を実現させる機能を備えていればよい。

【0051】

このため、上述の処理を実現させる機能のうち、一部または全部を情報処理システム１内で分担してもよいし協働してもよい。すなわち、管理サーバ１０の機能の一部または全部を、情報処理システム１内の他の情報処理装置などの機能としてもよいし、情報処理システム１内の他の情報処理装置などの機能の一部または全部を管理サーバ１０の機能としてもよい。さらに、管理サーバ１０の機能の一部または全部を、図示せぬ他のサーバなどに移譲してもよい。これにより、情報処理システム１全体としての処理が促進され、また、処理を補完し合うことも可能となる。

【0052】

（管理サーバのハードウェア構成）
図２は、本実施の形態が適用される情報処理装置としての管理サーバ１０のハードウェア構成の一例を示す図である。
管理サーバ１０は、制御部１１と、メモリ１２と、記憶部１３と、通信部１４と、操作部１５と、表示部１６とを有している。これらの各部は、データバス、アドレスバス、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどで接続されている。

【0053】

制御部１１は、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）などの各種ソフトウェアの実行を通じて管理サーバ１０の機能の制御を行うプロセッサである。制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成される。メモリ１２は、各種ソフトウェアやその実行に用いるデータなどを記憶する記憶領域であり、演算に際して作業エリアとして用いられる。メモリ１２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成される。

【0054】

記憶部１３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データなどを記憶する記憶領域である。記憶部１３は、例えばプログラムや各種設定データなどの記憶に用いられるＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、半導体メモリなどで構成される。記憶部１３には、各種の情報を記憶するデータベースとして、撮像画像ＤＢ１３１、ユーザＤＢ１３２、サイズＤＢ１３３、商品ＤＢ１３４などが格納されている。

【0055】

記憶部１３に格納されているデータベースのうち、撮像画像ＤＢ１３１には、店舗カメラ５０－１乃至５０－ｎの各々により撮像された撮像可能領域の撮像画像のデータ、およびその解析結果が記憶されている。また、ユーザＤＢ１３２には、ユーザごとのユーザ情報が記憶されている。ユーザ情報には、入店時におけるユーザ（顧客および補助店員）の顔画像データ（以下、「入店時顔画像データ」と呼ぶ場合がある。）、店舗内におけるユーザ（顧客および補助店員）の顔画像データ（以下、「店舗内顔画像データ」と呼ぶ場合がある。）、決済時におけるユーザ（顧客）の顔画像データ（以下、「決済時顔画像データ」と呼ぶ場合がある。）、要注意顧客情報、決済情報などが含まれる。また、サイズＤＢ１３３には、無人店舗内の撮像可能領域に存在し得る物体の各々の外形サイズが記憶されている。また、商品ＤＢ１３４には、商品情報が記憶されている。商品情報には在庫情報などが含まれる。

【0056】

通信部１４は、ネットワークＮを介してオペレータ端末２０、ゲート端末３０、管理者端末４０、店舗カメラ５０－１乃至５０－ｎ、店舗センサ６０－１乃至６０－ｍ、店舗サイネージ７０－１乃至７０－ｒ、セルフレジ端末８０、顧客端末９０－１乃至９０－ｐ、および外部との間でデータの送受信を行う。操作部１５は、例えばキーボード、マウス、機械式のボタン、スイッチで構成され、入力操作を受け付ける。操作部１５には、表示部１６と一体的にタッチパネルを構成するタッチセンサも含まれる。表示部１６は、例えば情報の表示に用いられる液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、画像やテキストのデータなどを表示する。

【0057】

（オペレータ端末のハードウェア構成）
図３は、本実施の形態が適用される情報処理装置としてのオペレータ端末２０のハードウェア構成の一例を示す図である。
オペレータ端末２０は、図２の管理サーバ１０のハードウェア構成のうち、制御部１１、メモリ１２、記憶部１３、通信部１４、操作部１５、および表示部１６の各々に対応するハードウェア構成を有している。
すなわち、オペレータ端末２０は、ＣＰＵなどのプロセッサで構成される制御部２１と、ＲＡＭなどの記憶領域で構成されるメモリ２２と、ＨＤＤやＳＤＤ、半導体メモリなどの記憶領域で構成される記憶部２３とを有している。また、オペレータ端末２０は、ネットワークＮを介して、ゲート端末３０、管理者端末４０、店舗カメラ５０－１乃至５０－ｎ、店舗センサ６０－１乃至６０－ｍ、店舗サイネージ７０－１乃至７０－ｒ、セルフレジ端末８０、顧客端末９０－１乃至９０－ｐ、および外部との間でデータの送受信を行う通信部２４を有している。また、オペレータ端末２０は、タッチパネルなどで構成される操作部２５と、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示部２６とを有している。

【0058】

さらに、オペレータ端末２０は、これらの構成に加えて、撮像部２７と、録音部２８、音声出力部２９とを有している。撮像部２７は、カメラなどで構成され、被写体となるオペレータを撮像し、動画像のデータとして取得する。録音部２８は、オペレータから発せられた音声を録音して、音声のデータとして取得する。音声出力部２９は、スピーカなどで構成され、音声のデータを出力する。そして、これらの各部は、データバス、アドレスバス、ＰＣＩバスなどで接続されている。

【0059】

（ゲート端末、管理者端末、および顧客端末のハードウェア構成）
ゲート端末３０、管理者端末４０、店舗サイネージ７０、セルフレジ端末８０、および顧客端末９０のハードウェア構成は、図２に示すオペレータ端末２０のハードウェア構成の一例と同様の構成を備えている。すなわち、ゲート端末３０、管理者端末４０、店舗サイネージ７０、セルフレジ端末８０、および顧客端末９０は、図３の制御部２１、メモリ２２、記憶部２３、通信部２４、操作部２５、表示部２６、撮像部２７、録音部２８、および音声出力部２９と同様の機能を有する、制御部、メモリ、記憶部、通信部、操作部、表示部、撮像部、録音部、および音声出力部をそれぞれ備えている。このため、図示および説明を省略する。

【0060】

（管理サーバの制御部の機能構成）
図４は、管理サーバ１０の制御部１１の機能構成の一例を示す図である。
管理サーバ１０の制御部１１では、情報取得部１０１と、区画ユーザ抽出部１０２と、距離算出部１０３と、監視対象特定部１０４と、画像特定部１０５と、退店制御情報生成部１０６と、送信制御部１０７とが機能する。

【0061】

情報取得部１０１は、各種の情報を取得する。具体的には、情報取得部１０１は、オペレータ端末２０、ゲート端末３０、管理者端末４０、店舗カメラ５０－１乃至５０－ｎ、店舗センサ６０－１乃至６０－ｍ、店舗サイネージ７０、セルフレジ端末８０の各々、および外部から送信されてきた情報を取得する。また、情報取得部１０１は、データベースに記憶されている情報を取得する。情報取得部１０１がデータベースから取得する情報としては、例えば、商品情報などが挙げられる。

【0062】

情報取得部１０１により取得される情報のうち、オペレータ端末２０から送信されてくる情報としては、例えば、支援情報などが挙げられる。また、情報取得部１０１により取得される情報のうち、ゲート端末３０から送信されてくる情報としては、例えば、入店時顔画像データなどが挙げられる。また、情報取得部１０１により取得される情報のうち、管理者端末４０から送信されてくる情報としては、例えば、商品情報、管理者対応情報などが挙げられる。また、情報取得部１０１により取得される情報のうち、店舗カメラ５０－１乃至５０－ｎの各々から送信されてくる情報としては、例えば、撮像可能領域の撮像画像のデータなどが挙げられる。

【0063】

また、情報取得部１０１により取得される情報のうち、店舗センサ６０－１乃至６０－ｍの各々から送信されてくる情報としては、例えば、センシングによる検知結果などが挙げられる。また、情報取得部１０１により取得される情報のうち、店舗サイネージ７０から送信されてくる情報としては、例えば、顧客からの質問や問い合わせとして発話された音声のデータや、顧客の入力操作により入力された入力操作情報などが挙げられる。また、情報取得部１０１により取得される情報のうち、セルフレジ端末８０から送信されてくる情報としては、例えば、決済処理が完了した旨を示す情報や決済情報などが挙げられる。

【0064】

区画ユーザ抽出部１０２は、情報取得部１０１により取得された撮像可能領域の撮像画像のデータを解析し、撮像可能領域の撮像画像に含まれるユーザおよび所定区画を特定して抽出する。区画ユーザ抽出部１０２による画像解析の手法は特に限定されず、オブジェクトの抽出処理、抽出したオブジェクトの画素数の演算処理、演算処理の結果に基づく判別など従来の画像解析の手法を用いることができる。区画ユーザ抽出部１０２による画像解析では、撮像可能領域の撮像画像のノイズや歪みの除去、撮像可能領域の撮像画像の明るさや色彩の調整、対象物（ユーザおよび所定区画）の輪郭の強調、対象物の領域の抽出、対象物の領域と背景との区別、対象物の画像データの画素単位での抽出などが行われる。

【0065】

距離算出部１０３は、区画ユーザ抽出部１０２により撮像可能領域の撮像画像から抽出されたユーザと所定区画との距離を算出する。距離算出部１０３は、ユーザと所定区画との距離を算出する際、店舗カメラ５０－１乃至５０－ｎの各々の設置位置、画角、および撮像可能領域に存在し得る物体の外形サイズを考慮する。距離算出部１０３により算出されるユーザと所定区画との距離としては、顧客と商品陳列棚との距離、補助店員と商品陳列棚との距離、補助店員と商品保管棚との距離などが挙げられる。

【0066】

監視対象特定部１０４は、ユーザと所定区画との位置関係が所定条件を満たす場合、そのユーザを監視対象として特定する。具体的には、監視対象特定部１０４は、距離算出部１０３により算出されたユーザと所定区画との距離が、管理者などにより予め定められた監視対象距離を下回ったという条件を満たす場合、そのユーザを監視対象として特定する。「監視対象距離」とは、ユーザと所定区画との距離のうち、そのユーザによる不正行為（例えば、万引き）が行われやすい距離として予め定められた距離の閾値のことをいう。

【0067】

また、監視対象特定部１０４は、監視対象距離のみならず、データベースに記憶されて管理されている要注意顧客情報に基づいて、監視対象とするユーザを特定する。具体的には、監視対象特定部１０４は、要注意顧客情報に含まれるユーザの顔画像データと、入店時顔画像データとを照合した結果に基づいて、監視対象とするユーザを特定する。

【0068】

また、監視対象特定部１０４は、監視対象距離および要注意顧客情報のみならず、データベースに記憶されて管理されている商品情報と、セルフレジ端末８０から送信されてくる決済情報とに基づいて、監視対象とするユーザを特定する。具体的には、監視対象特定部１０４は、商品情報のうち在庫情報から得られる商品の在庫量の増減に関する在庫増減情報と、決済情報から算出される商品の販売の実績に関する販売実績情報とに基づいて、監視対象とするユーザを特定する。

【0069】

さらに具体的には、監視対象特定部１０４は、販売実績情報から特定される、所定区画に存在するべき商品の数量と、在庫増減情報から特定される、所定区画に存在するべき商品の数量とを比較した結果に基づいて、所定の閾値を超える数量の差が生じている所定区画に接近したユーザを監視対象として特定する。なお、この「所定の閾値」は、管理者が設定することができる。

【0070】

画像特定部１０５は、情報取得部１０１により取得された撮像可能領域の撮像画像のデータのうち、監視対象特定部１０４により監視対象として特定されたユーザが撮像されている撮像画像のデータを特定する。具体的には、例えば、監視対象距離が５ｃｍ（センチメートル）であることが予め設定されていたとする。この場合、無人店舗Ｔに来店した顧客が商品陳列棚に近づいたことで、顧客と商品陳列棚との距離が５ｃｍを下回った状態になると、画像特定部１０５は、その顧客を監視対象として特定する。この場合、監視対象距離である５ｃｍを下回った状態が継続されている必要はなく、一度（例えば、一瞬）でも監視対象距離を下回れば、その顧客は監視対象として特定される。これにより、瞬間的に行われた不正行為（例えば、万引き）を漏らさずに監視することが可能となる。

【0071】

退店制御情報生成部１０６は、無人店舗に入店したユーザの退店制御情報生成を生成する。具体的には、退店制御情報生成部１０６は、画像特定部１０５により特定された撮像可能領域の撮像画像のデータ、入店時顔画像データ、店舗内顔画像データ、決済時顔画像データ、商品情報、および決済情報に基づいて、無人店舗に入店したユーザの退店の許否を判定する。そして、退店制御情報生成部１０６は、退店の許否の判定結果に基づいて、退店制御情報をユーザごとに生成する。

【0072】

送信制御部１０７は、各種の情報を送信する制御を行う。具体的には、送信制御部１０７は、オペレータ端末２０、ゲート端末３０、管理者端末４０、店舗サイネージ７０、セルフレジ端末８０、および外部の各々に向けて各種の情報を送信する制御を行う。

【0073】

送信制御部１０７の制御により送信される情報のうち、オペレータ端末２０に向けて送信される情報としては、例えば、サイネージ接近情報、顧客の撮像画像のデータ、顧客から発話された音声のデータなどが挙げられる。また、送信制御部１０７の制御により送信される情報のうち、ゲート端末３０に向けて送信される情報としては、例えば、退店制御情報などが挙げられる。また、送信制御部１０７の制御により送信される情報のうち、管理者端末４０に向けて送信される情報としては、例えば、商品情報、要注意顧客情報、警告情報などが挙げられる。

【0074】

また、送信制御部１０７の制御により送信される情報のうち、店舗サイネージ７０に向けて送信される情報としては、例えば、支援情報などが挙げられる。また、送信制御部１０７の制御により送信される情報のうち、セルフレジ端末８０に向けて送信される情報としては、例えば、商品情報などが挙げられる。

【0075】

（オペレータ端末の制御部の機能構成）
図５（Ａ）は、オペレータ端末２０の制御部２１の機能構成の一例を示す図である。
オペレータ端末２０の制御部２１では、情報取得部２０１と、送信制御部２０２と、出力制御部２０３とが機能する。

【0076】

情報取得部２０１は、各種の情報を取得する。具体的には、情報取得部２０１は、管理サーバ１０および外部から送信されてきた情報を、通信部２４を介して取得する。情報取得部２０１により取得される情報のうち、管理サーバ１０から送信されてくる情報としては、例えば、サイネージ接近情報、顧客の撮像画像のデータ、顧客から発話された音声のデータなどが挙げられる。また、情報取得部２０１は、操作部２５を介して入力された情報を取得する。操作部２５を介して入力される情報としては、例えば、支援情報などが挙げられる。

【0077】

送信制御部２０２は、各種の情報を送信する制御を行う。具体的には、送信制御部２０２は、管理サーバ１０および外部に向けて各種の情報を、通信部２４を介して送信する制御を行う。送信制御部２０２の制御により送信される情報のうち、管理サーバ１０に向けて送信される情報としては、例えば、支援情報などが挙げられる。

【0078】

出力制御部２０３は、各種情報を出力する制御を行う。具体的には、例えば、出力制御部２０３は、管理サーバ１０から送信されてきた情報を表示部２６から出力する制御を行う。出力制御部２０３の制御により表示部２６から出力される情報としては、例えば、サイネージ接近情報、顧客の撮像画像のデータなどが挙げられる。また、例えば、出力制御部２０３は、管理サーバ１０から送信されてきた情報を音声出力部２９から出力する制御を行う。出力制御部２０３の制御により音声出力部２９から出力される情報としては、例えば、顧客から発話された音声のデータなどが挙げられる。

【0079】

（ゲート端末の制御部の機能構成）
図５（Ｂ）は、ゲート端末３０の制御部の機能構成の一例を示す図である。
ゲート端末３０の制御部では、情報取得部３０１と、送信制御部３０２と、出力制御部３０３と、扉制御部３０４とが機能する。

【0080】

情報取得部３０１は、各種の情報を取得する。具体的には、情報取得部３０１は、管理サーバ１０および外部から送信されてきた情報を、通信部を介して取得する。情報取得部３０１により取得される情報のうち、管理サーバ１０から送信されてくる情報としては、例えば、退店制御情報などが挙げられる。また、情報取得部３０１は、撮像部のカメラで撮像されたユーザの入店時顔画像データを取得する。

【0081】

送信制御部３０２は、各種の情報を送信する制御を行う。具体的には、送信制御部３０２は、管理サーバ１０および外部に向けて各種の情報を、通信部を介して送信する制御を行う。送信制御部３０２の制御により送信される情報のうち、管理サーバ１０に向けて送信される情報としては、例えば、入店時顔画像データ、ユーザが退店しようとした旨を示す情報などが挙げられる。

【0082】

出力制御部３０３は、各種情報を出力する制御を行う。具体的には、例えば、出力制御部３０３は、管理サーバ１０から送信されてきた退店制御情報の内容がユーザの退店を禁止するものである場合、そのユーザが自動扉に近付くと、音声出力部から警告音を出力する制御を行う。また、例えば、出力制御部３０３は、管理サーバ１０から送信されてきた退店制御情報の内容がユーザの退店を許可するものである場合、そのユーザが自動扉に近付くと、音声出力部から所定のメッセージを出力する制御を行うこともできる。「所定のメッセージ」としては、例えば、「ありがとうございました。またのご来店を心よりお待ちしております。」といった来店を感謝するメッセージなどであってもよい。

【0083】

扉制御部３０４は、自動扉の解錠の制御を行う。具体的には、扉制御部３０４は、情報取得部１０１により取得された退店制御情報に基づいて、自動扉の解錠の制御を行う。具体的には、扉制御部３０４は、退店制御情報の内容がユーザの退店を許可するものである場合には、そのユーザが自動扉に近付くと自動扉を解錠する制御を行う。これに対して、退店制御情報の内容がユーザの退店を禁止するものである場合、扉制御部３０４は、そのユーザが自動扉に近付いても自動扉を解錠しない。

【0084】

（管理者端末の制御部の機能構成）
図５（Ｃ）は、管理者端末４０の制御部の機能構成の一例を示す図である。
管理者端末４０の制御部では、情報取得部４０１と、送信制御部４０２と、出力制御部４０３とが機能する。

【0085】

情報取得部４０１は、各種の情報を取得する。具体的には、情報取得部４０１は、管理サーバ１０および外部から送信されてきた情報を、通信部を介して取得する。情報取得部４０１により取得される情報のうち、管理サーバ１０から送信されてくる情報としては、例えば、商品情報、要注意顧客情報、警告情報などが挙げられる。

【0086】

送信制御部４０２は、各種の情報を送信する制御を行う。具体的には、送信制御部３０２は、管理サーバ１０および外部に向けて各種の情報を、通信部を介して送信する制御を行う。送信制御部４０２の制御により送信される情報のうち、管理サーバ１０に向けて送信される情報としては、例えば、管理者対応情報、各種の設定情報（例えば、監視対象距離の設定情報など）などが挙げられる。

【0087】

出力制御部４０３は、各種情報を出力する制御を行う。具体的には、例えば、出力制御部４０３は、管理サーバ１０から送信されてきた情報を表示部から出力する制御を行う。出力制御部４０３の制御により表示部から出力される情報としては、例えば、商品情報、要注意顧客情報、警告情報などが挙げられる。

【0088】

（店舗サイネージの制御部の機能構成）
図６（Ａ）は、店舗サイネージ７０の制御部の機能構成の一例を示す図である。
店舗サイネージ７０の制御部では、情報取得部７０１と、送信制御部７０２と、出力制御部７０３とが機能する。

【0089】

情報取得部７０１は、各種の情報を取得する。具体的には、例えば、情報取得部７０１は、管理サーバ１０および外部から送信されてきた情報を、通信部を介して取得する。情報取得部７０１により取得される情報のうち、管理サーバ１０から送信されてくる情報としては、例えば、支援情報などが挙げられる。

【0090】

また、情報取得部７０１は、撮像部、録音部、および操作部を介して入力された情報を取得する。撮像部を介して入力される情報としては、例えば、店舗内顔画像データを含む顧客の撮像画像のデータなどが挙げられる。また、録音部を介して入力される情報としては、例えば、顧客が発話した音声のデータなどが挙げられる。また、操作部を介して入力される情報としては、例えば、顧客の入力操作により入力された操作情報などが挙げられる。

【0091】

送信制御部７０２は、各種の情報を送信する制御を行う。具体的には、送信制御部７０２は、管理サーバ１０および外部に向けて各種の情報を、通信部を介して送信する制御を行う。送信制御部７０２の制御により送信される情報のうち、管理サーバ１０に向けて送信される情報としては、例えば、店舗内顔画像データを含む顧客の撮像画像のデータ、顧客が発話した音声のデータ、顧客の入力操作により入力された操作情報などが挙げられる。

【0092】

出力制御部７０３は、各種情報を出力する制御を行う。具体的には、例えば、出力制御部７０３は、管理サーバ１０から送信されてきた情報を表示部から出力する制御を行う。出力制御部７０３の制御により表示部から出力される情報としては、例えば、支援情報としてのテキスト情報や動画像のデータなどが挙げられる。また、例えば、出力制御部７０３は、管理サーバ１０から送信されてきた情報を音声出力部から出力する制御を行う。出力制御部７０３の制御により音声出力部から出力される情報としては、例えば、支援情報としての音声のデータなどが挙げられる。

【0093】

（セルフレジ端末の制御部の機能構成）
図６（Ｂ）は、セルフレジ端末８０の制御部の機能構成の一例を示す図である。
セルフレジ端末８０の制御部では、情報取得部８０１と、送信制御部８０２と、出力制御部８０３とが機能する。

【0094】

情報取得部８０１は、各種の情報を取得する。具体的には、例えば、情報取得部８０１は、管理サーバ１０、顧客端末９０、および外部から送信されてきた情報を、通信部を介して取得する。情報取得部８０１により取得される情報のうち、管理サーバ１０から送信されてくる情報としては、例えば、商品情報などが挙げられる。また、情報取得部８０１により取得される情報のうち、顧客端末９０から送信されてくる情報としては、例えば、決済情報などが挙げられる。

【0095】

また、情報取得部８０１は、撮像部および操作部を介して入力された情報を取得する。撮像部を介して入力される情報としては、例えば、決済時顔画像データを含むユーザの撮像画像のデータなどが挙げられる。また、操作部を介して入力される情報としては、例えば、顧客の入力操作により入力された操作情報などが挙げられる。

【0096】

送信制御部８０２は、各種の情報を送信する制御を行う。具体的には、送信制御部８０２は、管理サーバ１０、顧客端末９０、および外部に向けて各種の情報を、通信部を介して送信する制御を行う。送信制御部８０２の制御により送信される情報のうち、管理サーバ１０に向けて送信される情報としては、例えば、顧客の入力操作により入力された操作情報、顧客の決済処理が完了した旨を示す情報、決済情報、決済時顔画像データを含む顧客の撮像画像のデータなどが挙げられる。また、送信制御部８０２の制御により送信される情報のうち、顧客端末９０に向けて送信される情報としては、例えば、決済情報などが挙げられる。

【0097】

出力制御部８０３は、各種情報を出力する制御を行う。具体的には、例えば、出力制御部８０３は、管理サーバ１０、顧客端末９０、および外部から送信されてきた情報を表示部から出力する制御を行う。出力制御部８０３の制御により表示部から出力される情報としては、例えば、商品情報、決済情報などが挙げられる。また、例えば、出力制御部８０３は、管理サーバ１０から送信されてきた情報を音声出力部から出力する制御を行う。出力制御部８０３の制御により音声出力部から出力される情報としては、例えば、決済処理が完了した旨を示す所定のメッセージの音声などが挙げられる。

【0098】

（顧客端末の制御部の機能構成）
図６（Ｃ）は、顧客端末９０の制御部の機能構成の一例を示す図である。
顧客端末９０の制御部では、情報取得部９０１と、送信制御部９０２と、出力制御部９０３とが機能する。

【0099】

情報取得部９０１は、各種の情報を取得する。具体的には、例えば、情報取得部９０１は、セルフレジ端末８０および外部から送信されてきた情報を、通信部を介して取得する。情報取得部９０１により取得される情報のうち、セルフレジ端末８０から送信されてくる情報としては、例えば、決済情報などが挙げられる。また、情報取得部９０１は、操作部を介して入力された情報を取得する。撮像部を介して入力される情報としては、例えば、顧客の入力操作により入力された操作情報などが挙げられる。

【0100】

送信制御部９０２は、各種の情報を送信する制御を行う。具体的には、送信制御部８０２は、セルフレジ端末８０および外部に向けて各種の情報を、通信部を介して送信する制御を行う。送信制御部９０２の制御により送信される情報のうち、セルフレジ端末８０に向けて送信される情報としては、例えば、決済情報などが挙げられる。

【0101】

出力制御部９０３は、各種情報を出力する制御を行う。具体的には、例えば、出力制御部９０３は、顧客端末９０および外部から送信されてきた情報を表示部から出力する制御を行う。出力制御部９０３の制御により表示部から出力される情報としては、例えば、決済情報などが挙げられる。また、例えば、出力制御部９０３は、セルフレジ端末８０から送信されてきた情報を音声出力部から出力する制御を行う。出力制御部８０３の制御により音声出力部から出力される情報としては、例えば、決済処理が完了した旨を示す所定のメッセージの音声などが挙げられる。

【0102】

（管理サーバの処理の流れ）
図７は、管理サーバ１０の処理のうち、ユーザの入店時における処理の流れの一例を示すフローチャートである。

【0103】

管理サーバ１０は、ゲート端末３０から入店時顔画像データが送信されてくると（ステップＳ１１１でＹＥＳ）、送信されてきた入店時顔画像データを取得して管理する（ステップＳ１１２）。これに対して、入店時顔画像データが送信されてきていない場合（ステップＳ１１１でＮＯ）、管理サーバ１０は、入店時顔画像データが送信されてくるまでステップＳ１１１を繰り返す。

【0104】

次に、管理サーバ１０は、店舗サイネージ７０から店舗内顔画像データが送信されてくると（ステップＳ１１３でＹＥＳ）、送信されてきた店舗内顔画像データを取得して管理する（ステップＳ１１４）。これに対して、店舗内顔画像データが送信されてきていない場合（ステップＳ１１３でＮＯ）、管理サーバ１０は、店舗内顔画像データが送信されてくるまでステップＳ１１３を繰り返す。

【0105】

次に、管理サーバ１０は、店舗カメラ５０－１乃至５０－ｎの各々により撮像された撮像可能領域の撮像画像のデータが送信されてくると（ステップＳ１１５でＹＥＳ）、送信されてきた撮像可能領域の撮像画像のデータを取得して管理する（ステップＳ１１６）。これに対して、撮像可能領域の撮像画像のデータが送信されてきていない場合（ステップＳ１１５でＮＯ）、管理サーバ１０は、撮像可能領域の撮像画像のデータが送信されてくるまでステップＳ１１５を繰り返す。

【0106】

次に、管理サーバ１０は、ステップＳ１１６で取得した撮像可能領域の撮像画像のデータを解析し（ステップＳ１１７）、撮像可能領域の撮像画像に含まれるユーザおよび所定区画を特定して抽出する（ステップＳ１１８）。管理サーバ１０は、抽出したユーザと所定区画との距離を算出する（ステップＳ１１９）。そして、ユーザと所定区画との距離が監視対象距離を下回る場合（ステップＳ１２０でＹＥＳ）、管理サーバ１０は、ステップＳ１１８で撮像可能領域の撮像画像から抽出したユーザを監視対象として特定する（ステップＳ１２１）。これに対して、ユーザと所定区画との距離が監視対象距離を下回らない場合（ステップＳ１２０でＮＯ）、管理サーバ１０の処理はステップＳ１１５に戻る。次に、管理サーバ１０は、ステップＳ１１６で取得した撮像可能領域の撮像画像のデータのうち、ステップＳ１２１で監視対象として特定したユーザが撮像されている撮像画像のデータを特定する（ステップＳ１２２）。

【0107】

図８は、管理サーバ１０の処理のうち、ユーザの退店時における処理の流れの一例を示すフローチャートである。

【0108】

管理サーバ１０は、セルフレジ端末８０から決済後顔画像データおよび決済情報が送信されてくると（ステップＳ２１１でＹＥＳ）、送信されてきた決済後顔画像データおよび決済情報を取得して管理する（ステップＳ２１２）。これに対して、決済後顔画像データおよび決済情報が送信されてきていない場合（ステップＳ２１１でＮＯ）、管理サーバ１０は、これらの情報が送信されてくるまでステップＳ２１１を繰り返す。

【0109】

次に、管理サーバ１０は、ユーザが退店しようとしている旨を示す情報がゲート端末３０から送信されてくると（ステップＳ２１３でＹＥＳ）、送信されてきた情報を取得して管理する（ステップＳ２１４）。これに対して、ユーザが退店しようとしている旨を示す情報が送信されてきていない場合（ステップＳ２１３でＮＯ）、管理サーバ１０は、ユーザが退店しようとしている旨を示す情報が送信されてくるまでステップＳ２１３を繰り返す。

【0110】

次に、管理サーバ１０は、ユーザの退店の許否を判定する（ステップＳ２１５）。具体的には、管理サーバ１０は、上述の図７のステップＳ１１２で取得したユーザの入店時顔画像のデータと、図７のステップＳ１１４で取得したユーザの店舗内顔画像のデータと、図７のステップＳ１１７で解析した撮像可能領域の撮像画像のデータの解析結果と、図８のステップＳ２１２で取得した決済後顔画像データおよび決済情報とに基づいて、ユーザの退店の許否を判定する。ステップＳ２１５の判定では、ユーザの入店時顔画像のデータと、店舗内顔画像のデータと、決済後顔画像データとが一致するかどうかが考慮される。

【0111】

そして、管理サーバ１０は、ユーザの退店の許否の判定結果に基づいて、退店制御情報を生成し（ステップＳ２１６）、生成した退店制御情報をゲート端末３０に向けて送信する（ステップＳ２１７）。その後、ゲート端末３０にて退店制御情報に基づく自動扉の解錠の制御が行われることになる。

【0112】

（具体例）
図９は、図１の情報処理システム１が適用される無人店舗Ｔ１の具体例を示す図である。
図９には、無人店舗Ｔ１を構成する陳列領域Ｔａの様子が示されている。陳列領域Ｔａには、商品Ｍ１が陳列された商品陳列棚Ｈ１と、商品Ｍ２が陳列された商品陳列棚Ｈ２とが配置されている。また、情報処理システム１を構成するゲート端末３０と、店舗カメラ５０－１乃至５０－３と、店舗センサ６０と、店舗サイネージ７０－１乃至７０－３と、セルフレジ端末８０とが陳列領域Ｔａに配置されている。また、ゲート端末３０の近傍には、ゲート端末３０に連動して警告灯を点灯させるパトランプＬが配置されている。

【0113】

また、陳列領域Ｔａには、無人店舗Ｔ１に入店した顧客Ｕｃ１およびＵｃ２の各々が買い物をしている。また、無人店舗Ｔ１の外には、商品の補充陳列作業のために無人店舗Ｔ１に入店しようとしている補助店員Ｕｆ１が自動扉Ｄの前に立っている。顧客Ｕｃ１およびＵｃ２の各々は、図示はしないが顧客端末９０－１および９０－２の各々を所持している。

【0114】

また、無人店舗Ｔ１が所在するＺ県Ｘ市に隣接するＺ県Ｙ市には、無人店舗Ｔ１およびＴ２の運営を管理する管理事務所Ｊが設置されている。管理事務所Ｊには、管理者端末４０を操作する管理者Ｋと、Ｚ県Ｙ市に隣接するＺ県Ｒ市に所在する無人店舗Ｔ２の商品の補充陳列作業を行う図示せぬ補助店員が勤務している。また、無人店舗Ｔや管理事務所Ｊが所在するＺ県から遠く離れた東京都のＳ区には、オペレータＥが勤務するカスタマセンタＣが設置されている。カスタマセンタＣには、オペレータＥが業務上使用するオペレータ端末２０が配置されている。

【0115】

ゲート端末３０は、補助店員Ｕｆ１が無人店舗Ｔ１に入店する際、補助店員Ｕｆ１の顔を撮像し、入店時顔画像データを取得する。補助店員Ｕｆ１の顔画像データが事前登録されている。このため、顔認証により自動扉Ｄの解錠の制御が行われる。これに対して、すでに無人店舗Ｔ１に入店している顧客Ｕｃ１およびＵｃ２のうち顧客Ｕｃ２は、無人店舗Ｔ１を初めて利用する顧客である。このため、顔画像データが事前登録されていないが、入店時に顔画像データを提供する（すなわち、ゲート端末３０に顔を撮像してもらう）だけでスムーズに入店することができる。

【0116】

また、顧客Ｕｃ２は、無人店舗Ｔ１を初めて利用する顧客であるが、店舗サイネージ７０－１乃至７０－３の各々に表示されるオペレータＥのアバター画像とのコミュニケーションを通じて支援情報を提供してもらうことでスムーズに買い物をすることができる。なお、例えば、図８の右上の吹き出しに示すように、過去に万引きなどの不正行為が行われたことがある商品陳列棚Ｈや、目玉商品や高額商品が陳列された商品陳列棚Ｈに店舗サイネージ７０を設置されている場合には、管理者Ｋ側の効果として、不正行為の抑制や、目玉商品や高額商品の売り上げの増加を図ることができる。

【0117】

また、顧客Ｕｃ１は、要注意顧客として顔画像データが事前登録されている顧客である。顧客Ｕｃ１は、顧客Ｕｃ２と同様に、入店時に顔画像データを提供する（すなわち、ゲート端末３０に顔を撮像してもらう）だけでスムーズに入店することができるが、ゲート端末３０から管理サーバ１０（図１参照）に向けて送信された要注意顧客情報が管理者端末４０により受信されている。このため、顧客Ｕｃ１に認識させることなく監視対象としてすでに特定され、管理者に情報共有されている。これにより、顧客Ｕｃ１が無人店舗Ｔ１で万引きなどの不正行為を行うことは困難になる。

【0118】

ここで、例えば、無人店舗Ｔ１に初めて来店した顧客Ｕｃ２が、商品Ｍ２を万引きするために商品陳列棚Ｈ２に接近し、店舗カメラ５０－２の撮像可能領域に商品陳列棚Ｈ２が含まれていたとする。この場合、店舗カメラ５０－２の撮像可能領域の撮像画像のデータの解析結果から算出される顧客Ｕｃ２と商品陳列棚Ｈ２との距離に基づいた監視が行われる。

【0119】

図１０は、撮像可能領域の撮像画像の具体例を示す図である。
図１０に示す撮像可能領域の撮像画像のデータは、上述の図９の具体例における店舗カメラ５０－２の撮像可能領域の撮像画像であるものとする。この撮像画像には、顧客Ｕｃ２と商品陳列棚Ｈ２とが含まれており、この撮像画像の解析結果から顧客Ｕｃ２と商品陳列棚Ｈ２との距離ｄが算出される。そして、算出された距離ｄが監視対象距離ｄｔを下回った場合には、顧客Ｕｃ２が監視対象として特定される。これに対して、距離ｄが監視対象距離ｄｔを下回らなかった場合には、顧客Ｕｃ２が監視対象として特定されない。

【0120】

顧客Ｕｃ２が監視対象として特定された後、撮像画像の解析結果から、顧客Ｕｃ２が接近した商品陳列棚Ｈ２に陳列されている商品Ｍ２が特定され、商品Ｍ２の商品情報および決済情報から顧客Ｕｃ２が不正行為（万引き）を行った可能性が高いと判定されたとする。この場合、顧客Ｕｃ２が自動扉Ｄから退店しようとしても自動扉Ｄが解錠されず、ゲート端末３０から警告音が出力され、これに連動してパトランプＬが点灯する。

【0121】

（他の実施の形態）
以上、本発明の一実施形態について説明したが、本発明は、上述の実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。

【0122】

例えば、上述の実施の形態では、図１の情報処理システム１が適用される無人店舗について説明しているが、有人の店舗であってもよいし、また、店舗ではなく商品が保管された倉庫などであってもよい。

【0123】

また、上述の実施の形態では、顧客と補助店員とで同一の監視対象距離が設定されているが、顧客と補助店員とでそれぞれ異なる監視対象距離が設定されてもよい。

【0124】

また、上述の実施の形態では、店舗サイネージ７０にオペレータのアバター画像が表示されるが、アバター画像に限定されず、例えば、オペレータの撮像画像であってもよい。

【0125】

また、図１に示す情報処理システム１の構成、図２および図３の各々に示す管理サーバ１０およびオペレータ端末２０各々のハードウェア構成は、いずれも本発明の目的を達成するための例示に過ぎず、特に限定されない。また、図４乃至図６（Ｃ）の各々に示す管理サーバ１０、オペレータ端末２０、ゲート端末３０、管理者端末４０、店舗サイネージ７０、セルフレジ端末８０、および顧客端末９０の各々の機能構成も例示に過ぎず、特に限定されない。上述した処理を全体として実行できる機能が図１の情報処理システム１に備えられていれば足り、この機能を実現するためにどのような機能構成を用いるかは図４乃至図６（Ｃ）の例に限定されない。

【0126】

また、図７および図８に示す管理サーバ１０の処理のステップの順序も例示に過ぎず、特に限定されない。図示されたステップの順序に沿って時系列的に行われる処理だけではなく、必ずしも時系列的に処理されなくとも、並列的あるいは個別的に行われてもよい。また、図９および図１０に示す具体例も一例に過ぎず、特に限定されない。

【0127】

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

【0128】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

【0129】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

【0130】

以上まとめると、本発明が適用される情報処理システム、情報処理装置、情報処理方法、およびプログラムは、次のような構成を取れば足り、各種各様な実施の形態を取ることができる。
すなわち、本発明が適用される情報処理システム（例えば図１の情報処理システム１）は、
店舗（例えば、図１の無人店舗Ｔ）内の所定領域（例えば、上述の「撮像可能領域」）を撮像する１以上の撮像手段（例えば、図１の店舗カメラ５０－１乃至５０－ｎ）と、
店舗の所定の区画（例えば、図８の商品陳列棚Ｈ１およびＨ２）を特定する区画特定手段（例えば、図４の区画ユーザ抽出部１０２）と、
取得手段が取得した撮像画像に基づいて、店舗内のユーザと特定された区画との距離を算出する距離算出手段と、
算出された距離（例えば、ユーザと所定区画との距離）が所定値以下（例えば、上述の「監視対象距離」を下回る場合）となったユーザが撮像されている店舗内画像を特定する画像特定手段（例えば、図４の距離算出部１０３、監視対象特定部１０４）と、
を有する。
これにより、店舗内の所定領域の撮像画像から算出されるユーザと所定区画との距離に基づいて、ユーザの不正行為を抑制することができる。その結果、完全に無人化された小売店舗の運営にあたり、顧客の入店制限や多額の設備投資を必要とする場合に比べて、顧客側および店舗運営側の各々の負担を抑制する情報システムを提供できる。

【0131】

また、前記所定の区画には、商品が陳列されている陳列領域と、当該商品の在庫が保管されている保管領域との少なくとも一方が含まれ、前記区画特定手段は、前記所定の区画として、前記陳列領域に配置された商品陳列棚と、前記保管領域に配置された商品保管棚との少なくとも一方を特定し、前記ユーザには、前記陳列領域に存在し得る顧客と、前記陳列領域および前記保管領域に存在し得る従業員との少なくとも一方が含まれることを特徴とすることができる。
これにより、店舗内の所定領域の撮像画像から算出されるユーザと所定区画との距離が予め定められた距離の閾値を下回るかどうかに基づいて、ユーザの不正行為を抑制することができる。

【0132】

前記商品の決済に関する決済情報と、当該商品の在庫に関する在庫情報とを少なくとも含む、当該商品に関する商品情報を取得する商品情報取得手段（例えば、図４の情報取得部１０１）をさらに有し、
前記区画特定手段は、さらに、前記商品情報取得手段により取得された前記商品情報に基づいて、前記所定区画を特定することを特徴とすることができる。
これにより、顧客および従業員と商品陳列棚および商品保管棚の各々との距離と、決済情報と、在庫情報とに基づいて、ユーザの不正行為を抑制することができる。

【0133】

前記区画特定手段は、さらに、前記決済情報から算出される前記商品の販売の実績数と、前記在庫情報から算出される当該商品の在庫の増減に関する在庫増減数とを比較した結果に基づいて、それらの差が所定値以上である場合に、前記所定の区画を特定することを特徴とすることができる。
これにより、顧客および従業員と商品陳列棚および商品保管棚の各々との距離と、在庫情報から算出される在庫増減情報と、決済情報から算出される販売実績情報とに基づいて、ユーザの不正行為を抑制することができる。

【0134】

また、前記ユーザとしての顧客の前記店舗内への進入を検知する顧客検知手段と、
アバター画像を当該顧客に表示する表示手段と、
をさらに有することを特徴とすることができる。
これにより、ユーザの利便性を向上させることができる。

【0135】

また、前記報知手段は、前記店舗内の所定位置に配置された表示手段に前記支援情報を表示することで、当該支援情報を前記顧客に報知することを特徴とすることができる。
これにより、表示手段から得られる支援情報によってユーザの利便性を向上させることができる。

【0136】

また、アバター表示手段に設けられ、進入する顧客の顔を撮像する進入時顔画像取得手段と、
前記顧客が購入する前記商品の決済と、決済時の当該顧客の顔の撮像とを行う決済撮像手段と（例えば、図１のセルフレジ端末８０）、
前記取得手段により取得された撮像画像から、前記顧客の顔画像を抽出する抽出手段と、
前記進入時顔画像取得手段により取得された前記顧客の進入時顔画像と、抽出手段により抽出された前記顧客の店舗内顔画像と、前記決済撮像手段により撮像された前記顧客の決済時顔画像と、当該決済撮像手段により決済された前記商品の情報と、前記商品の決済額とを記憶する記憶手段と（例えば、図２の管理サーバ１０の記憶部１３）、
をさらに有することを特徴とすることができる。
これにより、店舗に入店した顧客の顔の撮像画像のデータと、店舗内の顧客の行動とを対応付けて管理することができる。

【0137】

また、進入時顔画像、前記店舗内顔画像、および前記決済時顔画像を比較し、同一人物であるか否かを判定することにより、顔画像の関連付けを行う判定手段（例えば、図４の監視対象特定部１０４）をさらに有し、
前記記憶手段は、記憶手段に記憶された入店時顔画像、店舗内顔画像、精算時顔画像、精算された商品、および決済金額を対応付けて記憶することを特徴とすることができる。
これにより、店舗に入店した顧客の顔の撮像画像のデータと、店舗内の顧客の行動とを対応付けて管理することができる。

【0138】

また、警告の対象となる顧客が前記店舗内に進入すると、所定の警告を管理者に報知する警告報知手段（例えば、図５（Ｂ）の送信制御部３０２、出力制御部３０３、扉制御部３０４）をさらに有し、
前記記憶手段は、前記警告の対象となる顧客の顔の撮像画像をさらに記憶し、
前記判定手段は、さらに、前記進入時顔画像と、前記警告の対象となる顧客の顔の撮像画像とを比較した結果に基づいて、当該顧客が同一人物であるか否かを判定し、
前記警告報知手段は、前記判定手段が、前記進入時顔画像と、前記警告の対象となる顧客の顔の撮像画像とが同一の顧客の顔を撮像したものであると判定した場合、前記所定の警告を前記管理者に報知することを特徴とすることができる。
これにより、顧客の不正行為を抑制することができる。

【0139】

また、本発明が適用される情報処理装置（例えば図４の管理サーバ１０）は、
店舗内を撮像する１以上の撮像画像を取得する取得手段（例えば、図４の情報取得部１０１）と、
店舗の所定の区画を特定する区画特定手段と、
撮像手段が取得した店舗内画像に基づいて、店舗内のユーザ（例えば、図９の顧客Ｕｃ２）と特定された区画との距離を算出する距離算出手段と、
算出された距離が所定値以下（例えば、上述の「監視対象距離」を下回る場合）となったユーザが撮像されている店舗内画像を特定する画像特定手段（例えば、図４の距離算出部１０３、監視対象特定部１０４）と、
を有することを特徴とすることができる。
これにより、完全に無人化された小売店舗の運営にあたり、顧客の入店制限や多額の設備投資を必要とする場合に比べて、顧客側および店舗運営側の各々の負担を抑制する情報処理装置を提供できる。

【0140】

また、本発明が適用される情報処理方法は、
店舗内を撮像する１以上の撮像画像を取得するステップと（例えば図７のステップＳ１１６）、
店舗の所定の区画を特定するステップと（例えば図７のステップＳ１１８）、
撮像手段が取得した店舗内画像に基づいて、店舗内のユーザと特定された区画との距離を算出するステップと、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定ステップと、
を含むことを特徴とする。
これにより、完全に無人化された小売店舗の運営にあたり、顧客の入店制限や多額の設備投資を必要とする場合に比べて、顧客側および店舗運営側の各々の負担を抑制する情報処理方法を提供できる。

【0141】

また、本発明が適用されるプログラムは、
コンピュータに、
店舗内を撮像する１以上の撮像画像を取得する機能と、
店舗の所定の区画を特定する機能と、
撮像手段が取得した店舗内画像に基づいて、店舗内のユーザと特定された区画との距離を算出する機能と、
算出された距離が所定値以下となったユーザが撮像されている店舗内画像を特定する画像特定機能と、
を実現させるためのプログラムである。
これにより、完全に無人化された小売店舗の運営にあたり、顧客の入店制限や多額の設備投資を必要とする場合に比べて、顧客側および店舗運営側の各々の負担を抑制するプログラムを提供できる。

【符号の説明】

【0142】

１・・・情報処理システム、１０・・・管理サーバ、１１・・・制御部、１２・・・メモリ、１３・・・記憶部、１４・・・通信部、１５・・・操作部、１６・・・表示部、２０・・・オペレータ端末、２１・・・制御部、２２・・・メモリ、２３・・・記憶部、２４・・・通信部、２５・・・操作部、２６・・・表示部、２７・・・撮像部、２８・・・録音部、２９・・・音声出力部、３０・・・ゲート端末、１０１・・・情報取得部、１０２・・・区画ユーザ抽出部、１０３・・・距離算出部、１０４・・・監視対象特定部、１０５・・・画像特定部、１０６・・・退店制御情報生成部、１０７・・・送信制御部、１３１・・・撮像画像ＤＢ、１３２・・・ユーザＤＢ、１３３・・・サイズＤＢ、１３４・・・商品ＤＢ、３０１・・・情報取得部、３０２・・・送信制御部、３０３・・・出力制御部、３０４・・・扉制御部、７０１・・・情報取得部、７０２・・・送信制御部、７０３・・・出力制御部、８０１・・・情報取得部、８０２・・・送信制御部、８０３・・・出力制御部、９０１・・・情報取得部、９０２・・・送信制御部、９０３・・・出力制御部、Ｎ・・・ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】