ホーム > 特許ランキング > サインポスト株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037466
(43)【公開日】2024-03-19
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20240312BHJP
【ＦＩ】
G06Q30/06
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022142353
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】509288725
【氏名又は名称】サインポスト株式会社
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】冨澤 一憲
(72)【発明者】
【氏名】鵜飼 篤
(72)【発明者】
【氏名】石川 海洋
(72)【発明者】
【氏名】川原 拓真
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB72
(57)【要約】
【課題】複数の客がグループで店舗に来店し店舗から商品を持ち出す際にグループでの恩恵を得ることができるようにする。
【解決手段】情報処理システムの売場装置３は、入口制御部３２０、出口制御部３７０を備える。入口制御部３２０は、例えば２人の買い物客（移動体Ｍ１、Ｍ２）が店内売場に進入する入口エリア４０において、２人の買い物客が属する所定グループを、移動体Ｍ１、Ｍ２の夫々のユニークＩＤ（所定グループのグループ識別子を含む）で作成する。出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが精算エリア４５内に進入し、他の条件（支払い完了等）を満たした場合に所定グループの１以上の商品を、店内売場の外に持ち出すことを許可する。
【選択図】図６
【解決手段】情報処理システムの売場装置３は、入口制御部３２０、出口制御部３７０を備える。入口制御部３２０は、例えば２人の買い物客（移動体Ｍ１、Ｍ２）が店内売場に進入する入口エリア４０において、２人の買い物客が属する所定グループを、移動体Ｍ１、Ｍ２の夫々のユニークＩＤ（所定グループのグループ識別子を含む）で作成する。出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが精算エリア４５内に進入し、他の条件（支払い完了等）を満たした場合に所定グループの１以上の商品を、店内売場の外に持ち出すことを許可する。
【選択図】図６
【特許請求の範囲】
【請求項1】
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムにおいて、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成手段と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段と、
１以上のセンシングデバイスのうち少なくとも１つを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定手段と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは所定グループとを紐付ける紐付け手段と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定手段と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可手段と、
を備える情報処理システム。
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成手段と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段と、
１以上のセンシングデバイスのうち少なくとも１つを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定手段と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは所定グループとを紐付ける紐付け手段と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定手段と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可手段と、
を備える情報処理システム。
【請求項2】
前記判定手段は、前記所定領域内に予め指定された指定領域に、前記所定グループに属する前記Ｎ人の全てが存在するか否かを認識することで、前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項3】
前記複数の物品の夫々は商品であり、
前記第１条件を満たした場合、前記所定グループに属する前記Ｎ人のうち何れか又は前記所定グループと紐付けられた１以上の前記商品に関する精算の処理を行う精算手段
をさらに備え、
前記１以上の条件は、前記精算の処理が完了したという第２条件をさらに含む、
請求項１に記載の情報処理システム。
前記第１条件を満たした場合、前記所定グループに属する前記Ｎ人のうち何れか又は前記所定グループと紐付けられた１以上の前記商品に関する精算の処理を行う精算手段
をさらに備え、
前記１以上の条件は、前記精算の処理が完了したという第２条件をさらに含む、
請求項１に記載の情報処理システム。
【請求項4】
前記グループ作成手段は、所定デバイスに対して数値Ｎが入力されると、前記Ｎ人が属する前記所定グループを作成し、
前記追跡手段は、前記所定グループが作成された後に前記所定領域の入口に最初に進入したＮ人を、前記所定グループに属する前記Ｎ人として追跡を開始する、
請求項１に記載の情報処理システム。
前記追跡手段は、前記所定グループが作成された後に前記所定領域の入口に最初に進入したＮ人を、前記所定グループに属する前記Ｎ人として追跡を開始する、
請求項１に記載の情報処理システム。
【請求項5】
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムが実行する情報処理方法において、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップと、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップと、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップと、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップと、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップと、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップと、
を含む情報処理方法。
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップと、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップと、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップと、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップと、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップと、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップと、
を含む情報処理方法。
【請求項6】
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用されるコンピュータに、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップと、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップと、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップと、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップと、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップと、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップと、
を含む制御処理を実行させるプログラム。
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップと、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップと、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップと、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップと、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップと、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来より、コンビニエンスストア、スーパーマーケットやショッピングセンター、各種の量販店等の店舗では、購入者が商品棚から商品を取り、ショッピングカートや買い物カゴに入れて商店の出口付近に設けられたレジまで運び、セルフキャッシュレジスター（セルフレジ）により商品の代金の精算を行っている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００１－７６２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のセルフレジは、複数の商品（物品）より、夫々のバーコードを読み取る必要があるため、物品の処理待ちの人の列が物品の処理エリア付近にできてしまう。
また、複数の人がグループで来店し物品を店の外に持ち出すにしても、１人ずつレジ前に並んで物品を１人ずつ処理するため、グループで来店したとしても処理回数は人数分発生してしまい、グループでの恩恵が得られない。
また、複数の人がグループで来店し物品を店の外に持ち出すにしても、１人ずつレジ前に並んで物品を１人ずつ処理するため、グループで来店したとしても処理回数は人数分発生してしまい、グループでの恩恵が得られない。
【0005】
本発明は、このような状況に鑑みてなされたものであり、複数の人がグループで物品の配置場所に入り物品を持ち出す際にグループでの恩恵を得ることができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理システムは、
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムにおいて、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成手段と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段と、
重量センサ及び光センサのうち少なくとも一方を用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定手段と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは所定グループとを紐付ける紐付け手段と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定手段と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持出許可手段と、
を備える。
本発明の一態様の上記情報処理システムに対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムにおいて、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成手段と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段と、
重量センサ及び光センサのうち少なくとも一方を用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定手段と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは所定グループとを紐付ける紐付け手段と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定手段と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持出許可手段と、
を備える。
本発明の一態様の上記情報処理システムに対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【発明の効果】
【0007】
本発明によれば、複数の人がグループで物品の配置場所に入り物品を持ち出す際にグループでの恩恵を得ることができる。
【図面の簡単な説明】
【0008】
【図1】本発明に係る情報処理システムの一実施形態の次世代レジシステムを採用するコンビニエンスストアの店舗のレイアウト例を示す図である。
【図6】本発明に係る情報処理システムの一実施形態の次世代レジシステムの機能的構成の一例を示す機能ブロック図である。
【図10】本発明の情報処理システムの実施形態において、重量センサと光センサを用いて商品を認識する計測例を示す図である。
【図11】本発明の情報処理システムの実施形態において、蓋付きの専用ケースを用いて商品を認識する計測例を示す図である。
【図12】本発明の情報処理システムの実施形態において、骨格推定や顔認識等の画像処理技術を用いた人の捕捉追跡例を示す図である。
【図13】本発明の情報処理システムの実施形態において、台車に設置したカメラを用いた移動体（人やカート）の追跡例を示す図である。
【図14】本発明の情報処理システムの実施形態において、台車に９軸センサを搭載して移動体の位置を計測しつつ追跡する追跡例を示す図である。
【図15】本発明の情報処理システムの実施形態において、台車に重量センサを設置して移動体を追跡する追跡例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明に係る情報処理システムの実施形態について説明する。
まず、図１を参照して本発明に係る情報処理システムの一つの実施形態の次世代レジシステムを採用するコンビニエンスストアの店舗について説明する。
図１は、本発明に係る情報処理システムの一つの実施形態の次世代レジシステムを採用するコンビニエンスストアの店舗レイアウトの一例を示す図である。次世代レジシステムは、買い物客が店舗の店内売場の棚ラックから取り出した商品をセルフレジに持ち込み自動精算するセルフレジシステムの一つである。
まず、図１を参照して本発明に係る情報処理システムの一つの実施形態の次世代レジシステムを採用するコンビニエンスストアの店舗について説明する。
図１は、本発明に係る情報処理システムの一つの実施形態の次世代レジシステムを採用するコンビニエンスストアの店舗レイアウトの一例を示す図である。次世代レジシステムは、買い物客が店舗の店内売場の棚ラックから取り出した商品をセルフレジに持ち込み自動精算するセルフレジシステムの一つである。
【0010】
図１において、雲形で描かれた部分は、店舗３９の店内売場ではなく、店舗３９外や店舗３９のバックヤードの様子が描画されている。店舗３９外や店舗のバックヤードには、サーバ１と売場装置３のうち制御機能の部分が設置されている。店舗外やバックヤードでは、店員が大型モニターの画面（図示せず）や情報端末（図示せず）の画面を通じて店内売場の状況を監視することができる。
【0011】
店舗３９の売場に入る手前の位置には、入口エリア４０が設けけられている。入口エリア４０には、ゲート装置３１６ａ及び表示端末３１５ａが設置されている。
ゲート装置３１６ａには、人の入店を許可又は拒否するために開閉可能な扉と、扉が開かないようにロックする機能と、ロックを解除する機能とが備えられている。ゲート装置３１６ａは、売場装置３により開閉制御される。つまりゲート装置３１６ａに、フラッパー式のゲートを採用している。
ゲート装置３１６ａには、人の入店を許可又は拒否するために開閉可能な扉と、扉が開かないようにロックする機能と、ロックを解除する機能とが備えられている。ゲート装置３１６ａは、売場装置３により開閉制御される。つまりゲート装置３１６ａに、フラッパー式のゲートを採用している。
【0012】
また、入口エリア４０の上の天井には、入口エリア４０を撮像する入口カメラ３１３が設けられている。売場装置３は、入口カメラ３１３により撮像された画像から人を個別に認識し、人の数を表示端末３１５ａへ送信することで、表示端末３１５ａには、入口エリア４０内に存在する入店前の買い物客（入店希望者）の数が表示される。
この例では、入口エリア４０に存在する人は、移動体Ｍ１、Ｍ２であり、表示端末３１５ａの画面には２名と表示される。表示端末３１５ａの画面には、表示された人数について、入店希望者に確認を促すボタン（ＯＫ入店者／ＮＧボタン）が用意されており、画面に表示された同じグループの人数（２名）が正しければ入店希望者はＯＫボタンを操作し、異なればＮＧボタンを操作することになる。
この例では、入口エリア４０に存在する人は、移動体Ｍ１、Ｍ２であり、表示端末３１５ａの画面には２名と表示される。表示端末３１５ａの画面には、表示された人数について、入店希望者に確認を促すボタン（ＯＫ入店者／ＮＧボタン）が用意されており、画面に表示された同じグループの人数（２名）が正しければ入店希望者はＯＫボタンを操作し、異なればＮＧボタンを操作することになる。
【0013】
入店希望者がＯＫボタンを操作すると、売場装置３は、一度に入店を希望する入店希望者の人数をグループとしてメモリに登録し、入店を許可し、ゲート装置３１６ａを開放制御しゲート装置３１６ａの扉を開放させる。
【0014】
ゲート装置３１６ａの扉が開放されて入店が許可されると、移動体Ｍ１、Ｍ２は、入口エリア４０からゲート装置３１６ａを通過して入店、つまり店内売場に進入することができる。
【0015】
なお、店舗３９において、入口エリア４０又はその付近には、買い物カゴやショッピングカート等（図示せず）が配置されており、客は買い物カゴやショッピングカート等とともに移動するため、これらを一体として移動体とする場合もある。なお、説明の便宜上、以下、移動体Ｍ１、Ｍ２の夫々を「買い物客」として説明する。
【0016】
店舗３９の店内売場には、次世代レジシステムの機器の一部として、例えば入口カメラ３１３、天井カメラ３１０、出口カメラ３１４、棚ラック４３に配置された光センサ３１１及び重量センサ３１２、表示端末３１５ａ、３１５ｂ、ゲート装置３１６ａ、３１６ｂ、精算機４等が配置されている。サーバ１、売場装置３、精算機４は、各機器から情報を取得し、各機器を制御する。
【0017】
店舗３９の入口エリア４０から出口４２までの間の通路４４の天井には、センシングデバイスの一例として、複数のカメラ（天井カメラ３１０、入口カメラ３１３、出口カメラ３１４等）が設置されている。
入口エリア４０から精算エリア４５までの間の通路４４上の天井に設置されている複数の天井カメラ３１０は、互いの撮像エリアが重複するように配置されており、被写体である移動体Ｍ１、Ｍ２等を異なる方向から撮像する。これにより、視点の異なる複数の画像が得られる。そして、得られた複数の画像から移動体夫々を立体として合成し、骨格推定等の技術を用いることで、個体を識別し、夫々の個体の人としての動作を検出することができる。
なお、本システムに用いるカメラは、３Ｄ画像、あるいは２Ｄ画像が取得できるカメラ、魚眼カメラ等に代表される広角を撮像できるカメラ等が採用される。
入口エリア４０から精算エリア４５までの間の通路４４上の天井に設置されている複数の天井カメラ３１０は、互いの撮像エリアが重複するように配置されており、被写体である移動体Ｍ１、Ｍ２等を異なる方向から撮像する。これにより、視点の異なる複数の画像が得られる。そして、得られた複数の画像から移動体夫々を立体として合成し、骨格推定等の技術を用いることで、個体を識別し、夫々の個体の人としての動作を検出することができる。
なお、本システムに用いるカメラは、３Ｄ画像、あるいは２Ｄ画像が取得できるカメラ、魚眼カメラ等に代表される広角を撮像できるカメラ等が採用される。
【0018】
店内売場には、商品を陳列する複数の棚ラック４３が所定間隔（人が通行可能な間隔）を空けて設置されている。所定間隔は、通路４４とされる。
各棚ラック４３には、鉛直方向に所定の間隔を空けて複数の棚が配置されている。複数の棚の夫々には、１以上の重量センサ３１２が配置されており、夫々の重量センサ３１２の上に各種商品が載置され、陳列される。以下、棚と棚との間を「棚内」とも記述する。
各棚ラック４３には、鉛直方向に所定の間隔を空けて複数の棚が配置されている。複数の棚の夫々には、１以上の重量センサ３１２が配置されており、夫々の重量センサ３１２の上に各種商品が載置され、陳列される。以下、棚と棚との間を「棚内」とも記述する。
【0019】
店舗３９の出口４２の手前には、精算エリア４５が設けられている。精算エリア４５には、精算機４と表示端末３１５ｂが設置されている。精算エリア４５と出口４２の間には、ゲート装置３１６ｂと、テーブル４７を含む袋詰めスペースとが設けられている。
ゲート装置３１６ｂには、入口側のゲート装置３１６ａと同様にフラッパー式のゲートを採用しており、精算機４が制御する以外は制御内容も入口側のゲート装置３１６ａと同様である。テーブル４７は、ゲート装置３１６ｂを通過した人が購入後の商品を袋詰めするための台である。
即ち、店内売場では、移動体Ｍ１、Ｍ２は、棚ラック４３に陳列されている商品を手に取ると、精算エリア４５へ進み、精算エリア４５にグループ全員が集合した状態で精算及び決済処理を正常に完了すると、退店することができる。
ゲート装置３１６ｂには、入口側のゲート装置３１６ａと同様にフラッパー式のゲートを採用しており、精算機４が制御する以外は制御内容も入口側のゲート装置３１６ａと同様である。テーブル４７は、ゲート装置３１６ｂを通過した人が購入後の商品を袋詰めするための台である。
即ち、店内売場では、移動体Ｍ１、Ｍ２は、棚ラック４３に陳列されている商品を手に取ると、精算エリア４５へ進み、精算エリア４５にグループ全員が集合した状態で精算及び決済処理を正常に完了すると、退店することができる。
【0020】
また、商品が置かれ得る棚ラック４３の棚の複数か所の夫々には、センシングデバイスの一例として、重量センサ３１２と光センサ３１１が設置されている。
重量センサ３１２は、商品を載置する面を備え、当該面の上に置かれた商品の重量を検出する。重量センサ３１２は、商品の重量を常に検出し、検知した重量の変化から、棚のどの場所（重量センサ３１２の設置位置）からの商品の入出（取り出し又は戻し等）を検出することができる。
重量センサ３１２は、商品を載置する面を備え、当該面の上に置かれた商品の重量を検出する。重量センサ３１２は、商品の重量を常に検出し、検知した重量の変化から、棚のどの場所（重量センサ３１２の設置位置）からの商品の入出（取り出し又は戻し等）を検出することができる。
【0021】
なお、重量センサ３１２は、商品が置かれ得る棚１つに対し取り出し方向前後に複数個設置されてもよい。これにより例えば棚の手前（例えば賞味期限が古い商品が置かれた場所）に設置された重量センサ３１２により重量の変化が検知された場合は、賞味期限が古い商品が入出し、一方で棚の奥（例えば賞味期限が新しい商品が置かれた場所）に設置された重量センサ３１２により重量の変化が検知された場合には、賞味期限が新しい商品が入出したことが特定され得る。
【0022】
各棚ラック４３内の各棚の複数か所の夫々には、センシングデバイスとして光センサ３１１が設置されている。
光センサ３１１は、複数の重量センサ３１２の夫々の設置位置に対応して、各棚の天面から下方に向けて赤外線光を照射するように複数（この例では重量センサ３１２と１対１で）配置されている。
また、光センサ３１１は、棚内の所定領域内に移動体Ｍ１、Ｍ２の手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体により赤外線光が遮光された遮光検出情報を出力する。
また、光センサ３１１は、重量センサ３１２の上に置かれている商品に対する他からの接触を検知する。具体的には、光センサ３１１は、商品を取ろうとする買い物客の手が入ってきて商品と共に取り出される物体（手と商品）の光の遮蔽状況（光が遮蔽される方向と遮蔽位置等）を検出情報として検出する。
光センサ３１１は、複数の重量センサ３１２の夫々の設置位置に対応して、各棚の天面から下方に向けて赤外線光を照射するように複数（この例では重量センサ３１２と１対１で）配置されている。
また、光センサ３１１は、棚内の所定領域内に移動体Ｍ１、Ｍ２の手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体により赤外線光が遮光された遮光検出情報を出力する。
また、光センサ３１１は、重量センサ３１２の上に置かれている商品に対する他からの接触を検知する。具体的には、光センサ３１１は、商品を取ろうとする買い物客の手が入ってきて商品と共に取り出される物体（手と商品）の光の遮蔽状況（光が遮蔽される方向と遮蔽位置等）を検出情報として検出する。
【0023】
これら重量センサ３１２及び光センサ３１１により夫々検出される重量の変化と、手や商品による遮蔽状況の変化とから、棚ラック４３からの商品（物体）の入出が検出され、入出した商品及び入出した当該商品の個数が特定される。
【0024】
この実施形態では、棚ラック４３内の各棚の複数か所の夫々に、重量センサ３１２と光センサ３１１とを配置したが、これらセンサの組み合わせだけでなく、重量センサ３１２と棚カメラとが設置されていてもよい。棚カメラは、棚内や棚内の商品、その他所定領域を撮像することで、棚内からの物体の入出や商品の特定を補完する。
具体的には例えば、棚から物体が持ち去られた後、当該物体が別の棚に戻された場合、移動体Ｍ１、Ｍ２には本来所持していない物体が紐付いた状態（誤認識された状態）となる。このような場合に、棚カメラにより取得された撮像画像により物体の入出及び商品の特定が補完されることで、精算の精度を向上させることができるようになる。
具体的には例えば、棚から物体が持ち去られた後、当該物体が別の棚に戻された場合、移動体Ｍ１、Ｍ２には本来所持していない物体が紐付いた状態（誤認識された状態）となる。このような場合に、棚カメラにより取得された撮像画像により物体の入出及び商品の特定が補完されることで、精算の精度を向上させることができるようになる。
【0025】
一方で、棚カメラにより取得された撮像画像のみに基づいて物体の入出や商品の特定を行う場合、例えば棚カメラでは見えない棚奥からの物体の入出の検知や、重なっている物体や乱雑に置かれている物体の入出検知や商品の特定をすることは困難である。
【0026】
このように重量センサ３１２及び光センサ３１１や、重量センサ３１２及び棚カメラといった１以上のセンシングデバイスから取得される情報を適宜組み合わせて採用することにより、商品の特定精度を向上させることができるようになる。
なお、商品の特定（取り出し検出）に使用するカメラは、必ずしも棚に設置される棚カメラだけに限定されることはなく、例えば天井等に設置された天井カメラであってもよく、この場合、解像度の良いものを使用する。現時点で、棚カメラと光センサ３１１では光センサ３１１の方がコストメリットが大きいと言える。
また、重量センサ３１２として高機能、高性能なものを使用することで、光センサ３１１や棚カメラを用いずに重量センサ３１２だけでの運用も可能である。即ち、棚から取り出される商品の検出には少なくとも重量センサ３１２を用いればよい。
なお、商品の特定（取り出し検出）に使用するカメラは、必ずしも棚に設置される棚カメラだけに限定されることはなく、例えば天井等に設置された天井カメラであってもよく、この場合、解像度の良いものを使用する。現時点で、棚カメラと光センサ３１１では光センサ３１１の方がコストメリットが大きいと言える。
また、重量センサ３１２として高機能、高性能なものを使用することで、光センサ３１１や棚カメラを用いずに重量センサ３１２だけでの運用も可能である。即ち、棚から取り出される商品の検出には少なくとも重量センサ３１２を用いればよい。
【0027】
本実施形態では、精算機４と表示端末３１５ｂとが連携して買物客のグループや人数の特定と、グループ単位での商品の精算と、決済処理とを実行する。精算機４のハードウェア構成の一例を図５に示したが、これ以外のハードウェア構成であってもよく、ハードウェアとしては、精算機４と表示端末３１５ｂに以下のものが備えられていればよい。例えば精算及び決済機能（現金釣銭機含む）、入出力のインターフェース機能（タッチパネルディスプレイ、カメラ、音声入力装置、電子情報リーダ、コードスキャナ部、スピーカ、プリンター、ＮＷ機器、モーションキャプチャーシステム等が備えられていればよく、精算機４と表示端末３１５ｂとを一体化したものであってもよい。
【0028】
このようにコンビニエンスストアの店舗３９のレイアウト構成によれば、店舗３９の入口エリア４０において、同じグループの複数の買い物客（移動体Ｍ１、Ｍ２）にグループの作成及び登録を行い入店させ、その後、店内に入店した複数の買い物客（移動体Ｍ１、Ｍ２）が移動して棚ラック４３から物体（商品）を手に取った段階で商品を認識及び特定し、さらにその特定した商品と移動体とを紐付けて追跡する。そして、買い物を終えたグループの買い物客（移動体Ｍ１、Ｍ２）全員が精算エリア４５に進入したことが確認できると、グループ全員の分の商品を自動精算し、その中の支払者がグループ全員の分の商品の決済を一括してできるので、複数の買い物客（移動体Ｍ１、Ｍ２）がグループで店舗３９に入り商品を購入して持ち出す際にグループでの恩恵を得ることができる。
【0029】
図２を参照して本発明の情報処理システムの一実施形態としての次世代レジシステムのシステム構成を説明する。
図２は、本発明に係る情報処理システムの一つの実施形態の次世代レジシステムのシステム構成を示す図である。
次世代レジシステムは、図２に示すように、サーバ１と、売場装置３と、精算機４と、を備える。サーバ１及び売場装置３は、通常、店内売場とは別の場所に配置されている。
精算機４は、精算エリア４５に表示端末３１５ｂと共に設置されている。
サーバ１と、売場装置３と、精算機４との夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に通信可能に接続されている。
サーバ１は、売場装置３、精算機４の各動作を制御及び管理すべく、各処理を実行する。
具体的には、サーバ１は、入店時に入店者の夫々に発行されるユニークＩＤと、店内の通路を移動する移動体（移動体Ｍ１、Ｍ２等）と、店内売場内の商品と、その位置と、を紐付けて管理する。
具体的には、サーバ１は、売場装置３から送信されてくる移動体Ｍ１、Ｍ２の夫々のユニークＩＤ（グループ識別子を含む）と移動体の位置情報と、店内売場内の商品とその位置とを紐付けて移動体と商品を追跡管理する。
サーバ１は、精算の際に精算機４からの要求に応じて、グループ毎の入店者の商品情報を精算機４に提供する。
売場装置３は、店内売場に配置された各種機器（入口カメラ３１３、天井カメラ３１０、出口カメラ３１４、棚ラック４３に配置された光センサ３１１及び重量センサ３１２、表示端末３１５ａ、３１５ｂ、ゲート装置３１６ａ、３１６ｂ等）から情報を取得しつつ各機器を制御する。
精算機４は、グループの入店者（移動体Ｍ１、Ｍ２等）夫々によって精算エリア４５に持ち込まれた商品をグループ単位に一括精算し、決済処理する。
なお、説明の便宜上、図４のサーバ１や売場装置３、精算機４は、１台しか描画されていないが、実際には複数台の場合もある。
図２は、本発明に係る情報処理システムの一つの実施形態の次世代レジシステムのシステム構成を示す図である。
次世代レジシステムは、図２に示すように、サーバ１と、売場装置３と、精算機４と、を備える。サーバ１及び売場装置３は、通常、店内売場とは別の場所に配置されている。
精算機４は、精算エリア４５に表示端末３１５ｂと共に設置されている。
サーバ１と、売場装置３と、精算機４との夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に通信可能に接続されている。
サーバ１は、売場装置３、精算機４の各動作を制御及び管理すべく、各処理を実行する。
具体的には、サーバ１は、入店時に入店者の夫々に発行されるユニークＩＤと、店内の通路を移動する移動体（移動体Ｍ１、Ｍ２等）と、店内売場内の商品と、その位置と、を紐付けて管理する。
具体的には、サーバ１は、売場装置３から送信されてくる移動体Ｍ１、Ｍ２の夫々のユニークＩＤ（グループ識別子を含む）と移動体の位置情報と、店内売場内の商品とその位置とを紐付けて移動体と商品を追跡管理する。
サーバ１は、精算の際に精算機４からの要求に応じて、グループ毎の入店者の商品情報を精算機４に提供する。
売場装置３は、店内売場に配置された各種機器（入口カメラ３１３、天井カメラ３１０、出口カメラ３１４、棚ラック４３に配置された光センサ３１１及び重量センサ３１２、表示端末３１５ａ、３１５ｂ、ゲート装置３１６ａ、３１６ｂ等）から情報を取得しつつ各機器を制御する。
精算機４は、グループの入店者（移動体Ｍ１、Ｍ２等）夫々によって精算エリア４５に持ち込まれた商品をグループ単位に一括精算し、決済処理する。
なお、説明の便宜上、図４のサーバ１や売場装置３、精算機４は、１台しか描画されていないが、実際には複数台の場合もある。
【0030】
【0031】
図３は、図２のシステム構成のうち、サーバのハードウェア構成を示すブロック図である。
図３に示すように、サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
図３に示すように、サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
【0032】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、又は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0033】
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、また、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。
【0034】
出力部１０６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス等で構成され、各種情報を入力する。
入力部１０７は、キーボードやマウス等で構成され、各種情報を入力する。
【0035】
記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、図２に示すように、インターネット回線を含むネットワークＮを介して売場装置３及び精算機４との間で通信を行う。
通信部１０９は、図２に示すように、インターネット回線を含むネットワークＮを介して売場装置３及び精算機４との間で通信を行う。
【0036】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなるリムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
【0037】
図４は、図２のシステム構成のうち、売場装置のハードウェア構成を示すブロック図である。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、光センサ３１１と、重量センサ３１２と、入口カメラ３１３と、出口カメラ３１４と、表示端末３１５ａと、ゲート装置３１６ａ、３１６ｂと、通信部３１７と、を備える。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、光センサ３１１と、重量センサ３１２と、入口カメラ３１３と、出口カメラ３１４と、表示端末３１５ａと、ゲート装置３１６ａ、３１６ｂと、通信部３１７と、を備える。
【0038】
売場装置３のＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５、通信部３１７は、図３に示したサーバ１のものと同様であり、その説明は省略する。
【0039】
売場装置３には、天井カメラ３１０、光センサ３１１、重量センサ３１２、入口カメラ３１３と、出口カメラ３１４と、表示端末３１５ａと、ゲート装置３１６ａ、３１６ｂが通信ケーブルにより接続されている。例えば、ＰｏＥ接続（Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等により接続されてもよい。
例えば通信ケーブルを介して接続された売場装置３とゲート装置３１６ａ、３１６ｂとの間では、売場装置３は、入口エリア４０や精算エリア４５での処理結果に基づいて、ゲート装置３１６ａ、３１６ｂを制御して、ゲート装置３１６ａ、３１６ｂの扉を開閉することで、買い物客の出入を許可又は拒否する。
例えば通信ケーブルを介して接続された売場装置３とゲート装置３１６ａ、３１６ｂとの間では、売場装置３は、入口エリア４０や精算エリア４５での処理結果に基づいて、ゲート装置３１６ａ、３１６ｂを制御して、ゲート装置３１６ａ、３１６ｂの扉を開閉することで、買い物客の出入を許可又は拒否する。
【0040】
この他、売場装置３には、通信ケーブルにより表示端末３１５ａが接続されている。表示端末３１５ａは、例えばデジタルサイネージ等が表示されるタッチディスプレイ、スピーカ等を備える。表示端末３１５ａは、店舗３９の入口エリア４０に設置されており、売場装置３と連携し売場装置３から入力される、入口エリア４０に進入した人の人数をタッチディスプレイに表示する。また、表示端末３１５ａは、入店者のグループを登録するための入力操作部として機能する。
【0041】
売場装置３にはネットワークＮを介して精算機４が接続されている。
【0042】
ここで、図５を参照して精算機のハードウェア構成を説明する。
図５は、図２のシステムの構成のうち、精算機のハードウェア構成を示すブロック図である。
精算機４は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、バス５０４と、入出力インターフェース５０５と、入力部５０６と、出力部５０７と、記憶部５０８と、通信部５０９と、コードスキャナ部５１０と、を備えている。
図５は、図２のシステムの構成のうち、精算機のハードウェア構成を示すブロック図である。
精算機４は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、バス５０４と、入出力インターフェース５０５と、入力部５０６と、出力部５０７と、記憶部５０８と、通信部５０９と、コードスキャナ部５１０と、を備えている。
【0043】
精算機４のＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、バス５０４、入出力インターフェース５０５、入力部５０６、出力部５０７、記憶部５０８、通信部５０９は、図５に示したサーバ１のハードウェアと同様に構成されており、その説明は省略する。
【0044】
入力部５０６は、例えば精算機４においては、表示端末３１５ｂに備えられているタッチ画面の精算ボタンからの入力信号を受け付ける。また、入力部５０６は、クレジットカード決済や電子マネーを利用する決済の際には、表示端末３１５ｂに備えられている電子情報リーダにより読み取られた各種カードや各種識別情報等の情報を受け付ける。
【0045】
出力部５０７は、表示端末３１５ｂに対して商品名、個数、金額等を示す商品リスト（精算情報）を出力する。また、出力部５０７は、売場装置３に対して、決済完了を通知し、この通知によりゲート装置３１６ｂに備えられた扉（図示せず）が開閉される。
【0046】
コードスキャナ部５１０は、移動体Ｍ１、Ｍ２に間違った商品が紐付いていた場合や、紐付けられるべき商品が紐付いていなかった場合に商品リストを修正するために利用される。即ち、移動体Ｍ１、Ｍ２は、コードスキャナ部５１０を用いて商品の識別情報を読み取り、商品を特定することができる。
【0047】
精算機４は、商品をグループ単位に精算し、現金、クレジットカード、電子マネー、ポイント支払い、商品券や仮想通貨、プリペイドカード、バーコードやＱＲコード（登録商標）等の識別情報、社員証、アプリ情報等で支払い（決済処理）に対応する。
【0048】
電子マネー等には、決済可能なＩＣカードだけでなく、クレジットカード、いわゆるポイントカード、プリペイドカード等の狭義のカードだけでなく、例えばバーコードやＱＲコード（登録商標）を表示できる情報携帯端末も含まれるが、ここでは便宜上、各種カードとして説明する。
即ち、この精算機４の精算エリア４５にグループ全員が進入し、後述する移動体Ｍ１、Ｍ２に紐付く夫々の商品の情報が読み出され、精算（商品の支払い金額が集計）された後、その精算額を支払うために、各種カードを、表示端末３１５ｂの電子情報リーダにかざすと、電子情報リーダにより各種カードからカード情報が読み取られてそのカード情報が精算機４に入力されて決済処理が実行される。そして、決済完了後、ゲート装置３１６ｂが開放されるので、移動体Ｍ１、Ｍ２等の買い物客は、精算エリア４５からゲート装置３１６ｂを通過して出口４２から退出することが可能となる。
即ち、この精算機４の精算エリア４５にグループ全員が進入し、後述する移動体Ｍ１、Ｍ２に紐付く夫々の商品の情報が読み出され、精算（商品の支払い金額が集計）された後、その精算額を支払うために、各種カードを、表示端末３１５ｂの電子情報リーダにかざすと、電子情報リーダにより各種カードからカード情報が読み取られてそのカード情報が精算機４に入力されて決済処理が実行される。そして、決済完了後、ゲート装置３１６ｂが開放されるので、移動体Ｍ１、Ｍ２等の買い物客は、精算エリア４５からゲート装置３１６ｂを通過して出口４２から退出することが可能となる。
【0049】
精算機４においては、入口エリア４０から通路４４を経て精算エリア４５まで追跡された移動体Ｍ１、Ｍ２が、精算エリア４５にグループの者全員で集合することで、グループ全員が持ち寄った分の商品の一括精算及び決済処理を完了させることができる。
なお、上記処理に不具合が生じた場合は、店内売場に別途配置されている有人の精算レジでの店員による精算及び決済も可能である。
なお、上記処理に不具合が生じた場合は、店内売場に別途配置されている有人の精算レジでの店員による精算及び決済も可能である。
【0050】
精算機４には、表示端末３１５ｂが接続されている。表示端末３１５ｂは、店舗３９の精算エリア４５に設置されており、精算機４と連携し精算機４の表示部として機能する。表示端末３１５ｂは、精算エリア４５に進入した人の人数や、商品精算時の商品リスト、決済時の決済画面、買い物客等の操作者により操作されるボタン類等をタッチディスプレイに表示する。表示端末３１５ｂは、決済のための各種情報読取機やレシート等の印刷機能を備える。精算機４の側に当該各種情報読取機や印刷機能が備えられている場合は表示端末３１５ｂ側には備える必要はない。
【0051】
【0052】
図６は、本発明の情報処理システムの実施形態に係る構成のうち、図３のハードウェア構成を備えるサーバと、図４のハードウェア構成を備える売場装置と、図５のハードウェア構成を備える精算機との機能的構成の一例を示す機能ブロック図である。
また、図７は、図６の売場装置に備えられた棚商品認識部の詳細な機能的構成を示す機能ブロック図である。
また、図７は、図６の売場装置に備えられた棚商品認識部の詳細な機能的構成を示す機能ブロック図である。
【0053】
実施形態の次世代レジシステムは、複数の商品（物品）が棚ラック４３（配置場所）に配置された店内売場（所定領域）の中を買い物客等の移動体Ｍ１、Ｍ２（人）が移動して、複数の商品（物品）のうち１以上の商品（物品）を店内売場の外に持ち出す際に利用されるシステムである。
図６において、サーバ１は、ＣＰＵ１０１と、記憶部１０８と、通信部１０９とを備える。
サーバ１のＣＰＵ１０１においては、商品情報、位置情報及び移動体Ｍ１、Ｍ２に紐付く情報等を管理するＤＢ管理部１４１が機能する。ＤＢ管理部１４１は、精算機の夫々に備える構成としてもよい。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１と、位置情報管理ＤＢ１３２とが設けられている。
商品ＤＢ１３１は、商品に関する情報を記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。位置情報管理ＤＢ１３２は、店内売場に配置したセンシングデバイス（重量センサ３１２、光センサ３１１、天井カメラ３１０、入口カメラ３１３、出口カメラ３１４等）の位置情報、店内売場に進入した移動体Ｍ１、Ｍ２の位置と、移動体Ｍ１、Ｍ２に紐付く情報とを管理するＤＢである。
移動体Ｍ１、Ｍ２に紐付く情報は、例えば移動体Ｍ１、Ｍ２の夫々に対して入口で付与したユニークＩＤと、グループＩＤと、夫々の移動体Ｍ１、Ｍ２の位置と、移動体Ｍ１、Ｍ２が移動途中に棚から持ち出した物品の情報とを紐付けた情報である。
なお、ユニークＩＤとグループＩＤとを纏めて一つのＩＤで管理してもよい。また、グループの識別子を付与したユニークＩＤとしてもよい。
図６において、サーバ１は、ＣＰＵ１０１と、記憶部１０８と、通信部１０９とを備える。
サーバ１のＣＰＵ１０１においては、商品情報、位置情報及び移動体Ｍ１、Ｍ２に紐付く情報等を管理するＤＢ管理部１４１が機能する。ＤＢ管理部１４１は、精算機の夫々に備える構成としてもよい。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１と、位置情報管理ＤＢ１３２とが設けられている。
商品ＤＢ１３１は、商品に関する情報を記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。位置情報管理ＤＢ１３２は、店内売場に配置したセンシングデバイス（重量センサ３１２、光センサ３１１、天井カメラ３１０、入口カメラ３１３、出口カメラ３１４等）の位置情報、店内売場に進入した移動体Ｍ１、Ｍ２の位置と、移動体Ｍ１、Ｍ２に紐付く情報とを管理するＤＢである。
移動体Ｍ１、Ｍ２に紐付く情報は、例えば移動体Ｍ１、Ｍ２の夫々に対して入口で付与したユニークＩＤと、グループＩＤと、夫々の移動体Ｍ１、Ｍ２の位置と、移動体Ｍ１、Ｍ２が移動途中に棚から持ち出した物品の情報とを紐付けた情報である。
なお、ユニークＩＤとグループＩＤとを纏めて一つのＩＤで管理してもよい。また、グループの識別子を付与したユニークＩＤとしてもよい。
【0054】
売場装置３は、ＣＰＵ３０１、天井カメラ３１０、光センサ３１１、重量センサ３１２、通信部３１７等を備える。
売場装置３のＣＰＵ３０１においては、入口制御部３２０と、移動体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、出口制御部３７０と、が機能する。
売場装置３のＣＰＵ３０１においては、入口制御部３２０と、移動体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、出口制御部３７０と、が機能する。
【0055】
入口制御部３２０は、店内売場に２人（Ｎ人）の買い物客である移動体Ｍ１、Ｍ２が進入する前、つまり図１のゲート装置３１６ａ手前の入口エリア４０において、当該２人が属する所定グループを作成する。
具体的には、入口制御部３２０は、２人の買い物客が店内売場に進入する手前のゲート装置３１６ａ手前の入口エリア４０で、このエリアに進入した買い物客が属する所定グループを、移動体Ｍ１、Ｍ２のユニークＩＤ（所定グループのグループ識別子を含む）で作成し、サーバ１への当該所定グループの登録が完了すると、入口のゲート装置３１６ａを開放し、所定グループの買い物客全員の入店を許可する。所定グループを作成する際に移動体Ｍ１、Ｍ２夫々のユニークＩＤを発行する。ユニークＩＤには、グループの識別子として同じグループであることを示すグループＩＤが付与される。
一例をあげると、移動体Ｍ１のユニークＩＤとして、例えば「Ｇ０１－００１」が発行された場合、「Ｇ０１」がグループの識別子であり、その後の「００１」が移動体Ｍ１固有のユニークＩＤである。
具体的には、入口制御部３２０は、２人の買い物客が店内売場に進入する手前のゲート装置３１６ａ手前の入口エリア４０で、このエリアに進入した買い物客が属する所定グループを、移動体Ｍ１、Ｍ２のユニークＩＤ（所定グループのグループ識別子を含む）で作成し、サーバ１への当該所定グループの登録が完了すると、入口のゲート装置３１６ａを開放し、所定グループの買い物客全員の入店を許可する。所定グループを作成する際に移動体Ｍ１、Ｍ２夫々のユニークＩＤを発行する。ユニークＩＤには、グループの識別子として同じグループであることを示すグループＩＤが付与される。
一例をあげると、移動体Ｍ１のユニークＩＤとして、例えば「Ｇ０１－００１」が発行された場合、「Ｇ０１」がグループの識別子であり、その後の「００１」が移動体Ｍ１固有のユニークＩＤである。
【0056】
移動体追跡部３３０は、店内売場において、所定グループに属する２人の夫々を追跡する。
具体的には、移動体追跡部３３０は、店内売場に設置されている天井カメラ３１０により撮像して得られた画像から所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）夫々を特定し追跡する。
なお、各天井カメラ３１０により撮像された画像情報を他の天井カメラ３１０に撮像された画像情報と共有することにより、移動体追跡部３３０は、現在、移動体Ｍ１、Ｍ２を撮像している天井カメラ３１０から、別の天井カメラ３１０に撮像されるようになっても、移動体を追跡し続けることができる。
具体的には、移動体追跡部３３０は、店内売場に設置されている天井カメラ３１０により撮像して得られた画像から所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）夫々を特定し追跡する。
なお、各天井カメラ３１０により撮像された画像情報を他の天井カメラ３１０に撮像された画像情報と共有することにより、移動体追跡部３３０は、現在、移動体Ｍ１、Ｍ２を撮像している天井カメラ３１０から、別の天井カメラ３１０に撮像されるようになっても、移動体を追跡し続けることができる。
【0057】
位置情報管理部３４０は、移動体追跡部３３０により追跡される移動体Ｍ１、Ｍ２の位置情報を取得し、サーバ１へ送信することで、サーバ１において、移動体Ｍ１、Ｍ２が退出するまで位置情報管理ＤＢ１３２に管理される。
位置情報管理部３４０は、天井カメラ３１０から得られる画像を統括管理するサーバ１と通信することで、サーバ１の商品ＤＢ１３１を含め、記憶部１０８上において天井カメラ３１０の情報（現在移動体を撮像している天井カメラはどの位置のものか等）をやり取りする。
なお、他の例として、天井カメラ３１０の台数が多いことに鑑み、位置情報管理部３４０は、各天井カメラ３１０と直接通信（例えばＰ２Ｐ等）することによって、サーバ１を介することなく各天井カメラ３１０で撮像された画像を受け渡すようにしてもよい。
位置情報管理部３４０は、天井カメラ３１０から得られる画像を統括管理するサーバ１と通信することで、サーバ１の商品ＤＢ１３１を含め、記憶部１０８上において天井カメラ３１０の情報（現在移動体を撮像している天井カメラはどの位置のものか等）をやり取りする。
なお、他の例として、天井カメラ３１０の台数が多いことに鑑み、位置情報管理部３４０は、各天井カメラ３１０と直接通信（例えばＰ２Ｐ等）することによって、サーバ１を介することなく各天井カメラ３１０で撮像された画像を受け渡すようにしてもよい。
【0058】
位置情報管理部３４０は、各天井カメラ３１０が店内のどこを映しているかの位置情報を定義する。即ち、位置情報管理部３４０は、別々の天井カメラ３１０に撮像された移動体が店舗内のどこに位置しているかを把握する。
位置情報管理部３４０は、各天井カメラ３１０の撮像画像を合成し、１枚の店舗マップを作成する。また、位置情報管理部３４０は、各天井カメラ３１０、入口カメラ３１３、出口カメラ３１４の座標を店舗マップ上の座標に置き換える。
また、位置情報管理部３４０は、各天井カメラ３１０によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
なお、このようにして得られた移動体Ｍ１、Ｍ２の位置情報は、位置情報管理ＤＢ１３２やメモリ等で管理される。また、移動体Ｍ１、Ｍ２の位置情報、即ち、人の行動履歴に関する情報から、人の興味、関心等を推測することができる。このため、位置情報管理ＤＢ１３２やメモリ等で管理された移動体Ｍ１、Ｍ２の位置情報を、マーケティング分析等に活用することもできる。
位置情報管理部３４０は、各天井カメラ３１０の撮像画像を合成し、１枚の店舗マップを作成する。また、位置情報管理部３４０は、各天井カメラ３１０、入口カメラ３１３、出口カメラ３１４の座標を店舗マップ上の座標に置き換える。
また、位置情報管理部３４０は、各天井カメラ３１０によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
なお、このようにして得られた移動体Ｍ１、Ｍ２の位置情報は、位置情報管理ＤＢ１３２やメモリ等で管理される。また、移動体Ｍ１、Ｍ２の位置情報、即ち、人の行動履歴に関する情報から、人の興味、関心等を推測することができる。このため、位置情報管理ＤＢ１３２やメモリ等で管理された移動体Ｍ１、Ｍ２の位置情報を、マーケティング分析等に活用することもできる。
【0059】
棚商品認識部３６０は、この例では重量センサ３１２及び光センサ３１１を用いる手法（１以上のセンシングデバイスのうち少なくとも１つを用いる所定の手法）で、複数の商品のうち、棚ラック４３から取り出された商品とその個数の双方を特定する。
具体的には、棚商品認識部３６０は、図７に示す機能的構成を有しており、物体の移動検知（棚からの取り出し又は戻しの検知）、物体を商品として特定、商品と移動体との紐付け、紐付け情報により商品リストを管理する等の動作を行う。詳細は、図７の説明に記述する。
具体的には、棚商品認識部３６０は、図７に示す機能的構成を有しており、物体の移動検知（棚からの取り出し又は戻しの検知）、物体を商品として特定、商品と移動体との紐付け、紐付け情報により商品リストを管理する等の動作を行う。詳細は、図７の説明に記述する。
【0060】
出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが出口のゲート装置３１６ｂ手前の精算エリア４５内に進入（集合）したか否かを判定する。
そして、出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全員が精算エリア４５内に進入（集合）したという第１条件を少なくとも含む１以上の条件（グループの買い物客が全員揃った、グループ単位での購入商品の精算処理を終えた、当該精算金額の決済処理を代表の買い物客が済ませた等の夫々の条件）を満たした場合、当該２人の買い物客のうち夫々のユニークＩＤと紐付けられた１以上の商品を、所定グループの商品として店内売場の外に持ち出すことを許可し出口のゲート装置３１６ｂを開放する。そして、出口制御部３７０は、所定グループの買い物客（移動体Ｍ１、Ｍ２）全員がゲート装置３１６ｂ通過すると、精算エリア４５における買い物客（移動体Ｍ１、Ｍ２の２名）の人数のカウントをリセットする。
そして、出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全員が精算エリア４５内に進入（集合）したという第１条件を少なくとも含む１以上の条件（グループの買い物客が全員揃った、グループ単位での購入商品の精算処理を終えた、当該精算金額の決済処理を代表の買い物客が済ませた等の夫々の条件）を満たした場合、当該２人の買い物客のうち夫々のユニークＩＤと紐付けられた１以上の商品を、所定グループの商品として店内売場の外に持ち出すことを許可し出口のゲート装置３１６ｂを開放する。そして、出口制御部３７０は、所定グループの買い物客（移動体Ｍ１、Ｍ２）全員がゲート装置３１６ｂ通過すると、精算エリア４５における買い物客（移動体Ｍ１、Ｍ２の２名）の人数のカウントをリセットする。
【0061】
ここで、店舗において販売されている商品がどのような商品か特定される前のものを「物体」と呼ぶ。なお、商品ではないものの、例えば買い物客が持参する私物等も「物体」となる。そして、「物体」が商品として特定されたものを「商品」と呼ぶ。したがって、「商品」とは、店頭において販売されているものを意味する。
また、本発明の一実施形態に係る情報処理システムは、物体を測定対象とする１台以上のセンシングデバイスを備える。
センシングデバイスとしては、重量センサ、赤外線を活用した光センサ、カメラ等の画像センサの他、３Ｄセンサ（ＴＯＦセンサ、ステレオカメラ、ＬＩＤＡＲセンサ等）、温度センサ、距離センサ、種々のものを採用できる。
また、本発明の一実施形態に係る情報処理システムは、物体を測定対象とする１台以上のセンシングデバイスを備える。
センシングデバイスとしては、重量センサ、赤外線を活用した光センサ、カメラ等の画像センサの他、３Ｄセンサ（ＴＯＦセンサ、ステレオカメラ、ＬＩＤＡＲセンサ等）、温度センサ、距離センサ、種々のものを採用できる。
【0062】
上述のセンシングデバイスのうち、カメラ等の画像センサにより撮像された画像を、以下「撮像画像」と呼ぶ。さらに、物体を被写体として含む撮像画像を、以下「物体撮像画像」と呼ぶ。一方、商品を被写体として含む撮像画像を、以下「商品撮像画像」と呼ぶ。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
ここで、物体撮像画像及び商品撮像画像としては、例えば、商品を個別に切り出した画像、商品のロゴの画像、商品のバーコードの画像、商品のラベルの画像、商品の棚全体の撮像画像、店舗内を天井等から撮像した店舗内の画像等を用いることができる。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
ここで、物体撮像画像及び商品撮像画像としては、例えば、商品を個別に切り出した画像、商品のロゴの画像、商品のバーコードの画像、商品のラベルの画像、商品の棚全体の撮像画像、店舗内を天井等から撮像した店舗内の画像等を用いることができる。
【0063】
ここで、物体あるいは商品に関する関連情報としては、各種センシングデバイスにより得られる情報が該当する。具体例として例えば、物体撮像画像、商品撮像画像、認識結果のログ、商品候補リスト、物体撮像画像が撮像された位置情報、重量センサにより検知された重量情報、棚等の什器の位置情報、棚に陳列されている商品の位置情報、店舗内で商品あるいは買い物客を追跡するための情報、上述のセンシングデバイスから得られる３Ｄ情報（３Ｄデータ、ポイントクラウド等）、温度情報、距離情報、赤外線の検知情報等が含まれる。
【0064】
このようにこのシステムの機能的構成によれば、移動体Ｍ１、Ｍ２は、店舗の入口の入口エリア４０において、グループを作成及び登録した後、ゲート装置３１６ａを通過して入店し、店内売場に所定間隔で配置されている棚ラック４３の間の通路４４を進みながら棚ラック４３に陳列されている商品を棚から取り出して通路４４を進む。移動体Ｍ１、Ｍ２は、購入したい商品を全て取り終えると、精算エリア４５へ全員で進入することで、グループ単位で商品をまとめて一括精算及び決済処理することができる。
【0065】
ここで、図７を参照して本発明の情報処理システムの実施形態に係る構成のうち、図６の売場装置が有する棚商品認識部の詳細な機能的構成を説明する。
図７は、本発明の情報処理システムの実施形態に係る構成のうち、図６の売場装置が有する棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
図７に示すように、棚商品認識部３６０は、検出部３６０２と、商品特定部３６０３と、紐付け部３６０４と、商品リスト管理部３６０５と、を備える。
センシングデバイスとして、光センサ３１１と重量センサ３１２を用いる場合、棚商品認識部３６０は、光センサ３１１及び重量センサ３１２と通信ケーブルを介して通信する他、他のカメラやパーソナルコンピュータ等とも連携される。
図７は、本発明の情報処理システムの実施形態に係る構成のうち、図６の売場装置が有する棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
図７に示すように、棚商品認識部３６０は、検出部３６０２と、商品特定部３６０３と、紐付け部３６０４と、商品リスト管理部３６０５と、を備える。
センシングデバイスとして、光センサ３１１と重量センサ３１２を用いる場合、棚商品認識部３６０は、光センサ３１１及び重量センサ３１２と通信ケーブルを介して通信する他、他のカメラやパーソナルコンピュータ等とも連携される。
【0066】
サーバ１の位置情報管理ＤＢ１３２には、予め店内売場におけるセンシングデバイス（重量センサ３１２、光センサ３１１、天井カメラ３１０等）の配置場所の位置情報と、商品の配置場所の位置情報が管理されている。例えば重量センサ３１２の上に商品が１つだけ載置されている場合は互いの配置場所は一致する。
【0067】
この実施形態のように、センシングデバイスとして光センサ３１１と重量センサ３１２を用いる場合、検出部３６０２は、夫々のセンシングデバイスから得られる検出値に基づいて物体の状態の変化を検出する。
検出部３６０２は、光センサ３１１の遮蔽検出から、棚ラック４３内から物体を取り出したときの手や腕の遮蔽検出場所、又は物体を棚ラック４３内に置いた（戻した）ときの手や腕の遮蔽検出場所を検出する。
即ち、検出部３６０２は、物体が棚ラック４３の棚から取り出される際又は棚に置かれる際に手で光センサ３１１の光が遮蔽検出された検出場所を特定する。
この遮蔽検出により、棚の外から物体に対して行為（外部から人の手又は腕が入った）が加えられたことが分かる。
検出部３６０２は、光センサ３１１の遮蔽検出から、棚ラック４３内から物体を取り出したときの手や腕の遮蔽検出場所、又は物体を棚ラック４３内に置いた（戻した）ときの手や腕の遮蔽検出場所を検出する。
即ち、検出部３６０２は、物体が棚ラック４３の棚から取り出される際又は棚に置かれる際に手で光センサ３１１の光が遮蔽検出された検出場所を特定する。
この遮蔽検出により、棚の外から物体に対して行為（外部から人の手又は腕が入った）が加えられたことが分かる。
【0068】
検出部３６０２は、重量センサ３１２により検出された重量の変化と当該重量センサ３１２が設置された棚内の位置（場所）を確認する。
具体的には、検出部３６０２は、重量センサ３１２の重量検出値から、重量の変化を確認し、例えば、重量が減少した場合には物体が棚内から取られたと検出する一方、重量が増加した場合には物体が棚内に置かれた（戻された）と検出する。
具体的には、検出部３６０２は、重量センサ３１２の重量検出値から、重量の変化を確認し、例えば、重量が減少した場合には物体が棚内から取られたと検出する一方、重量が増加した場合には物体が棚内に置かれた（戻された）と検出する。
【0069】
棚にＡ重量センサと、Ｂ重量センサが配置されていたものとする。
例えば棚のＡ重量センサの重量検出値が減少するように変化した場合には、検出部３６０２は、重量検出値が減少した棚のＡ重量センサの上に置かれていた商品が取り出されたものと認識（検出）する。また、棚のＢ重量センサの重量検出値が増加するように変化した場合には、検出部３６０２は、重量検出値が増加した棚のＢ重量センサの上に商品が戻されたものと認識（検出）する。
このようにして物体の移動情報、つまり物体が棚から取り出された又は棚に置かれたことに関する情報（重量検出値の変化と遮蔽検出情報）は、商品特定部３６０３に引き渡される。
例えば棚のＡ重量センサの重量検出値が減少するように変化した場合には、検出部３６０２は、重量検出値が減少した棚のＡ重量センサの上に置かれていた商品が取り出されたものと認識（検出）する。また、棚のＢ重量センサの重量検出値が増加するように変化した場合には、検出部３６０２は、重量検出値が増加した棚のＢ重量センサの上に商品が戻されたものと認識（検出）する。
このようにして物体の移動情報、つまり物体が棚から取り出された又は棚に置かれたことに関する情報（重量検出値の変化と遮蔽検出情報）は、商品特定部３６０３に引き渡される。
【0070】
このようにして検出された物体が棚内から取られた又は棚に置かれたことに関する情報は、商品特定部３６０３に引き渡される。
また上述の例では、物体が棚内から取られた又は棚に置かれたことを検出するのに、光センサや重量センサが用いたが、これに限定されない。例えば、３Ｄセンサをはじめとする各種センシングデバイスから取得した情報を基に、棚から取り出された又は棚に置かれたことを検出してもよい。
また上述の例では、物体が棚内から取られた又は棚に置かれたことを検出するのに、光センサや重量センサが用いたが、これに限定されない。例えば、３Ｄセンサをはじめとする各種センシングデバイスから取得した情報を基に、棚から取り出された又は棚に置かれたことを検出してもよい。
【0071】
商品特定部３６０３は、検出部３６０２によって認識された棚内の物体がいずれの商品であるかを特定する。
【0072】
具体的には、商品特定部３６０３には、検出部３６０２から物体の移動情報が引き渡されるので、商品特定部３６０３は、物体の移動情報を用いて、サーバ１の位置情報管理ＤＢ１３２と商品ＤＢ１３１から、移動された物体がどの商品であるかを特定する。
具体的には、例えば、光センサ３１１から得られる商品取出時の遮蔽検出情報と、重量センサ３１２から得られる重量値の変化と、夫々のセンサの検知タイミングとを組み合わせて商品や商品を取り出した移動体を特定する。このとき、組み合わせにおける閾値は任意に定められてもよく、その閾値は、例えば、購入履歴、時間、場所、人の嗜好等の情報を参照してもよい。
具体的には、例えば、光センサ３１１から得られる商品取出時の遮蔽検出情報と、重量センサ３１２から得られる重量値の変化と、夫々のセンサの検知タイミングとを組み合わせて商品や商品を取り出した移動体を特定する。このとき、組み合わせにおける閾値は任意に定められてもよく、その閾値は、例えば、購入履歴、時間、場所、人の嗜好等の情報を参照してもよい。
【0073】
サーバ１の位置情報管理ＤＢ１３２には、商品ごとの重量が記録された「商品毎の重量リスト」、又は商品が設置される棚の位置が記録された「商品毎の位置情報リスト」が予め用意されている。
商品特定部３６０３は、物体の移動情報に含まれる重量検出値の変化と、「商品毎の重量リスト」とをマッチングさせて、例えば、所定の閾値を超える場合に、商品又はその商品の個数を特定する。また、「商品毎の重量リスト」に記録された商品毎の重量及びマッチングにおける閾値は、統計分析や、ディープラーニング等の手法により定められてもよい。これにより、商品の重量にばらつきがある場合でも、高い精度で商品を特定することができるようになる。
また、商品特定部３６０３は、「商品毎の位置情報リスト」と、重量の変化があった重量センサの位置情報とに基づいて商品を特定する。
さらに、商品特定部３６０３は、「商品毎の重量リスト」、及び「商品毎の位置情報リスト」を組み合わせてマッチングに用いることにより、商品及び商品の個数の双方を特定する。
商品特定部３６０３は、物体の移動情報に含まれる重量検出値の変化と、「商品毎の重量リスト」とをマッチングさせて、例えば、所定の閾値を超える場合に、商品又はその商品の個数を特定する。また、「商品毎の重量リスト」に記録された商品毎の重量及びマッチングにおける閾値は、統計分析や、ディープラーニング等の手法により定められてもよい。これにより、商品の重量にばらつきがある場合でも、高い精度で商品を特定することができるようになる。
また、商品特定部３６０３は、「商品毎の位置情報リスト」と、重量の変化があった重量センサの位置情報とに基づいて商品を特定する。
さらに、商品特定部３６０３は、「商品毎の重量リスト」、及び「商品毎の位置情報リスト」を組み合わせてマッチングに用いることにより、商品及び商品の個数の双方を特定する。
【0074】
また上述の例では、商品の特定には、光センサや重量センサにより得られた情報が用いられたが、これらの情報に限定されない。即ち、その他のセンシングデバイスにより取得した情報を基に商品を特定してもよい。
また、それらの中から任意の１手法を採用してもよいし、複数の手法を組み合わせて採用してもよい。
例えば、センシングデバイスとして棚カメラ等を用いる場合、商品特定部３６０３は、特定物体認識、一般物体認識、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部３６０３は、検証機能を発揮させることで、商品を高い精度で特定する。
また、それらの中から任意の１手法を採用してもよいし、複数の手法を組み合わせて採用してもよい。
例えば、センシングデバイスとして棚カメラ等を用いる場合、商品特定部３６０３は、特定物体認識、一般物体認識、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部３６０３は、検証機能を発揮させることで、商品を高い精度で特定する。
【0075】
検証機能は前述の商品候補をリストアップする手法と異なる手法によって「商品候補リストＰ」をリストアップする。商品候補リストＳ、Ｐの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、検出部３６０２によって移動が検出された物体が、商品ＤＢ１３１に登録されている商品であると認識し、商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。このように、ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、検出部３６０２によって移動が検出された物体が、商品ＤＢ１３１に登録されている商品であると認識し、商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。このように、ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
【0076】
また、商品特定部３６０３は、棚カメラによって撮像された撮像画像の１フレームで商品を特定せず、他のセンシングデバイスとして、例えば天井カメラ３１０によって撮像された撮像画像も駆使し、複数の撮像画像にわたって商品を特定してもよい。
さらに、複数のニューラルネットワークによるディープラーニングにより取得した情報と、他のセンシングデバイスにより取得した情報と、夫々任意に設定した閾値とを組み合わせて、任意のマッチングのアルゴリズムを作成し、取り出し商品の認識モデルとしてもよい。
このように、複数の手法を組み合わせた場合、夫々の手法による特定の精度が補完され、より高い精度で商品の特定をすることができるようになる。
さらに、複数のニューラルネットワークによるディープラーニングにより取得した情報と、他のセンシングデバイスにより取得した情報と、夫々任意に設定した閾値とを組み合わせて、任意のマッチングのアルゴリズムを作成し、取り出し商品の認識モデルとしてもよい。
このように、複数の手法を組み合わせた場合、夫々の手法による特定の精度が補完され、より高い精度で商品の特定をすることができるようになる。
【0077】
紐付け部３６０４は、特定された物品と、所定グループに属する２人のうち特定された物品から最も近くに存在する買い物客（所定の位置関係にある移動体Ｍ１又は移動体Ｍ２）若しくは所定グループ（その買い物客のグループ）とを紐付ける。
具体的には、紐付け部３６０４は、商品特定部３６０３によって特定された商品の商品情報と位置情報と、商品を取り出した移動体（移動体Ｍ１か移動体Ｍ２のいずれか）のユニークＩＤとを紐付ける。
具体的には、紐付け部３６０４は、商品特定部３６０３によって特定された商品の商品情報と位置情報と、商品を取り出した移動体（移動体Ｍ１か移動体Ｍ２のいずれか）のユニークＩＤとを紐付ける。
【0078】
上記実施形態では、光センサ３１１と重量センサ３１２とを組み合わせて、取り出された物体の位置と、物体を取り出した移動体（移動体Ｍ１、Ｍ２のいずれか）を検出したが、１台の天井カメラが撮像する所定７０６エリア内に複数人の移動体Ｍ１、Ｍ２が存在する場合であれば、出口カメラ３１４や天井カメラ３１０により撮像される画像から夫々の移動体Ｍ１、Ｍ２内への物体の入出を検知し、棚内から取られた物体が取り込まれた移動体（移動体Ｍ１、Ｍ２のいずれか）を特定し、当該移動体Ｍ１、Ｍ２と商品情報とを紐付けてもよい。
さらに別の前提として、１台のカメラが撮像する所定エリア内に移動体Ｍ１、Ｍ２が１つも存在しないとされる場合であれば、少なくとも１台以上のカメラによって、移動体Ｍ１、Ｍ２への入出を検知し、その移動体Ｍ１、Ｍ２を特定したうえで、その特定された移動体Ｍ１、Ｍ２と商品情報とを紐付けてもよい。
また、移動体Ｍ１、Ｍ２の発見、定義、追跡には、天井カメラ３１０及び出口カメラ３１４に限定されず、各種各様のセンシングデバイスを用いてもよい。
具体例として、例えば３Ｄセンサから得られた３Ｄデータから頭、肩、腕、手、足等の各パーツを推定することで、移動体Ｍ１、Ｍ２の高さ方向の情報を得ることができる。即ち、移動体Ｍ１、Ｍ２同士の腕や手が重なっていた場合も、高い精度で移動体Ｍ１、Ｍ２を追跡することができ、商品との紐付けを高い精度で行うことができるようになる。
さらに別の前提として、１台のカメラが撮像する所定エリア内に移動体Ｍ１、Ｍ２が１つも存在しないとされる場合であれば、少なくとも１台以上のカメラによって、移動体Ｍ１、Ｍ２への入出を検知し、その移動体Ｍ１、Ｍ２を特定したうえで、その特定された移動体Ｍ１、Ｍ２と商品情報とを紐付けてもよい。
また、移動体Ｍ１、Ｍ２の発見、定義、追跡には、天井カメラ３１０及び出口カメラ３１４に限定されず、各種各様のセンシングデバイスを用いてもよい。
具体例として、例えば３Ｄセンサから得られた３Ｄデータから頭、肩、腕、手、足等の各パーツを推定することで、移動体Ｍ１、Ｍ２の高さ方向の情報を得ることができる。即ち、移動体Ｍ１、Ｍ２同士の腕や手が重なっていた場合も、高い精度で移動体Ｍ１、Ｍ２を追跡することができ、商品との紐付けを高い精度で行うことができるようになる。
【0079】
商品リスト管理部３６０５は、精算までの間、移動体Ｍ１、Ｍ２と特定された商品とを紐付ける商品リストを管理し続ける。即ち、商品リスト管理部３６０５は、位置情報管理ＤＢ１３２等を活用し、移動体Ｍ１、Ｍ２のユニークＩＤに紐付く商品リストを常に管理し続ける。
物体が棚ラック４３内から取り出された際、商品リスト管理部３６０５は、取得された商品数分を加算する。反対に、商品が棚内に戻された際、商品リスト管理部３６０５は、戻された商品数分を減算する。
物体が棚ラック４３内から取り出された際、商品リスト管理部３６０５は、取得された商品数分を加算する。反対に、商品が棚内に戻された際、商品リスト管理部３６０５は、戻された商品数分を減算する。
【0080】
精算機４のＣＰＵ５０１においては、図６に示すように、精算部５３５と、入力制御部５３６と、出力制御部５３７と、が機能する。
【0081】
精算部５３５は、追跡された移動体Ｍ１、Ｍ２が、精算エリア４５に進入したときに、１以上の移動体Ｍ１、Ｍ２に紐付く商品情報（商品リスト）を、通信部５０９を介してサーバ１から取得し、精算金額及び精算対象商品を確定する。
入力制御部５３６は、表示端末３１５ｂのタッチディスプレイの操作情報（各種ボタン操作の情報や、クレジットカードリーダやＱＲコードリーダ等により読み取られた各種情報（カード決済やコード決済の情報等）を受け付ける。
出力制御部５３７は、精算金額を含む商品リストを表示端末３１５ｂへ出力したり、売場装置３に対して決済完了の通知を行うことで、ゲート装置３１６ｂの扉の開閉制御を実行させる。
入力制御部５３６は、表示端末３１５ｂのタッチディスプレイの操作情報（各種ボタン操作の情報や、クレジットカードリーダやＱＲコードリーダ等により読み取られた各種情報（カード決済やコード決済の情報等）を受け付ける。
出力制御部５３７は、精算金額を含む商品リストを表示端末３１５ｂへ出力したり、売場装置３に対して決済完了の通知を行うことで、ゲート装置３１６ｂの扉の開閉制御を実行させる。
【0082】
ここで、精算エリア４５に進入した移動体が複数人（移動体Ｍ１、Ｍ２）である場合、進入した複数人の移動体Ｍ１、Ｍ２のグループに紐付く商品情報を基に、精算金額や精算対象商品を確定する。即ち、複数人の精算金額や精算対象商品がまとめて確定する。
具体的には、例えば夫婦で買い物に来て、妻が財布を持って決済する場合において、入店時に妻と同じグループのメンバーとして登録した夫に紐付く商品情報（商品のリスト）を妻の分と共にまとめてグループとして精算（商品リスト化）し、精算額を妻が一括して決済することができる。
具体的には、例えば夫婦で買い物に来て、妻が財布を持って決済する場合において、入店時に妻と同じグループのメンバーとして登録した夫に紐付く商品情報（商品のリスト）を妻の分と共にまとめてグループとして精算（商品リスト化）し、精算額を妻が一括して決済することができる。
【0083】
精算機４は、商品金額の合計を算出し、精算する装置である。
この精算機４は、移動体Ｍ１、Ｍ２が精算エリア４５に進入すると、この進入がトリガーとなって移動体Ｍ１、Ｍ２に紐付く商品情報が読み出され、精算金額が確定し、精算のうえ、支払い手続きが完了すると、通過が許可されて、ゲート装置３１６ａが開放されて、移動体Ｍ１、Ｍ２が通過可能となる。具体的には、ゲート装置３１６ａの扉が開放される。
この精算機４は、移動体Ｍ１、Ｍ２が精算エリア４５に進入すると、この進入がトリガーとなって移動体Ｍ１、Ｍ２に紐付く商品情報が読み出され、精算金額が確定し、精算のうえ、支払い手続きが完了すると、通過が許可されて、ゲート装置３１６ａが開放されて、移動体Ｍ１、Ｍ２が通過可能となる。具体的には、ゲート装置３１６ａの扉が開放される。
【0084】
または、精算機４に精算ボタン（図示せず）を設置し、決済する人がその精算ボタンを押下することによって、移動体Ｍ１、Ｍ２に紐付く商品情報が読み出され、精算金額が確定し、精算機４を通過できるようにしてもよい。
【0085】
また、電子マネーを用いた精算機４においては、決済する人が、精算機４の精算エリア４５に進入し、バーコードやＱＲコード（登録商標）を含む各種カードを、カード読取部にかざすと、移動体Ｍ１、Ｍ２に紐付く商品情報が読み出され、精算及び決済が完了する。そして、決済する人は、精算機４を通過可能となる。
【0086】
入店時に移動体Ｍ１、Ｍ２を個人認証する場合には、決済の情報が精算前に特定されている必要がある。精算機４は、決済する人が精算機４の精算エリア４５に進入すると、エラーがない限り、自動精算されて、精算機４を通過可能となる。
精算対象商品が売買制限商品であったり、移動体Ｍ１、Ｍ２に不特定の物体が紐付いている場合は、上述の精算機４と同じ動作となる。
精算対象商品が売買制限商品であったり、移動体Ｍ１、Ｍ２に不特定の物体が紐付いている場合は、上述の精算機４と同じ動作となる。
【0087】
【0088】
ステップＳ７０１において、入口制御部３２０は、店内売場（所定場所）に、例えば移動体Ｍ１、Ｍ２等のＮ人（Ｎは２以上の整数値）が進入する前に(店舗３９の入口側に設置されたゲート装置３１６ａの手前の入口エリア４０で)、当該Ｎ人が属する所定グループを作成する。所定グループが作成されると、ゲート装置３１６ａの扉が開放されて、移動体Ｍ１、Ｍ２は入店を許可される。その後、処理はステップＳ７０２に進む。
具体的には、入口カメラ３１３により撮像された画像から入口エリア４０に進入した人の数が売場装置３により特定されて、グループの人数の確認を促す画面が表示端末３１５ａのタッチディスプレイに表示される。そして、同じグループに属する買い物客がその人数で確定するタップ操作（「確定」のボタン操作）を行うと、グループが作成されて、店内売場における売場装置３の追跡対象グループとして管理される。
グループを作成する際に、同じグループの夫々の人（移動体Ｍ１、Ｍ２）に、グループを識別する識別子（グループＩＤ）が付されたユニークＩＤが発行される。ユニークＩＤの発番の仕方は、重複しない限り、連続採番でもよく、ランダム採番でもよい。
具体的には、入口カメラ３１３により撮像された画像から入口エリア４０に進入した人の数が売場装置３により特定されて、グループの人数の確認を促す画面が表示端末３１５ａのタッチディスプレイに表示される。そして、同じグループに属する買い物客がその人数で確定するタップ操作（「確定」のボタン操作）を行うと、グループが作成されて、店内売場における売場装置３の追跡対象グループとして管理される。
グループを作成する際に、同じグループの夫々の人（移動体Ｍ１、Ｍ２）に、グループを識別する識別子（グループＩＤ）が付されたユニークＩＤが発行される。ユニークＩＤの発番の仕方は、重複しない限り、連続採番でもよく、ランダム採番でもよい。
【0089】
ステップＳ７０２において、移動体Ｍ１、Ｍ２がゲート装置３１６ａを通過して店内に入店すると、天井カメラ３１０が移動体Ｍ１、Ｍ２の撮像を開始する。
【0090】
ステップＳ７０３において、移動体追跡部３３０は、天井カメラ３１０により撮像される画像から、移動体Ｍ１、Ｍ２を検出し、検出した移動体Ｍ１、Ｍ２を含む所定の領域を移動体領域（人）として定義する。
【0091】
ステップＳ７０４において、移動体追跡部３３０は、移動体Ｍ１、Ｍ２夫々の移動を追跡し、位置を推定する。さらに、移動体Ｍ１、Ｍ２が移動した場合は、移動後の移動体Ｍ１、Ｍ２の領域が新たに定義され、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動体Ｍ１、Ｍ２の位置情報が更新される。
【0092】
ステップＳ７０５において、位置情報管理部３４０は、入店時に作成された移動体Ｍ１、Ｍ２の夫々のユニークＩＤと、移動体Ｍ１、Ｍ２の位置（座標）情報とを紐付けてメモリ上で管理し、移動体Ｍ１、Ｍ２を含む所定の領域が定義される毎にその位置（座標）情報を更新する。この定義された座標は、別の天井カメラ３１０により撮像されている位置でも認識される。
【0093】
ステップＳ７０６において、棚商品認識部３６０の検出部３６０２は、重量センサ３１２から入力される重量データと、光センサ３１１から入力される検出データとを常に検出しており、当該重量データ及び検出データ夫々の変化より、どの棚のどの場所の物体が移動されたか（持ち出されたか又は戻されたか）を検出（認識）する。
【0094】
ステップＳ７０７において、棚商品認識部３６０の商品特定部３６０３は、棚内から移動された（持ち出された又は戻された）物体と、物体を移動させた遮蔽物の存在を認識する。
具体的には、商品特定部３６０３は、物体が置かれた所定の棚の夫々に設置されている重量センサ３１２の位置情報からその上に載置されている物体を特定し、重量データの変化量から物体とその個数を特定する。
つまり重量センサ３１２により取得した重量データと、予め記憶されている商品情報のうち重量データとをマッチングさせることにより商品の個数を特定し、商品情報のうち陳列位置のデータから商品名を特定する。
ここで、商品情報には、商品名、価格、ＪＡＮコード、商品画像、商品の重量、商品サイズ、陳列位置、値引き情報、返金、売上集計、表示が少なくとも含まれ、これらの商品情報は、サーバ１の商品ＤＢ１３１に記憶される。
なお、物体を移動した移動体の特定については、物体が移動されたタイミングと光の遮蔽タイミングから、取り出された物体の位置から最も近くに存在する移動体を、物体を移動した（取り出した又は戻した）移動体として特定する。
具体的には、商品特定部３６０３は、物体が置かれた所定の棚の夫々に設置されている重量センサ３１２の位置情報からその上に載置されている物体を特定し、重量データの変化量から物体とその個数を特定する。
つまり重量センサ３１２により取得した重量データと、予め記憶されている商品情報のうち重量データとをマッチングさせることにより商品の個数を特定し、商品情報のうち陳列位置のデータから商品名を特定する。
ここで、商品情報には、商品名、価格、ＪＡＮコード、商品画像、商品の重量、商品サイズ、陳列位置、値引き情報、返金、売上集計、表示が少なくとも含まれ、これらの商品情報は、サーバ１の商品ＤＢ１３１に記憶される。
なお、物体を移動した移動体の特定については、物体が移動されたタイミングと光の遮蔽タイミングから、取り出された物体の位置から最も近くに存在する移動体を、物体を移動した（取り出した又は戻した）移動体として特定する。
【0095】
ステップＳ７０８において、紐付け部３６０４は、特定された物体と、同じグループに属する移動体Ｍ１、Ｍ２（２人の買い物客）のうち特定された物体から最も近くに存在する買い物客（所定の位置関係にある人）とを紐付ける。即ち紐付け部３６０４は、移動体Ｍ１、Ｍ２と特定された商品とを紐付ける。なお、物体をグループに紐付けてもよい。
【0096】
ステップＳ７０９において、商品リスト管理部３６０５が、移動体Ｍ１、Ｍ２と紐付く商品リストを精算まで管理する。
【0097】
続いて、図９を参照して精算エリアの処理を説明する。
図９は、図８のフローチャートの続きの自動精算処理を示すフローチャートである。
移動体Ｍ１、Ｍ２が店内売場を移動しつつ棚から取り出した商品を所持して精算エリア４５に進入すると、以下のような態様で精算及び決済処理が実行されて、完了すると、ゲート装置３１６ｂが開放されるので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
図９は、図８のフローチャートの続きの自動精算処理を示すフローチャートである。
移動体Ｍ１、Ｍ２が店内売場を移動しつつ棚から取り出した商品を所持して精算エリア４５に進入すると、以下のような態様で精算及び決済処理が実行されて、完了すると、ゲート装置３１６ｂが開放されるので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
【0098】
例えば、商品を所持した移動体Ｍ１、Ｍ２が精算エリア４５に進入すると、精算エリア４５への進入が出口カメラ３１４の撮像画像より検知されて、それがトリガーとなり、ステップＳ７１０において、売場装置３の出口制御部３７０は、精算エリア４５に進入した人数とそのグループをチェックする。
【0099】
そして、チェックの結果、出口制御部３７０は、同じグループの者全員が精算エリア４５に集合したかを判定する。
この判定の結果、入店時に同じグループとして登録された者全員が精算エリア４５内に集合したと判定されると（ステップＳ７１１のＹｅｓ）、精算機４とサーバ１及び売場装置３との通信により、ステップＳ７１２の精算ステップが実行される。
この判定の結果、入店時に同じグループとして登録された者全員が精算エリア４５内に集合したと判定されると（ステップＳ７１１のＹｅｓ）、精算機４とサーバ１及び売場装置３との通信により、ステップＳ７１２の精算ステップが実行される。
【0100】
ここで、例えば移動体Ｍ１が精算エリア４５に先に進入し、それから遅れて移動体Ｍ２が精算エリア４５に進入したとする。
この場合、移動体Ｍ１が精算エリア４５に進入した段階では、表示端末３１５ｂのタッチパネルディスプレイには、現在の人数として「１／２人」と表示されるだけで精算は開始されない。この際、タッチパネルディスプレイ及び／又はスピーカから「グループの全ての方がエリアに入場されますと決済処理を開始します」等のメッセージか出力される。
続いて、移動体Ｍ２が精算エリア４５に進入した段階で、タッチパネルディスプレイには、現在の人数として「２／２人」と表示され、さらに精算を進めるための「開始ボタン」が表示される。そして、移動体Ｍ１、Ｍ２のいずれかが「開始」ボタンをタップ（タッチ操作）することで、精算機４は、精算を開始する。
なお、このグループ全員の集合に伴う開始動作は、入店時も同様であり、入店時は「開始」ボタンのタップ操作によりグループ作成が開始される。
この場合、移動体Ｍ１が精算エリア４５に進入した段階では、表示端末３１５ｂのタッチパネルディスプレイには、現在の人数として「１／２人」と表示されるだけで精算は開始されない。この際、タッチパネルディスプレイ及び／又はスピーカから「グループの全ての方がエリアに入場されますと決済処理を開始します」等のメッセージか出力される。
続いて、移動体Ｍ２が精算エリア４５に進入した段階で、タッチパネルディスプレイには、現在の人数として「２／２人」と表示され、さらに精算を進めるための「開始ボタン」が表示される。そして、移動体Ｍ１、Ｍ２のいずれかが「開始」ボタンをタップ（タッチ操作）することで、精算機４は、精算を開始する。
なお、このグループ全員の集合に伴う開始動作は、入店時も同様であり、入店時は「開始」ボタンのタップ操作によりグループ作成が開始される。
【0101】
上記ステップＳ７１２の精算ステップでは、移動体Ｍ１、Ｍ２が持ち寄ったグループの商品数が集計され、その集計結果は、当該移動体Ｍ１、Ｍ２を含むグループに紐付く商品の商品リストとして表示端末３１５ｂのタッチパネルディスプレイに表示される。
【0102】
移動体Ｍ１、Ｍ２は、タッチパネルディスプレイに表示された商品リストを目視で確認し、ステップＳ７１３において、購入する商品（商品とその数量、単価等）が正しいか否かを判断する。つまりグループで購入する商品の特定が全てなされていることを確認する。
【0103】
この確認の結果、商品リストにおいて、グループで購入する商品の特定が全てなされている場合、移動体Ｍ１、Ｍ２は、ステップＳ７１５において、次のステップに進めるための確定の操作を行う。
具体的には、表示された商品リストの内容とグループの購入商品とが一致していることが確認された場合、移動体Ｍ１、Ｍ２のうち１人（例えば移動体Ｍ１等）が、タッチパネルディスプレイに表示されている「次へ」のボタンをタッチ操作することで、精算内容が確定され、タッチパネルディスプレイに「完了」ボタンが表示される。「完了」ボタンは、決済処理を開始するためのボタンである。
具体的には、表示された商品リストの内容とグループの購入商品とが一致していることが確認された場合、移動体Ｍ１、Ｍ２のうち１人（例えば移動体Ｍ１等）が、タッチパネルディスプレイに表示されている「次へ」のボタンをタッチ操作することで、精算内容が確定され、タッチパネルディスプレイに「完了」ボタンが表示される。「完了」ボタンは、決済処理を開始するためのボタンである。
【0104】
なお、商品リストの商品が正しくない場合、つまり商品リストの内容とグループの購入商品とが不一致である場合（ステップＳ７１３のＮｏ）、タッチパネルディスプレイに表示されている「修正」のボタンをタッチ操作することで、修正画面が表示されるので、ステップＳ７１４において、購入商品の内容を修正（追加、削除等）する。
具体的には例えば、移動体Ｍ１、Ｍ２が購入する商品と、商品リストに表示された商品との間に個数の過不足がある場合、移動体Ｍ１、Ｍ２は、表示端末３１５ｂのタッチパネルディスプレイの「修正」のボタンを押下することにより個数を修正できる。
また、例えば、購入しようとしている商品がない、又は間違った商品が商品リストに表示されている場合には、移動体Ｍ１、Ｍ２は、商品に貼付されたバーコードを、精算機４のコードスキャナ部５１０（図５参照）により読み取らせることにより商品リストの修正を試みることができる。
移動体Ｍ１、Ｍ２が入口エリア４０を通過してから精算エリア４５に集合するまでの間に、重量の変化から商品の取り出しが検出された商品の一覧を候補商品としてタッチパネルディスプレイに表示し、正しい商品を選択することを試みてもよい。また、商品ＤＢ１３１に記憶されているすべての商品の商品情報から検索して、特定してもよいし、移動体Ｍ１、Ｍ２に商品番号（棚に記載されている商品番号）の入力をしてもらうようにしてもよい。
このようにして商品リストの修正が完了すると、商品リスト管理部３６０５（図７参照）は、商品リストを更新し、処理はステップＳ７１２に戻され、それ以降の処理が繰り返される。
具体的には例えば、移動体Ｍ１、Ｍ２が購入する商品と、商品リストに表示された商品との間に個数の過不足がある場合、移動体Ｍ１、Ｍ２は、表示端末３１５ｂのタッチパネルディスプレイの「修正」のボタンを押下することにより個数を修正できる。
また、例えば、購入しようとしている商品がない、又は間違った商品が商品リストに表示されている場合には、移動体Ｍ１、Ｍ２は、商品に貼付されたバーコードを、精算機４のコードスキャナ部５１０（図５参照）により読み取らせることにより商品リストの修正を試みることができる。
移動体Ｍ１、Ｍ２が入口エリア４０を通過してから精算エリア４５に集合するまでの間に、重量の変化から商品の取り出しが検出された商品の一覧を候補商品としてタッチパネルディスプレイに表示し、正しい商品を選択することを試みてもよい。また、商品ＤＢ１３１に記憶されているすべての商品の商品情報から検索して、特定してもよいし、移動体Ｍ１、Ｍ２に商品番号（棚に記載されている商品番号）の入力をしてもらうようにしてもよい。
このようにして商品リストの修正が完了すると、商品リスト管理部３６０５（図７参照）は、商品リストを更新し、処理はステップＳ７１２に戻され、それ以降の処理が繰り返される。
【0105】
なお、ステップＳ７１５において、精算内容が確定されないまま一定時間が経過すると、ステップＳ７１６において、タッチパネルディスプレイに警告のメッセージが出力され、処理が中止される。
【0106】
一方、ステップＳ７１５の後にタッチパネルディスプレイに表示された「完了」ボタンを移動体Ｍ１がタップすることで、ステップＳ７１７において、決済処理が開始され、タッチパネルディスプレイには決済画面が表示される。
【0107】
決済画面において、移動体Ｍ１が、所望の支払い方法を選択操作すると、選択した支払い方法により決済処理が実行される。
そして、決済処理が完了すると、ステップＳ７１８において、売場装置３の出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが精算エリア４５内に進入した場合にそのグループの１以上の商品を、店内売場の外に持ち出すことを許可する。具体的には、出口制御部３７０は、ゲート装置３１６ｂを制御してゲート装置３１６ｂの扉を開放するので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
そして、精算機４は、出口カメラ３１４の画像から、移動体Ｍ１、Ｍ２を含むグループの者全員がゲート装置３１６ｂを通過したことを確認すると、精算エリア４５での処理内容（グループの人数のカウント値等）をリセットし、自動精算処理を終了する。
そして、決済処理が完了すると、ステップＳ７１８において、売場装置３の出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが精算エリア４５内に進入した場合にそのグループの１以上の商品を、店内売場の外に持ち出すことを許可する。具体的には、出口制御部３７０は、ゲート装置３１６ｂを制御してゲート装置３１６ｂの扉を開放するので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
そして、精算機４は、出口カメラ３１４の画像から、移動体Ｍ１、Ｍ２を含むグループの者全員がゲート装置３１６ｂを通過したことを確認すると、精算エリア４５での処理内容（グループの人数のカウント値等）をリセットし、自動精算処理を終了する。
【0108】
このように買い物客（移動体Ｍ１、Ｍ２）がグループでまとまって精算エリア４５に集合するだけで、各人の購入商品がグループ単位で一括して自動的に精算され、その中の１人が所定の手法により決済を完了させることができる。これにより、移動体Ｍ１、Ｍ２一人一人がレジ前に列を作って並ぶことなく、グループ全員分の買い物の精算及び決済処理を、いっぺんに完了させることができる。
【0109】
また、グループの者全員が商品を所持していない（何も購入しない）状態で、精算エリア４５に進入した場合、当該移動体Ｍ１、Ｍ２には商品が紐付いていないため、精算機４のタッチパネルディスプレイには商品リストとして商品名が表示されず「小計０円」等と表示される。このような場合には移動体Ｍ１、Ｍ２は、タッチパネルディスプレイに表示されている「完了」ボタンをタップすることで、「購入商品がないためお支払いの必要はありません。ご利用ありがとうございました。」等のメッセージが表示され、ゲート装置３１６ｂの扉が開放されるので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
【0110】
以下、上記実施形態に用いる技術（商品検出技術、移動体（人）の追跡技術、重量計測技術等）の適用例を説明する。
図１０は、本発明の情報処理システムの実施形態において、重量センサと光センサを用いて商品を認識する適用例を示す図である。
図１０に示すように、棚ラック４３の各棚３２１、３２２に、センシングデバイスとして、例えば複数の重量センサ３１２及び光センサ３１１を配置する場合、重量センサ３１２を棚３２１の両端を支えるように２つ配置すると共に、商品単位に光センサ３１１を配置、つまり商品Ｂの夫々の陳列位置の真上に光センサ３１１を設置する。この際、光センサ３１１からは赤外線を下方の商品Ｂに向けて照射するように設置する。
この場合、商品Ｂの種類を光センサ３１１で検出し、商品の数量を重量センサ３１２で検出する。
この適用例によれば、商品Ｂに対して個々に重量センサ３１２を配置するよりも、単価の高い重量センサ３１２の数を少なくすることができるので、システムを安価に構成することができる。但し、この場合、光センサ３１１位置が最適位置になるように取付位置を慎重に調整する必要がある。また、比較的大きな商品に適用する場合は別途考慮が必要である。
図１０は、本発明の情報処理システムの実施形態において、重量センサと光センサを用いて商品を認識する適用例を示す図である。
図１０に示すように、棚ラック４３の各棚３２１、３２２に、センシングデバイスとして、例えば複数の重量センサ３１２及び光センサ３１１を配置する場合、重量センサ３１２を棚３２１の両端を支えるように２つ配置すると共に、商品単位に光センサ３１１を配置、つまり商品Ｂの夫々の陳列位置の真上に光センサ３１１を設置する。この際、光センサ３１１からは赤外線を下方の商品Ｂに向けて照射するように設置する。
この場合、商品Ｂの種類を光センサ３１１で検出し、商品の数量を重量センサ３１２で検出する。
この適用例によれば、商品Ｂに対して個々に重量センサ３１２を配置するよりも、単価の高い重量センサ３１２の数を少なくすることができるので、システムを安価に構成することができる。但し、この場合、光センサ３１１位置が最適位置になるように取付位置を慎重に調整する必要がある。また、比較的大きな商品に適用する場合は別途考慮が必要である。
【0111】
図１１は、本発明の情報処理システムの実施形態において、蓋付きの専用ケースを用いて商品を認識する適用例を示す図である。
図１１に示すように、この適用例の場合、棚３２１の両端の下面に重量センサ３１２を配置するとともに、棚３２１の上に蓋付きの専用ケース３３１（以下「商品箱３３１」と呼ぶ）を配置する。
商品箱３３１は、上部が開口された筐体３３２と、開口を塞ぐ蓋３３３とを開閉自在に設けたものである。蓋３３３を閉めたときに筐体３３２と蓋３３３とが重なる端部には互いが接触すると、微電流が流れる仕組みの接触センサ３３４が設けられている。
この適用例の場合、商品箱３３１の中に商品を入れた状態で、商品箱３３１を棚に並べて陳列し、買い物客は、所望の商品が収納されている商品箱３３１の蓋３３３を手で開けて商品箱３３１の中の商品を取り出すことになる。検知回路としては、商品箱３３１の蓋３３３を開くと接触センサ３３４に電流が流れ、蓋３３２を閉じると接触センサ３３４により電流の流れが遮断されるので、接触センサ３３４が接続されている売場装置３が電流の遮断を検出することで、商品の取り出しを検出することができる。
この適用例によれば、簡単な回路構成の接触センサ３３３と、少ない数の重量センサ３１２とで、取り出された商品とその位置と数量と検出することができるので、システムを安価に構成することができる。但し、この場合も、比較的大きな商品に適用する場合は商品箱３３１のサイズ等を別途考慮が必要である。
図１１に示すように、この適用例の場合、棚３２１の両端の下面に重量センサ３１２を配置するとともに、棚３２１の上に蓋付きの専用ケース３３１（以下「商品箱３３１」と呼ぶ）を配置する。
商品箱３３１は、上部が開口された筐体３３２と、開口を塞ぐ蓋３３３とを開閉自在に設けたものである。蓋３３３を閉めたときに筐体３３２と蓋３３３とが重なる端部には互いが接触すると、微電流が流れる仕組みの接触センサ３３４が設けられている。
この適用例の場合、商品箱３３１の中に商品を入れた状態で、商品箱３３１を棚に並べて陳列し、買い物客は、所望の商品が収納されている商品箱３３１の蓋３３３を手で開けて商品箱３３１の中の商品を取り出すことになる。検知回路としては、商品箱３３１の蓋３３３を開くと接触センサ３３４に電流が流れ、蓋３３２を閉じると接触センサ３３４により電流の流れが遮断されるので、接触センサ３３４が接続されている売場装置３が電流の遮断を検出することで、商品の取り出しを検出することができる。
この適用例によれば、簡単な回路構成の接触センサ３３３と、少ない数の重量センサ３１２とで、取り出された商品とその位置と数量と検出することができるので、システムを安価に構成することができる。但し、この場合も、比較的大きな商品に適用する場合は商品箱３３１のサイズ等を別途考慮が必要である。
【0112】
この他、例えばＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラを用いて商品を認識してもよい。
この場合、店内売場の棚ラックと棚ラックとの間の通路の上の天井より、通路の両側の棚ラックの棚が撮像できるようにＡＩカメラを設置し、ＡＩカメラにより撮像された画像から左右のどの棚ラックのどの段の棚から商品を取ったかを画像解析モデルにより判別する。
この適用例によれば、得られる情報の価値が高く、単なる商品の取り出し検知だけでなく、例えば万引き防止にも有効に利用することができる。但し、棚から取り出す個数までは分からないため、別途、個数を識別するための手段で個数を計測する必要がある。
この場合、店内売場の棚ラックと棚ラックとの間の通路の上の天井より、通路の両側の棚ラックの棚が撮像できるようにＡＩカメラを設置し、ＡＩカメラにより撮像された画像から左右のどの棚ラックのどの段の棚から商品を取ったかを画像解析モデルにより判別する。
この適用例によれば、得られる情報の価値が高く、単なる商品の取り出し検知だけでなく、例えば万引き防止にも有効に利用することができる。但し、棚から取り出す個数までは分からないため、別途、個数を識別するための手段で個数を計測する必要がある。
【0113】
ここからは、移動体（人）の追跡技術について説明する。
まず、Ｂｌｕｅｔｏｏｔｈ５．１を用いた移動体（人）の追跡例が挙げられる。
この適用例は、Ｂｌｕｅｔｏｏｔｈ５．１の通信が可能な専用端末と、専用端末と通信する通信設備を用意する。Ｂｌｕｅｔｏｏｔｈは登録商標である。
この場合、買い物客が店内売場に入店する際に、専用端末を買い物客に渡し、店内売場で買い物をしてもらう。
通信設備は、専用端末の座標をリアルタイムに検出し、店内を移動する買い物客を追跡する。
この適用例によれば、精度よくリアルタイムに測定することが可能なため、信頼性が高いシステムを構成することができる。またＢｌｕｅｔｏｏｔｈ５．１を利用することで、システムを低コストに実現することができる。但し、入店時に買い物客に専用端末を渡し、退店時に買い物客から専用端末を回収する必要がある。
まず、Ｂｌｕｅｔｏｏｔｈ５．１を用いた移動体（人）の追跡例が挙げられる。
この適用例は、Ｂｌｕｅｔｏｏｔｈ５．１の通信が可能な専用端末と、専用端末と通信する通信設備を用意する。Ｂｌｕｅｔｏｏｔｈは登録商標である。
この場合、買い物客が店内売場に入店する際に、専用端末を買い物客に渡し、店内売場で買い物をしてもらう。
通信設備は、専用端末の座標をリアルタイムに検出し、店内を移動する買い物客を追跡する。
この適用例によれば、精度よくリアルタイムに測定することが可能なため、信頼性が高いシステムを構成することができる。またＢｌｕｅｔｏｏｔｈ５．１を利用することで、システムを低コストに実現することができる。但し、入店時に買い物客に専用端末を渡し、退店時に買い物客から専用端末を回収する必要がある。
【0114】
図１２は、本発明の情報処理システムの実施形態において、骨格推定や顔認識等の画像処理技術を用いて移動体（人）を追跡する適用例を示す図である。
この場合、店内に設置した二次元画像撮影用のカメラ（以下「２Ｄカメラ」と呼ぶ）により撮像される２Ｄ画像（図１２（Ａ）、（Ｂ）参照）を画像解析モデルに入力し、画像解析モデルからは、２Ｄ画像から検出された人体を出力させることで、買い物客を追跡する。画像解析モデルとしては、例えば骨格推定モデルや顔認証モデルを用いるものとする。
この適用例によれば、買い物客の位置情報に加え、姿勢等を得ることができる。将来的には商品を認識することにも利用することができる。但し、２Ｄカメラが多数必要であるため、システム導入コストが高くなる。また、ある程度の精度を得るためには、多くの教師データ（サンプル）によりＡＩ（画像解析モデル）に学習させる必要がある。
この場合、店内に設置した二次元画像撮影用のカメラ（以下「２Ｄカメラ」と呼ぶ）により撮像される２Ｄ画像（図１２（Ａ）、（Ｂ）参照）を画像解析モデルに入力し、画像解析モデルからは、２Ｄ画像から検出された人体を出力させることで、買い物客を追跡する。画像解析モデルとしては、例えば骨格推定モデルや顔認証モデルを用いるものとする。
この適用例によれば、買い物客の位置情報に加え、姿勢等を得ることができる。将来的には商品を認識することにも利用することができる。但し、２Ｄカメラが多数必要であるため、システム導入コストが高くなる。また、ある程度の精度を得るためには、多くの教師データ（サンプル）によりＡＩ（画像解析モデル）に学習させる必要がある。
【0115】
図１３は、本発明の情報処理システムの実施形態において、台車に設置したカメラを用いて移動体を追跡する追跡例を示す図である。
図１３に示すように、台車３４１の下部側面の、棚ラック４３の棚４３ａの高さに対応する位置にカメラ３４１を設置する。
台車３４１の下部にカメラ３４２を設置する。棚ラック４３の棚４３ａの端面（前面）にバーコードを印刷した媒体３４３を配置する。また、売場装置３又はサーバ１には、バーコードの情報に、棚ラック４３の位置と、商品Ｂの位置と、を対応付けて予め記憶しておくものとする。
この場合、買い物客が台車３４１と共に店内を移動する中で、棚ラック４３の所望の商品Ｂの前に来ると、カメラ３４２が媒体３４３のバーコードを読み取り、読み取ったバーコードの情報に基づいて移動体（この場合、買い物客と台車３４１）の位置と、商品Ｂの位置とを特定する。
この適用例によれば、安価に実現することができる。カメラを用いた発展性も高い。但し、台車３４１にバッテリ等の電源を搭載する必要あり、定期的な充電等が必要である。
図１３に示すように、台車３４１の下部側面の、棚ラック４３の棚４３ａの高さに対応する位置にカメラ３４１を設置する。
台車３４１の下部にカメラ３４２を設置する。棚ラック４３の棚４３ａの端面（前面）にバーコードを印刷した媒体３４３を配置する。また、売場装置３又はサーバ１には、バーコードの情報に、棚ラック４３の位置と、商品Ｂの位置と、を対応付けて予め記憶しておくものとする。
この場合、買い物客が台車３４１と共に店内を移動する中で、棚ラック４３の所望の商品Ｂの前に来ると、カメラ３４２が媒体３４３のバーコードを読み取り、読み取ったバーコードの情報に基づいて移動体（この場合、買い物客と台車３４１）の位置と、商品Ｂの位置とを特定する。
この適用例によれば、安価に実現することができる。カメラを用いた発展性も高い。但し、台車３４１にバッテリ等の電源を搭載する必要あり、定期的な充電等が必要である。
【0116】
図１４は、本発明の情報処理システムの実施形態において、台車に９軸センサを搭載して移動体の位置を計測しつつ追跡する追跡例を示す図である。
図１４に示すように、店内をいくつかのエリアに分けて、エリア毎に床面の色を変えるものとする。例えば床面が青色のエリア３５０ｂと赤色のエリア３５０ａ等を設ける。
また、店内で利用されるショッピングカート等の台車３５１には、９軸センサ（自律航法用のマイコン）（図示せず）を搭載する。
この場合、９軸センサ（マイコン）（図示せず）と、床面の色を検知するセンサ（図示せず）を台車３５１に搭載し、これらのセンサにより移動方向（方位）と、位置（店内における座標）と、速度と、エリアの切り替わりを計測することで、買い物客を追跡する。
そして、買い物客が台車３５１と共に店内を移動して、エリアを跨いだときに、位置情報をリセットする。これにより、計測誤差を抑制することができる。
この適用例によれば、安価に位置計測機能と移動体の追跡機能を実装することができる。また、マイコンを搭載することで、他の用途等に発展する可能性が有る。但し、台車３５１に電源を搭載する必要あり、定期的に充電をする必要があり、充電スポット等の場所を店舗に設ける必要がある。
図１４に示すように、店内をいくつかのエリアに分けて、エリア毎に床面の色を変えるものとする。例えば床面が青色のエリア３５０ｂと赤色のエリア３５０ａ等を設ける。
また、店内で利用されるショッピングカート等の台車３５１には、９軸センサ（自律航法用のマイコン）（図示せず）を搭載する。
この場合、９軸センサ（マイコン）（図示せず）と、床面の色を検知するセンサ（図示せず）を台車３５１に搭載し、これらのセンサにより移動方向（方位）と、位置（店内における座標）と、速度と、エリアの切り替わりを計測することで、買い物客を追跡する。
そして、買い物客が台車３５１と共に店内を移動して、エリアを跨いだときに、位置情報をリセットする。これにより、計測誤差を抑制することができる。
この適用例によれば、安価に位置計測機能と移動体の追跡機能を実装することができる。また、マイコンを搭載することで、他の用途等に発展する可能性が有る。但し、台車３５１に電源を搭載する必要あり、定期的に充電をする必要があり、充電スポット等の場所を店舗に設ける必要がある。
【0117】
図１５は、本発明の情報処理システムの実施形態において、台車に重量センサを設置して商品の重量を計測する適用例を示す図である。
図１５に示すように、ショッピングカート等の台車３５１に重量センサ（図示せず）を搭載する。
この場合、台車３５１の商品収納部（かごの部分）に重量センサ（図示せず）を配置するとともに、台車３５１に制御装置（マイコン等）を搭載することで、買い物客や台車自体の追跡をしなくても、移動中に台車３５１のかごの重量が増減した変化量と、棚３２１に設置されている重量センサ３１２の重量検出量が変化した変化量と、互いの重量が変化したタイミングとを記憶しておくことで、精算の際に、台車３５１に載せられている商品を特定できるので、精算を行うことができる。
具体的には、図１５のように、買い物客が、棚３２１に陳列されている商品Ａ（３００ｇ）を取り、台車３５１のかごに入れた場合、棚３２１に設置されている重量センサ３１２の重量検出量が３００ｇ減り、このタイミングで台車３５１のかごの重量検出量が３００ｇ増えるため、買い物客がどの商品を台車３５１のかごに入れたかが分かる。
この適用例によれば、買い物客や台車３５１を追跡することなく、精算の際に商品を特定できる他、重量がそのまま移動するため、万引きの予防、防止にも繋がる。但し台車３５１に重量センサ３１２と、制御装置と、これらを動作させるバッテリ等を組み込む必要があり、上述のバッテリを用いる適用例と同様の対策が必要である。
図１５に示すように、ショッピングカート等の台車３５１に重量センサ（図示せず）を搭載する。
この場合、台車３５１の商品収納部（かごの部分）に重量センサ（図示せず）を配置するとともに、台車３５１に制御装置（マイコン等）を搭載することで、買い物客や台車自体の追跡をしなくても、移動中に台車３５１のかごの重量が増減した変化量と、棚３２１に設置されている重量センサ３１２の重量検出量が変化した変化量と、互いの重量が変化したタイミングとを記憶しておくことで、精算の際に、台車３５１に載せられている商品を特定できるので、精算を行うことができる。
具体的には、図１５のように、買い物客が、棚３２１に陳列されている商品Ａ（３００ｇ）を取り、台車３５１のかごに入れた場合、棚３２１に設置されている重量センサ３１２の重量検出量が３００ｇ減り、このタイミングで台車３５１のかごの重量検出量が３００ｇ増えるため、買い物客がどの商品を台車３５１のかごに入れたかが分かる。
この適用例によれば、買い物客や台車３５１を追跡することなく、精算の際に商品を特定できる他、重量がそのまま移動するため、万引きの予防、防止にも繋がる。但し台車３５１に重量センサ３１２と、制御装置と、これらを動作させるバッテリ等を組み込む必要があり、上述のバッテリを用いる適用例と同様の対策が必要である。
【0118】
〔他の実施形態〕
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0119】
上述の実施形態は、コンビニエンスストア等の店舗に次世代レジシステムを適用した例について説明したが、同じグループの複数の客が所望の複数の商品をセルフレジへ持ち込み、一括精算の上、決済処理後、当該複数の商品を店舗外へ持ち出す一連の購入手続きに適用される他、例えば倉庫内において同じグループの複数の人が精算や決済処理を伴わない物品の倉庫外への持ち出し（物品を他の場所に移動する際の在庫管理等）にも適用することができる。
【0120】
上述した本実施形態では、天井及び各棚ラック４３に設置されているセンシングデバイスとして、天井カメラ３１０、光センサ３１１及び重量センサ３１２等を例示したが、これらはあくまで一例であり、これに限定されない。例えば、３Ｄセンサ、温度センサ、距離センサを含む各種各様のセンシングデバイスを設置することができる。また、重量センサを始めとするこれらのセンシングデバイスは、商品が置かれ得る棚１つに対し、複数個設置されてもよい。
【0121】
上述した実施形態では、複数の天井カメラ３１０の撮像範囲が重なるように配置する例を説明したが、一般的に、カメラは、撮影対象までの距離が長いほど広範囲を撮影することが可能になる。即ち、カメラを店舗の天井に設置した場合、天井が低い店舗においては１台のカメラで撮影できる範囲は狭い範囲に限定される。そのため、店舗全体を撮影する場合は多くのカメラを設置する必要がある。
そこで、１台のカメラで可能な限り広範囲を撮影するため、例えば以下の工夫がなされてもよい。即ち、撮影対象が映る鏡を天井に設置し、カメラのレンズを天井の鏡に向けた状態で壁に設置する。そして撮影対象である物体や移動体Ｍ１、Ｍ２を鏡に映し、その鏡に映った物体や移動体Ｍ１、Ｍ２をカメラで撮影する。以上の工夫により、カメラと撮影対象の距離を見かけ上長く確保することができるため、少ない台数のカメラでより広い撮像範囲をカバーすることが可能になる。
そこで、１台のカメラで可能な限り広範囲を撮影するため、例えば以下の工夫がなされてもよい。即ち、撮影対象が映る鏡を天井に設置し、カメラのレンズを天井の鏡に向けた状態で壁に設置する。そして撮影対象である物体や移動体Ｍ１、Ｍ２を鏡に映し、その鏡に映った物体や移動体Ｍ１、Ｍ２をカメラで撮影する。以上の工夫により、カメラと撮影対象の距離を見かけ上長く確保することができるため、少ない台数のカメラでより広い撮像範囲をカバーすることが可能になる。
【0122】
ここで上述の実施形態に関する課題について補足する。
上述の実施形態における情報処理システムでの商品の特定手法として、ディープラーニングを用いた画像認識を一例として挙げた。しかし、ディープラーニングは、商品を特定できなかったとき、もしくは誤認識したときに再学習をさせる必要があり、その際には正解商品の画像を人の手で与える必要があり、多大な手間がかかる。
上述の実施形態における情報処理システムでの商品の特定手法として、ディープラーニングを用いた画像認識を一例として挙げた。しかし、ディープラーニングは、商品を特定できなかったとき、もしくは誤認識したときに再学習をさせる必要があり、その際には正解商品の画像を人の手で与える必要があり、多大な手間がかかる。
【0123】
上述の課題の解決方法として、本発明の情報処理システムは、商品購入時に、目検者の目視による確認や、バーコードスキャン等を行い、商品の特定を修正する機能と、商品の特定の修正が行われた際に、修正した正しい商品の画像及び必要な情報（修正後の商品番号や特定のコード等）を紐付けて記録する機能と、前記正しい商品の画像及び必要な情報を基に、ディープラーニングの学習を自動で実行する機能と、学習結果を自動で同情報処理システムに配備する機能と、を実装することにより、上記の一連のディープラーニングの再学習処理の自動化を実現できる。
ここで、学習結果の配備とは、商品の特定に用いることができるよう、学習の結果に基づいて、同情報処理システムの、例えばディープラーニングのモデル等を更新する処理を指す。
上記の再学習処理は、例えば商品特定の失敗等の所定の条件をトリガーとして開始される構成としてもよいし、担当者による明示の操作、例えばボタンの押下等をトリガーとして開始される構成としてもよい。
ここで、学習結果の配備とは、商品の特定に用いることができるよう、学習の結果に基づいて、同情報処理システムの、例えばディープラーニングのモデル等を更新する処理を指す。
上記の再学習処理は、例えば商品特定の失敗等の所定の条件をトリガーとして開始される構成としてもよいし、担当者による明示の操作、例えばボタンの押下等をトリガーとして開始される構成としてもよい。
【0124】
上記のようなディープラーニングの再学習処理によれば、ディープラーニングの再学習にかかる煩雑な作業を簡略化し人手を削減できると共に、商品の特定精度が向上し続ける情報処理システムを提供することができる。
【0125】
また、上述の実施形態において、移動体を人として認識する場合に適用される画像認識手法として、骨格推定の技術や顔認証技術を例示したが、この他、物体を商品として特定する場合、例えばＡＩを用いた物体認識、特徴点や特徴量を用いた物体認識、商品のロゴの形状認識、文字認識（ＡＩを用いた文字形状の認識、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を用いた文字の認識等）を採用することが可能である。
【0126】
また、画像認識手法に加えて上述した重量認識（重量センサを用いた物体の重量認識）の他に、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識（赤外線センサあるいは画像読み取り等によるバーコードやＱＲコード（登録商標）等のスキャン）、ＲＦＩＤ等の電子的に記録された識別情報の読み取りによる商品認識の１つ、又は複数の認識手法を組み合わせて、物体を商品としての特定することが可能である。この場合、各特定手法による物体の特定結果をスコア化し、その物体をスコアが最も高い商品であると推定すること等が可能である。
さらに、上記の重量認識、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識、電子的に記録された識別情報の読み取りによる商品認識等の特定手法は、画像認識手法と組み合わせずに、１つ、又は複数を組み合わせて、物体を商品として認識することが可能である。
さらに、上記の重量認識、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識、電子的に記録された識別情報の読み取りによる商品認識等の特定手法は、画像認識手法と組み合わせずに、１つ、又は複数を組み合わせて、物体を商品として認識することが可能である。
【0127】
上述の実施形態では、ゲート装置３１６ａ、３１６ｂに、フラッパー式のゲートを採用したが、特にこの方式に限定されない。即ち例えばホログラムで表示されるゲートが採用されてもよい。精算機４又は表示端末３１５ｂの夫々は、ゲート装置３１６ａ、３１６ｂへの例えば音声や光により人の通過の可否を報知してもよい。
【0128】
商品情報は、商品ＤＢ１３１において記憶され、リアルタイムに更新される。また商品情報は、店舗毎、複数店舗毎、レジ毎、あるいは日次毎、月次毎、年次毎に管理することができる。
【0129】
上述の実施形態では、各情報処理装置における記憶部はハードディスクやＤＲＡＭ等で構成されるとして説明したがこれに限定されない。例えばＳＳＤなどの外部記憶装置が用いられてもよい。
【0130】
上述の実施形態では、特定できなかった商品や間違った商品が商品リストに表示されている場合、移動体Ｍ１、Ｍ２はバーコードの読み取り等により商品リストの修正を試みてもよいと説明したが、移動体Ｍ１、Ｍ２は所持する全ての商品をバーコードの読み取りによって特定してもよい。
【0131】
上述の実施形態において、移動体Ｍ１、Ｍ２の発見には撮像画像に基づく状態空間モデルが採用されたが、この方法に限定されない。即ち例えば、３次元点群データ、２Ｄ画像、距離データ、温度データ、赤外線量、光データ等の各センシングデバイスから取得される各種データが移動体Ｍ１、Ｍ２の発見のために採用されてもよい。
【0132】
上述の実施形態においては、発見された移動体Ｍ１、Ｍ２を中心として変化のある領域を連続的に見つけることにより移動体Ｍ１、Ｍ２の領域を定義したが、特にこの方法に限定されない。即ち例えば、３次元点群データから移動体Ｍ１、Ｍ２を発見し、ＩＣＰアルゴリズムを用いて移動体Ｍ１、Ｍ２の位置座標を特定し、移動体領域を定義してもよい。
また移動体Ｍ１、Ｍ２が人である場合には、３次元点群データを初めとして２Ｄ画像、距離データ、温度データ、赤外線量、光データなどの各センシングから取得できるデータを用い、移動体Ｍ１、Ｍ２の領域を定義してもよい。またディープラーニングを併用することによって移動体Ｍ１、Ｍ２の領域を推定してもよい。
また移動体Ｍ１、Ｍ２が人である場合には、３次元点群データを初めとして２Ｄ画像、距離データ、温度データ、赤外線量、光データなどの各センシングから取得できるデータを用い、移動体Ｍ１、Ｍ２の領域を定義してもよい。またディープラーニングを併用することによって移動体Ｍ１、Ｍ２の領域を推定してもよい。
【0133】
上述の実施形態では、移動体Ｍ１、Ｍ２の追跡には、特徴データの収集による追跡やベイジアンフィルタ等の物体追跡の技術が採用されることを前提として説明したが、特にこれらの方法に限定されない。即ち例えば、位置情報の最適解を用いて移動体Ｍ１、Ｍ２を追跡してもよい。また時系列の位置情報をもとに、ノイズ判定のうえ、移動体Ｍ１、Ｍ２を推定し、追跡してもよい。
【0134】
上述の実施形態では、各天井カメラ３１０により撮像された撮像画像を合成することにより、各カメラが店舗内のどこを映しているのか、カメラの位置情報を定義したが、この方法に限定されない。即ち例えば、ＩＣＰアルゴリズムを用いた座標変換により、カメラごとの位置情報を店舗全体の（複数カメラを統合した）位置情報に座標変換して、カメラの位置情報を定義してもよい。
【0135】
また上述の実施形態において、移動体Ｍ１、Ｍ２から他の移動体Ｍ１、Ｍ２へ物体が受け渡される場合において、物体を受け渡す（される）前後のカゴやカートの中を、差分認識等を行うことにより認識し、商品を特定してもよい。
【0136】
上述の実施形態では、１台のカメラにて広範囲を撮影するため、撮影対象が映る鏡を天井に設置し、カメラから鏡に映った撮影対象を撮像する方法について説明したが、カメラの位置は壁に限定されない。例えば棚や天井等にカメラが設置されていてもよい。
【0137】
上述の実施形態においては、店員が所持する情報端末、あるいはバックヤードの画面等に店内売場の情報が表示されるものとして説明したが、店員が所持する情報端末やバックヤードの画面には、間違った棚に戻された商品が存在する（重量が減少していない棚の重量が増加した）、棚に配置されている重量センサによる重量の検出により商品が欠品している、又は補充が必要である等の情報を表示してもよい。
表示される端末はこれらに限定されない。インターネットに接続されることにより図示せぬサービス提供者、システム担当者等が所持する端末等に移動体Ｍ１、Ｍ２の位置情報が表示されてもよい。
表示される端末はこれらに限定されない。インターネットに接続されることにより図示せぬサービス提供者、システム担当者等が所持する端末等に移動体Ｍ１、Ｍ２の位置情報が表示されてもよい。
【0138】
上述の実施形態では、センシングデバイスとしてカメラを用いる場合、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により商品の候補をリストアップし、リストアップされた商品候補について、さらに別のリストとマッチングさせることにより検証し、商品を特定することを前提として説明したが、ここでいう検証は必ずしも必須の要素ではない。即ち、特定物体認識等の画像処理手法によりリストアップされた商品の候補を、特定された商品として扱ってもよい。
【0139】
上述の実施形態では、棚内から物体が持ち去られたタイミングで物体の入出が認識され、商品としての特定が試みられることを前提として説明したが、認識、特定のタイミングはこれに限定されず任意でよい。即ち例えば、棚内から物体が持ち去られると物体の入出が認識され、認識された物体と移動体Ｍ１、Ｍ２との紐付けがなされ、移動体Ｍ１、Ｍ２が精算エリア４５に進入したことをトリガーとして商品の特定がなされてもよい。これにより物体の入出が認識された後、商品として特定されるまでの間に時間的猶予ができるため、例えば複数手法により商品の特定をすることができるようになる等、商品の特定精度を向上させることができる。
【0140】
上述の実施形態では、画像認識により商品を特定できなかった場合には、目検者、オペレータの目視による確認や、バーコードの読み取り等により入力される必要情報と正解の商品画像とを紐付けて記録することでディープラーニングの学習処理を自動化できるが、正解のラベルとして採用できるのは商品画像に限定されない。即ち例えば、画像以外の商品を特定する情報（例えば重量センサでの認識結果）を正解として必要情報と紐付け、学習処理を実行してもよい。これによりディープラーニングの再学習処理の精度を向上させることができる。
【0141】
また、本発明は、上述のＣＰＵによる画像処理をＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）による処理としてもよい。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、図６及び図７に示した機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がシステムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図６及び図７の例に限定されず、任意でよい。
また、機能ブロック及びデータベースの存在場所は、図示されたものに限定されず、任意でよい。例えば、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合わせで構成してもよい。各機能ブロック及びデータベースの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、図６及び図７に示した機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がシステムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図６及び図７の例に限定されず、任意でよい。
また、機能ブロック及びデータベースの存在場所は、図示されたものに限定されず、任意でよい。例えば、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合わせで構成してもよい。各機能ブロック及びデータベースの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
【0142】
コンピュータは、専用のハードウェアに組み込まれるコンピュータであってもよいし、スマートフォンやパーソナルコンピュータであってもよい。またコンピュータは例えばクラウド上のサーバ等であってもよい。
【0143】
このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザ等に提供される記録媒体等で構成される。
【0144】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
【0145】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、情報処理システムは、
複数の物品が配置場所（棚ラック４３）に配置された所定領域（例えば店内売場等）の中を人（移動体Ｍ１、Ｍ２等の買い物客）が移動して、前記複数の物品のうち１以上の物品を前記所定領域（例えば店内売場等）の外に持ち出す際に利用される情報処理システムにおいて、
前記所定領域（店内売場）にＮ人（Ｎは２以上の整数値）が進入する前に(図１のゲート装置３１６ａ手前の入口エリア４０において)、当該Ｎ人が属する所定グループを作成するグループ作成手段（例えば図６の入口制御部３２０等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段（例えば図６の移動体追跡部３３０等）と、
１以上のセンシングデバイス（例えば重量センサ３１２及び光センサ３１１等）のうち少なくとも１つを用いる所定の手法（重量計測手法や光の遮蔽検出手法等）で、前記複数の物品のうち、前記配置場所（棚ラック４３）から取り出された物品とその個数の双方を特定する商品特定手段（例えば図６の棚商品認識部３６０の商品特定部３６０３（図７参照））と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人（特定された物品から最も近くにいる買い物客）若しくは所定グループ（その買い物客のグループ）とを紐付ける紐付け手段（例えば図６の紐付け部３６０４等）と、
前記所定グループに属する前記Ｎ人の全てが集合（出口のゲート装置手前の精算エリア４５内にグループの全ての人が進入）したか否かを判定する判定手段（例えば図６の売場装置３の出口制御部３７０等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件（グループの人が全員揃った、購入商品の精算処理を終えた、支払いを済ませた等の夫々の条件）を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域（店内売り場）の外に持ち出すことを許可する持出許可手段（例えば図６の売場装置３の出口制御部３７０等）と、
を備える。
これにより、コンビニエンスストア等の店舗において、複数の物品の処理（精算エリアにおける複数の商品の精算処理）にかかる時間を短縮することができる。
また、複数の客がグループで来店し店舗の棚に陳列されている商品を購入する際に、グループの夫々の客が持ち寄った商品の持ち出し条件(グループ全員が揃う等)を満たせば、グループで持ち出すことができるので、グループで来店する客の利便性を向上することができる。
さらに、グループで購入する商品を一括して精算できるので、レジ前に並ぶ客を効率よく退出してもらうことができ、混雑の緩和を図ることができる。
即ち、情報処理システムは、
複数の物品が配置場所（棚ラック４３）に配置された所定領域（例えば店内売場等）の中を人（移動体Ｍ１、Ｍ２等の買い物客）が移動して、前記複数の物品のうち１以上の物品を前記所定領域（例えば店内売場等）の外に持ち出す際に利用される情報処理システムにおいて、
前記所定領域（店内売場）にＮ人（Ｎは２以上の整数値）が進入する前に(図１のゲート装置３１６ａ手前の入口エリア４０において)、当該Ｎ人が属する所定グループを作成するグループ作成手段（例えば図６の入口制御部３２０等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段（例えば図６の移動体追跡部３３０等）と、
１以上のセンシングデバイス（例えば重量センサ３１２及び光センサ３１１等）のうち少なくとも１つを用いる所定の手法（重量計測手法や光の遮蔽検出手法等）で、前記複数の物品のうち、前記配置場所（棚ラック４３）から取り出された物品とその個数の双方を特定する商品特定手段（例えば図６の棚商品認識部３６０の商品特定部３６０３（図７参照））と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人（特定された物品から最も近くにいる買い物客）若しくは所定グループ（その買い物客のグループ）とを紐付ける紐付け手段（例えば図６の紐付け部３６０４等）と、
前記所定グループに属する前記Ｎ人の全てが集合（出口のゲート装置手前の精算エリア４５内にグループの全ての人が進入）したか否かを判定する判定手段（例えば図６の売場装置３の出口制御部３７０等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件（グループの人が全員揃った、購入商品の精算処理を終えた、支払いを済ませた等の夫々の条件）を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域（店内売り場）の外に持ち出すことを許可する持出許可手段（例えば図６の売場装置３の出口制御部３７０等）と、
を備える。
これにより、コンビニエンスストア等の店舗において、複数の物品の処理（精算エリアにおける複数の商品の精算処理）にかかる時間を短縮することができる。
また、複数の客がグループで来店し店舗の棚に陳列されている商品を購入する際に、グループの夫々の客が持ち寄った商品の持ち出し条件(グループ全員が揃う等)を満たせば、グループで持ち出すことができるので、グループで来店する客の利便性を向上することができる。
さらに、グループで購入する商品を一括して精算できるので、レジ前に並ぶ客を効率よく退出してもらうことができ、混雑の緩和を図ることができる。
【0146】
また情報処理システムは、
前記判定手段（例えば図６の売場装置３の出口制御部３７０等）は、前記所定領域（店内売場）内に予め指定された指定領域（例えば精算エリア４５等）に、前記所定グループに属する前記Ｎ人の全てが存在するか否かを、（例えば出口カメラ３１４により撮像された画像を基にＡＩが骨格推定する等して人を）認識することで、前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する。
これにより、グループの人がまとまった状態で、夫々の人が持ち寄った商品をグループ単位で一括して精算することができる。
なお、上記実施形態では、指定領域として、例えば精算エリア４５を例示したが、これは一例であり、実施形態のみに限定されず、例えば店内売場の天井カメラで撮像可能なエリアであれば、いかなる場所であってもよく、グループのＮ人全てが集合可能で場所であれば足りる。
前記判定手段（例えば図６の売場装置３の出口制御部３７０等）は、前記所定領域（店内売場）内に予め指定された指定領域（例えば精算エリア４５等）に、前記所定グループに属する前記Ｎ人の全てが存在するか否かを、（例えば出口カメラ３１４により撮像された画像を基にＡＩが骨格推定する等して人を）認識することで、前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する。
これにより、グループの人がまとまった状態で、夫々の人が持ち寄った商品をグループ単位で一括して精算することができる。
なお、上記実施形態では、指定領域として、例えば精算エリア４５を例示したが、これは一例であり、実施形態のみに限定されず、例えば店内売場の天井カメラで撮像可能なエリアであれば、いかなる場所であってもよく、グループのＮ人全てが集合可能で場所であれば足りる。
【0147】
前記複数の物品の夫々は商品であり、
情報処理システムは、前記第１条件（例えばグループの者全員が精算エリア４５に集合したという条件）を満たした場合、前記所定グループに属する前記Ｎ人のうち何れか又は前記所定グループと紐付けられた１以上の前記商品に関する精算の処理を行う精算手段（例えば図６の精算機４の精算部５３５等）、
をさらに備え、
前記１以上の条件は、前記精算の処理が完了したという第２条件をさらに含む。
これにより、グループの者全員が精算エリア４５に集合し、精算の処理が完了するだけで、グループの者全員がまとまって退店することができる。
情報処理システムは、前記第１条件（例えばグループの者全員が精算エリア４５に集合したという条件）を満たした場合、前記所定グループに属する前記Ｎ人のうち何れか又は前記所定グループと紐付けられた１以上の前記商品に関する精算の処理を行う精算手段（例えば図６の精算機４の精算部５３５等）、
をさらに備え、
前記１以上の条件は、前記精算の処理が完了したという第２条件をさらに含む。
これにより、グループの者全員が精算エリア４５に集合し、精算の処理が完了するだけで、グループの者全員がまとまって退店することができる。
【0148】
また情報処理システムにおいて、
前記グループ作成手段（例えば図６の入口制御部３２０等）は、所定デバイス（例えば表示端末３１５ａ等）に対して数値Ｎが入力されると、前記Ｎ人が属する前記所定グループを作成し、
前記追跡手段（例えば図６の移動体追跡部３３０等）は、前記所定グループが作成された後に前記所定領域（店内売場）の入口（例えば入口エリア４０等）に最初（間に他のグループの人を挟むことなく順）に進入したＮ人を、前記所定グループに属する前記Ｎ人として追跡を開始する。
これにより、入口で登録された所定グループの夫々の人が精算場所まで追跡されるので、グループの人（買い物客）を誤認することなく、夫々の人（買い物客）が持ち寄った商品をグループでまとめて確実に精算することができる。
前記グループ作成手段（例えば図６の入口制御部３２０等）は、所定デバイス（例えば表示端末３１５ａ等）に対して数値Ｎが入力されると、前記Ｎ人が属する前記所定グループを作成し、
前記追跡手段（例えば図６の移動体追跡部３３０等）は、前記所定グループが作成された後に前記所定領域（店内売場）の入口（例えば入口エリア４０等）に最初（間に他のグループの人を挟むことなく順）に進入したＮ人を、前記所定グループに属する前記Ｎ人として追跡を開始する。
これにより、入口で登録された所定グループの夫々の人が精算場所まで追跡されるので、グループの人（買い物客）を誤認することなく、夫々の人（買い物客）が持ち寄った商品をグループでまとめて確実に精算することができる。
【0149】
情報処理方法は、
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムが実行する情報処理方法において、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップ（例えば図８のステップＳ７０１等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップ（例えば図８のステップＳ７０４等）と、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップ（例えば図８のステップＳ７０７等）と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップ（例えば図８のステップＳ７０８等）と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップ（例えば図９のステップＳ７１１等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップ（例えば図９のステップＳ７１８等）と、
を含むことができる。
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムが実行する情報処理方法において、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップ（例えば図８のステップＳ７０１等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップ（例えば図８のステップＳ７０４等）と、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップ（例えば図８のステップＳ７０７等）と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップ（例えば図８のステップＳ７０８等）と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップ（例えば図９のステップＳ７１１等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップ（例えば図９のステップＳ７１８等）と、
を含むことができる。
【0150】
プログラムは、
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用されるコンピュータに、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップ（例えば図８のステップＳ７０１等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップ（例えば図８のステップＳ７０４等）と、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップ（例えば図８のステップＳ７０７等）と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップ（例えば図８のステップＳ７０８等）と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップ（例えば図９のステップＳ７１１等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップ（例えば図９のステップＳ７１８等）と、
を含む制御処理を実行させることができる。
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用されるコンピュータに、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップ（例えば図８のステップＳ７０１等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップ（例えば図８のステップＳ７０４等）と、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップ（例えば図８のステップＳ７０７等）と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップ（例えば図８のステップＳ７０８等）と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップ（例えば図９のステップＳ７１１等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップ（例えば図９のステップＳ７１８等）と、
を含む制御処理を実行させることができる。
【符号の説明】
【0151】
１・・・サーバ、３・・・売場装置、４・・・精算機、３９・・・店舗、４０・・・入口エリア、４３・・・棚ラック、４４・・・通路、４５・・・精算エリア、１０１，３０１，４０１，５０１・・・ＣＰＵ、１０８・・・記憶部、１０９，３１７，５０９・・・通信部、１３１・・・商品ＤＢ、１４１・・・ＤＢ管理部、３１０・・・天井カメラ、３１１・・・光センサ、３１２・・・重量センサ、３３０・・・移動体追跡部、３４０・・・位置情報管理部、３６０・・・棚商品認識部、３６０２・・・検出部、３６０３・・・商品特定部、３６０４・・・紐付け部、３６０５・・・商品リスト管理部、Ｍ１、Ｍ２・・・移動体（買い物客）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】