(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-22
(45)【発行日】2022-12-01
(54)【発明の名称】商品決済システム、商品運搬カート及び商品決済方法
(51)【国際特許分類】
G07G 1/00 20060101AFI20221124BHJP
【ＦＩ】
G07G1/00 311D
【請求項の数】
9
(21)【出願番号】P 2018211062
(22)【出願日】2018-11-09
(65)【公開番号】P2020077275
(43)【公開日】2020-05-21
【審査請求日】2021-06-08
(73)【特許権者】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100114306
【弁理士】
【氏名又は名称】中辻 史郎
(74)【代理人】
【識別番号】100148655
【弁理士】
【氏名又は名称】諏訪 淳一
(72)【発明者】
【氏名】盛脇 荘太郎
(72)【発明者】
【氏名】大野 奈津美
(72)【発明者】
【氏名】笠原 拓
(72)【発明者】
【氏名】森下 遥
【審査官】塩澤 正和
(56)【参考文献】
【文献】特開２０１８－１４７２５２（ＪＰ，Ａ）
【文献】特開２０１０－２８０４６８（ＪＰ，Ａ）
【文献】特開２０１７－１５７２１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０７Ｇ １／００ － ５／００
(57)【特許請求の範囲】
【請求項1】
利用者が購入対象の商品の運搬に用いる商品運搬カートに載せた商品を認識する商品認識手段と、前記利用者が前記商品を前記商品運搬カートに載せる動作、及び、前記動作にともなう前記商品の載置棚における前記商品の数の変化を画像処理により認識する状態認識手段と、
前記商品認識手段が前記商品を認識できた場合、認識できた商品を購入対象の商品として特定し、前記商品認識手段が前記商品を認識できなかった場合、前記状態認識手段が数の変化を認識した購入対象の商品を特定する購入対象商品特定手段と、
前記購入対象商品特定手段により特定された商品の決済を行う決済処理手段と
を備えたことを特徴とする商品決済システム。
【請求項2】
前記状態認識手段は、前記利用者が前記商品運搬カートに載せた商品を取り出して戻す動作を画像処理により認識することを特徴とする請求項１に記載の商品決済システム。
【請求項3】
前記商品認識手段は、前記商品を画像処理により認識することを特徴とする請求項１又は２に記載の商品決済システム。
【請求項4】
前記商品認識手段は、予め生成された学習済みモデルに前記商品の画像を入力して前記商品の認識を行うことを特徴とする請求項３に記載の商品決済システム。
【請求項5】
前記商品認識手段は、前記商品に付された識別情報を取得した場合には、該識別情報をさらに用いて前記商品の認識を行うことを特徴とする請求項３又は４に記載の商品決済システム。
【請求項6】
前記購入対象商品特定手段を前記商品運搬カートに設けたことを特徴とする請求項１～５のいずれか一つに記載の商品決済システム。
【請求項7】
前記決済処理手段を前記商品運搬カートに設けたことを特徴とする請求項１～６のいずれか一つに記載の商品決済システム。
【請求項8】
利用者が購入対象の商品の運搬に用いる商品運搬カートであって、前記利用者により載せられた商品を認識する商品認識手段と、
前記利用者が前記商品を前記商品運搬カートに載せる動作、及び、前記動作にともなう前記商品の載置棚における前記商品の数の変化を画像処理により認識する状態認識手段と、
前記商品認識手段が前記商品を認識できた場合、認識できた商品を購入対象の商品として特定し、前記商品認識手段が前記商品を認識できなかった場合、前記状態認識手段が数の変化を認識した購入対象の商品を特定する購入対象商品特定手段と、
前記購入対象商品特定手段により特定された商品の決済を行う決済処理手段と
を備えたことを特徴とする商品運搬カート。
【請求項9】
利用者が購入対象の商品の運搬に用いる商品運搬カートに載せた商品を認識する商品認識ステップと、前記利用者が前記商品を前記商品運搬カートに載せる動作、及び、前記動作にともなう前記商品の載置棚における前記商品の数の変化を画像処理により認識する状態認識ステップと、
前記商品認識ステップにより前記商品を認識できた場合、認識できた商品を購入対象の商品として特定し、前記商品認識ステップにより前記商品を認識できなかった場合、前記状態認識ステップが数の変化を認識した購入対象の商品を特定する購入対象商品特定ステップと、
前記購入対象商品特定ステップにより特定された商品の決済を行う決済処理ステップと
を含むことを特徴とする商品決済方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、商品の決済を行う商品決済システム、利用者が購入対象の商品の運搬に用いる商品運搬カート及び商品決済方法に関する。
【背景技術】
【0002】
従来、スーパーマーケット等の店舗で商品の販売を行なう場合には、利用者である買い物客が購入対象の商品を買い物カゴや商品運搬カートに入れ、店員がＰＯＳ（Point Of Sale）レジスタを操作することで購入対象の商品の登録と精算とを行なっていた。
【0003】
このように商品の登録と精算とをＰＯＳレジスタで行なうこととすると、顧客の待ち時間が長くなる。そこで、利用者が選択した商品を識別して事前に登録することで、商品の決済を効率化する技術が考えられている。
【0004】
例えば、特許文献１は、店舗内を移動する買い物客やカゴ類等の移動物体を発見し、当該移動物体を領域定義し、移動物体の移動を追跡しながら撮像するとともに、棚内の状態を常時撮像し、棚内から物体が取り出された前後の撮像画像を比較し、認識される対象の商品を撮像画像から領域定義し、当該定義された画像領域から商品を特定して、精算対象とするシステムを開示している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１７－１５７２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記に代表される従来の技術では、商品を精度良く特定することができず、決済の効率化が実現できないケースが多いという問題点があった。例えば、上記の特許文献１に係るシステムでは、商品棚の近傍に複数の買い物カゴが存在する場合にどの買い物カゴに商品が入ったかを識別することができない。
【0007】
これらのことから、利用者が選択した商品を精度良く特定し、商品の決済を効率化することが重要な課題となっていた。
【0008】
本発明は、上述した課題を解決するためになされたものであって、利用者が選択した商品を精度良く特定し、商品の決済を効率化することのできる商品決済システム、商品運搬カート及び商品決済方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した課題を解決し、目的を達成するため、本発明は、利用者が購入対象の商品の運搬に用いる商品運搬カートに載せた商品を認識する商品認識手段と、前記利用者が前記商品を前記商品運搬カートに載せる動作、及び、前記動作にともなう前記商品の載置棚における前記商品の数の変化を画像処理により認識する状態認識手段と、前記商品認識手段が前記商品を認識できた場合、認識できた商品を購入対象の商品として特定し、前記商品認識手段が前記商品を認識できなかった場合、前記状態認識手段が数の変化を認識した購入対象の商品を特定する購入対象商品特定手段と、前記購入対象商品特定手段により特定された商品の決済を行う決済処理手段とを備えたことを特徴とする。
【0012】
また、本発明は、上記発明において、前記状態認識手段は、前記利用者が前記商品運搬カートに載せた商品を取り出して戻す動作を画像処理により認識することを特徴とする。
【0013】
また、本発明は、上記発明において、前記商品認識手段は、前記商品を画像処理により認識することを特徴とする。
【0014】
また、本発明は、上記発明において、前記商品認識手段は、予め生成された学習済みモデルに前記商品の画像を入力して前記商品の認識を行うことを特徴とする。
【0015】
また、本発明は、上記発明において、前記商品認識手段は、前記商品に付された識別情報を取得した場合には、該識別情報をさらに用いて前記商品の認識を行うことを特徴とする。
【0016】
また、本発明は、上記発明において、前記購入対象商品特定手段を前記商品運搬カートに設けたことを特徴とする。
【0017】
また、本発明は、上記発明において、前記決済処理手段を前記商品運搬カートに設けたことを特徴とする。
【0018】
また、本発明は、利用者が購入対象の商品の運搬に用いる商品運搬カートであって、前記利用者により載せられた商品を認識する商品認識手段と、前記利用者が前記商品を前記商品運搬カートに載せる動作、及び、前記動作にともなう前記商品の載置棚における前記商品の数の変化を画像処理により認識する状態認識手段と、前記商品認識手段が前記商品を認識できた場合、認識できた商品を購入対象の商品として特定し、前記商品認識手段が前記商品を認識できなかった場合、前記状態認識手段が数の変化を認識した購入対象の商品を特定する購入対象商品特定手段と、前記購入対象商品特定手段により特定された商品の決済を行う決済処理手段とを備えたことを特徴とする。
【0019】
また、本発明は、利用者が購入対象の商品の運搬に用いる商品運搬カートに載せた商品を認識する商品認識ステップと、前記利用者が前記商品を前記商品運搬カートに載せる動作、及び、前記動作にともなう前記商品の載置棚における前記商品の数の変化を画像処理により認識する状態認識ステップと、前記商品認識ステップにより前記商品を認識できた場合、認識できた商品を購入対象の商品として特定し、前記商品認識ステップにより前記商品を認識できなかった場合、前記状態認識ステップが数の変化を認識した購入対象の商品を特定する購入対象商品特定ステップと、前記購入対象商品特定ステップにより特定された商品の決済を行う決済処理ステップとを含むことを特徴とする。
【発明の効果】
【0020】
本発明によれば、利用者が選択した商品を精度良く特定し、商品の決済を効率化することができる。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下に、添付図面を参照して、本発明に係る商品決済システム、商品運搬カート及び商品決済方法の好適な実施例を詳細に説明する。
【実施例】
【0023】
まず、本実施例に係る商品決済システムの概念について説明する。図１は、本実施例に係る商品決済システムの概念の説明図である。本実施例では、商品を商品棚に陳列しており、利用者である買い物客は、商品運搬カート１０に購入対象の商品を入れて運搬する。
【0024】
商品運搬カート１０は、いわゆるショッピングカートであり、商品を入れるカゴ部と、利用者が把持するハンドル部と、車輪（キャスター）とを備える。さらに、商品運搬カート１０は、利用者がカゴ部に載せた商品を撮像し、商品の認識を行うための商品認識カメラと、周辺を撮像して状態を認識するための状態認識カメラとを備える。
【0025】
商品運搬カート１０は、商品認識カメラにより撮像された商品の画像に対して画像処理を行い、外見的特徴に基づいて商品の認識を行う。また、バードコードなど、商品の特定に寄与する識別情報が画像に含まれていれば、識別情報を読み取って商品の認識に用いてもよい。
【0026】
しかし、スーパーマーケット等の店舗は、多数の商品を取り扱うため、外見的特徴が類似する商品も多く、画像から商品を一意に特定することは困難である。そこで、商品運搬カート１０は、周辺の状態の認識結果をさらに用いて、利用者がカゴ部に入れた商品、すなわち購入対象商品の特定を行う。
【0027】
具体的には、商品運搬カート１０は、状態認識カメラにより利用者の顔、近傍の商品棚、利用者の動作、周囲の人物などを撮像する。利用者の顔の撮像結果は、利用者の認証などに用いることができる。近傍の商品棚の撮像結果は、どの商品を陳列した棚であるかを特定するために用いることができる。さらに、商品棚を連続して撮像した複数の画像を比較することで、商品棚からの商品の取り出しや、商品棚への商品の戻しを検知することができる。利用者の動作は、利用者による商品の取り出しや、商品棚への商品の戻しの検知に使用できる。周辺の人物の撮像結果は、利用者以外の第三者により行われたカゴ部への商品の追加や、カゴ部からの商品の抜き取りの検知に用いることができる。
【0028】
商品運搬カート１０は、商品認識の結果と状態認識の結果とを用いて購入対象商品を特定すると、購入対象商品の決済処理を行う。商品運搬カート１０は、カードリーダなどによりペイメントカード（クレジットカード、プリペイドカード、キャッシュカード）を読み取って、決済処理を行う機能を有する。また、顔認証によって利用者を識別して決済処理を行うことも可能である。この他、商品運搬カート１０が特定した購入対象商品を近傍の装置に送信して決済処理を行わせることもできる。
【0029】
このように、商品運搬カート１０は、利用者が載せた商品を認識するとともに周辺の状態を認識し、商品の認識結果と状態の認識結果とを用いて購入対象の商品を特定し、特定した商品の決済を行う。このため、利用者が選択した商品を精度良く特定し、商品の決済を効率化することができる。
【0030】
【0031】
複数の商品棚は、利用者が商品運搬カート１０を押しながら通行可能な通路を形成するよう配置される。入店した利用者は、カート置き場から商品運搬カート１０の貸出をうけ、通路を移動しつつ所望の商品をカゴ部に入れる。その後、選択した商品の決済と商品運搬カート１０の返却とを行って退店する。
【0032】
ここで、利用者が商品運搬カート１０の決済機能を用いて決済処理を行ったならば、有人レジエリアやセルフレジエリアに立ち寄ることなく退店することができる。しかし、商品運搬カート１０で決済処理を行うためには、利用者が選択した商品を全て特定できていることと、ペイメントカードや顔認証による決済が可能であることが条件となる。
【0033】
特定できていない商品が含まれている可能性がある場合には、商品運搬カート１０は利用者を有人レジエリアに誘導し、店員による商品の特定と決済とを行わせる。
【0034】
利用者が選択した商品を購入対象商品として全て特定できているが、ペイメントカードや顔認証による決済ができない場合には、セルフレジエリアで決済処理を行う。商品運搬カート１０は、セルフレジエリアに設置された決済用のレジ端末装置に購入対象商品を通知する。したがって、セルフレジエリアで決済処理を行う場合には、商品の登録操作は不要となり、決済処理のみを行えばよい。
【0035】
次に、商品決済システムのシステム構成について説明する。図３は、商品決済システムのシステム構成図である。図３に示す商品決済システムでは、商品運搬カート１０が店舗管理サーバ２０と無線通信により通信可能である。また、店舗管理サーバ２０は、レジ端末装置３０、店内カメラ４０及びバックヤード端末装置５０と通信可能に接続される。
【0036】
商品運搬カート１０は、既に説明したように、商品認識カメラと状態認識カメラとを備え、商品の認識処理、状態の認識処理、購入対象商品の特定処理、決済処理などが可能である。また、商品運搬カート１０は、各種処理の結果などを店舗管理サーバ２０に送信することができる。さらに、商品運搬カート１０は、特定した購入対象商品をレジ端末装置３０に送信することができる。
【0037】
レジ端末装置３０は、有人レジエリアやセルフレジエリアに設置される端末装置である。有人レジエリアに設置されるレジ端末装置３０は、商品の登録処理と決済処理とが可能であり、店員により操作される。セルフレジエリアに設置されるレジ端末装置３０は、商品運搬カート１０が特定した購入対象商品を受信し、決済処理を行う装置であり、利用者により操作される。また、有人レジエリアやセルフレジエリアに設置されたレジ端末装置３０は、各種処理の結果などを店舗管理サーバ２０に送信することができる。
【0038】
店内カメラ４０は、店舗の各所に適宜設置され、利用者と商品棚とを撮像し、店舗管理サーバ２０に送信する。バックヤード端末装置５０は、店員がバックヤードで操作する端末装置であり、店内カメラ４０が撮像した画像の表示などを行うことができる。
【0039】
店舗管理サーバ２０は、店舗全体の管理を行う装置である。具体的には、店舗管理サーバ２０は、店舗の在庫、販売実績、売上、店員の勤務状態などを管理する。さらに、店舗管理サーバ２０は、商品運搬カート１０による各種処理の結果、レジ端末装置３０による各種処理の結果、店内カメラ４０による撮像の結果などを管理する。
【0040】
次に、商品運搬カート１０の機能構成について説明する。図４は、商品運搬カート１０の機能構成を示す機能ブロック図である。図４に示すように、商品運搬カート１０は、商品認識カメラ１１、状態認識カメラ１２、通信部１３、カードリーダライタ１４、記憶部１５及び制御部１６を有する。
【0041】
商品認識カメラ１１は、利用者がカゴ部に載せた商品を撮像し、撮像結果を制御部１６に出力する。状態認識カメラ１２は、周辺を撮像し、撮像結果を制御部１６に出力する。通信部１３は、店舗管理サーバ２０やレジ端末装置３０との通信を行う通信インタフェースである。カードリーダライタ１４は、利用者を識別するためのユーザカードや、決済に用いるペイメントカード（クレジットカード、プリペイドカード、キャッシュカード等）を受け付けてデータの読み書きを行うデバイスである。
【0042】
記憶部１５は、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスであり、学習済モデル１５ａ、商品データ１５ｂ、決済履歴データ１５ｃなどを記憶する。学習済モデル１５ａは、学習用の商品画像を用い、教師有りの機械学習を行うことで、商品を識別するよう調整された多層ニューラルネットワークの構造とパラメータを示すデータである。商品データ１５ｂは、利用者がカゴ部に入れた商品である購入対象商品を示す。決済履歴データ１５ｃは、商品運搬カート１０が行った決済処理の履歴を示すデータである。
【0043】
制御部１６は、商品運搬カート１０の全体を制御する制御部であり、商品認識部１６ａ、状態認識部１６ｂ、購入対象商品特定部１６ｃ及び決済処理部１６ｄを有する。
【0044】
商品認識部１６ａは、商品認識カメラ１１により撮像された商品の画像に対して画像処理を行い、外見的特徴に基づいて商品の認識を行う。具体的には、商品認識部１６ａは、商品の画像を学習済モデル１５ａに入力する。学習済モデル１５ａは、入力された画像から商品の外見的特徴を抽出し、該当する商品を識別結果として出力する。もしくは、入力された画像から商品を一意に識別できない場合には、識別結果は、「不明」となる。
【0045】
また、商品認識部１６ａは、バーコードなど、商品の特定に寄与する識別情報が画像に含まれていれば、識別情報を読み取って商品の認識に用いる。
【0046】
状態認識部１６ｂは、状態認識カメラ１２による撮像結果を用い、周辺の状態を認識する処理を行う。状態認識カメラ１２は、利用者の顔、近傍の商品棚、利用者の動作、周囲の人物などを撮像している。利用者の顔の撮像結果は、利用者の認証などに用いることができる。近傍の商品棚の撮像結果は、どの商品を陳列した棚であるかを特定するために用いることができる。さらに、商品棚を連続して撮像した複数の画像を比較することで、商品棚からの商品の取り出しや、商品棚への商品の戻しを検知することができる。利用者の動作は、利用者による商品の取り出しや、商品棚への商品の戻しの検知に使用できる。周辺の人物の撮像結果は、利用者以外の第三者により行われたカゴ部への商品の追加や、カゴ部からの商品の抜き取りの検知に用いることができる。
【0047】
購入対象商品特定部１６ｃは、商品認識部１６ａによる認識結果と状態認識部１６ｂによる認識結果とを用いて購入対象商品を特定する処理を行う。具体的には、商品認識部１６ａが商品を識別したならば、識別した商品を購入対象商品として商品データ１５ｂに追加する。
【0048】
また、商品認識部１６ａによる認識結果が「不明」であっても、利用者が商品を商品運搬カートに載せる動作を認識し、その前後で商品棚の商品が減っていれば、商品棚に陳列されていた商品を購入対象商品として商品データ１５ｂに追加する。また、利用者が商品を商品運搬カートに載せる動作を認識し、その前後で商品棚の商品が減っていれば、商品棚に陳列されていた商品を購入対象商品として商品データ１５ｂに追加する。
【0049】
また、利用者が商品運搬カートから商品を取り出して戻す動作を認識したならば、その前後で商品棚の商品が増加していれば、商品データ１５ｂから該当する商品を選択し、削除する。
【0050】
購入対象商品特定部１６ｃは、商品認識部１６ａによる認識結果と状態認識部１６ｂによる認識結果とを用いても特定できない商品が存在する場合には、「有人レジ誘導フラグ」をセットする。このフラグは、選択可能な決済方法に影響を与える。
【0051】
また、利用者以外の第三者により行われたカゴ部への商品の追加や、カゴ部からの商品の抜き取りを検知した場合にも、購入対象商品特定部１６ｃは、「有人レジ誘導フラグ」をセットする。利用者が意図しない商品が含まれていたり、商品が不足しているなど、購入対象商品に過不足が生じている可能性があるため、有人レジエリアで商品の特定を改めて行うことが望ましいからである。なお、第三者による商品の追加や抜き取りを検知した時点で、利用者に報知を行う構成としてもよい。また、第三者による商品の追加や抜き取りに関するデータをレジ端末装置３０や店舗管理サーバ２０に送信することも可能である。
【0052】
決済処理部１６ｄは、購入対象商品特定部１６ｃにより特定された購入対象商品の決済処理を行う。決済処理部１６ｄは、利用者が選択した商品を全て特定できており、かつペイメントカードや顔認証による決済が可能であることを条件に、ペイメントカードや顔認証による決済を許可する。例えば、ユーザカードの読取や顔画像の認証によって利用者を認証済みであり、ペイメントカードや顔認証による決済を許可する設定がなされていれば、ペイメントカードや顔認証による決済が可能となる。
【0053】
決済処理部１６ｄは、ペイメントカードや顔認証による決済処理を行った場合には、決済完了を利用者に報知し、決済の内容を決済履歴データ１５ｃに追加するとともに店舗管理サーバ２０に送信し、商品データ１５ｂをクリアする。
【0054】
一方、特定できていない商品が含まれている可能性がある場合には、決済処理部１６ｄは、利用者を有人レジエリアに誘導する報知を行い、店員による商品の特定と決済とを行わせる。この場合には、有人レジでの決済完了時に、商品データ１５ｂをクリアし、有人レジ誘導フラグをリセットする。
【0055】
また、利用者が選択した商品を購入対象商品として全て特定できているが、ペイメントカードや顔認証による決済ができない場合には、決済処理部１６ｄは、セルフレジエリアで決済処理を行う。決済処理部１６ｄは、セルフレジエリアに設置された決済用のレジ端末装置３０に商品データ１５ｂを送信する。そして、レジ端末装置３０での決済完了時に、商品データ１５ｂをクリアする。
【0056】
次に、商品運搬カート１０の処理手順について説明する。図５は、商品運搬カート１０の処理手順を示すフローチャートである。処理が開始されると、まず、商品運搬カート１０の状態認識部１６ｂは、利用者の認証を行う（ステップＳ１０１）。この利用者の認証は、状態認識カメラ１２により撮像された利用者の顔画像を用いた顔認証や、カードリーダライタ１４によるユーザカードの読取りにより行う。
【0057】
その後、購入対象商品特定部１６ｃが購入商品特定処理を行い（ステップＳ１０２）、決済処理部１６ｄは決済開始の操作を受け付けたか否かを判定する（ステップＳ１０３）、決済開始の操作を受け付けていなければ（ステップＳ１０３；Ｎｏ）、ステップＳ１０２に移行し、購入商品特定処理を繰り返す。
【0058】
決済開始の操作を受け付けたならば（ステップＳ１０３；Ｙｅｓ）、決済処理部１６ｄが決済処理を実行し（ステップＳ１０４）、処理を終了する。
【0059】
図６は、図５に示した購入対象商品特定処理の詳細を示すフローチャートである。購入対象商品特定処理が開始されると、購入対象商品特定部１６ｃは、商品の追加や取出しが行われたか否かを判定する（ステップＳ２０１）。具体的には、商品認識部１６ａが商品の増加を検知した場合や、状態認識部１６ｂが商品をカゴ部に入れる動作を認識した場合に、「商品の追加」と判定する。同様に、商品認識部１６ａが商品の減少を検知した場合や、状態認識部１６ｂが商品を商品棚に戻す動作を認識した場合に、「商品の取出し」と判定する。
【0060】
商品の追加や取出しを検知していなければ（ステップＳ２０１；Ｎｏ）、そのまま元の処理に戻る。一方、商品の追加又は取出しを検知したならば（ステップＳ２０１；Ｙｅｓ）、商品認識部１６ａが商品の認識を行い（ステップＳ２０２）、状態認識部１６ｂが状態の認識を行う（ステップＳ２０３）。
【0061】
商品の認識と状態の認識のいずれでも商品を特定できなければ（ステップＳ２０４；Ｎｏ）、購入対象商品特定部１６ｃは、詳細チェックを実行する（ステップＳ２０６）。この詳細チェックは、例えば店舗管理サーバ２０に詳細チェック依頼を送信し、店舗管理サーバ２０が店内カメラ４０による撮像結果を画像処理して商品を特定し、商品運搬カート１０に通知することで行えばよい。または、店舗管理サーバ２０が詳細チェック依頼を受信した場合に、担当の店員がバックヤード端末装置５０を操作して店内カメラ４０の撮像結果を確認して商品を特定し、商品運搬カート１０に通知してもよい。
【0062】
詳細チェックでも商品を特定できなければ（ステップＳ２０７；Ｎｏ）、購入対象商品特定部１６ｃは、有人レジ誘導フラグをセットして（ステップＳ２０８）、元の処理に戻る。
【0063】
商品の認識又は状態の認識から商品を特定できた場合（ステップＳ２０４；Ｙｅｓ）、若しくは詳細チェックにより商品を特定できた場合（ステップＳ２０７；Ｙｅｓ）、購入対象商品特定部１６ｃは、特定された商品の追加又は削除を行って商品データ１５ｂを更新し（ステップＳ２０５）、元の処理に戻る。
【0064】
図７は、図５に示した決済処理の詳細を示すフローチャートである。決済処理部１６ｄは、決済処理を開始すると、まず、有人レジ誘導フラグがセットされているか否かを判定する（ステップＳ３０１）。有人レジ誘導フラグがセットされていれば、決済処理部１６ｄは、利用者を有人レジに誘導する報知を行う（ステップＳ３０８）。そして、有人レジエリアのレジ端末装置３０に商品データ１５ｂを送信する（ステップＳ３０７）。
【0065】
有人レジ誘導フラグがセットされていなければ（ステップＳ３０１；Ｎｏ）、決済処理部１６ｄはカート決済（ペイメントカード又は顔認証による決済）が可能であるか否かを判定する（ステップＳ３０２）。カート決済ができなければ（ステップＳ３０６；Ｎｏ）、決済処理部１６ｄは、利用者をセルフレジに誘導する報知を行う（ステップＳ３０６）。その後、セルフレジエリア又は有人レジエリアのレジ端末装置３０に商品データ１５ｂを送信する（ステップＳ３０７）。
【0066】
また、カート決済が可能である（ステップＳ３０２；Ｙｅｓ）が、カート決済を選択されなかったならば（ステップＳ３０３；Ｎｏ）、セルフレジエリア又は有人レジエリアのレジ端末装置３０に商品データ１５ｂを送信する（ステップＳ３０７）。
【0067】
カート決済が可能であり（ステップＳ３０２；Ｙｅｓ）、カート決済を選択されたならば（ステップＳ３０３；Ｙｅｓ）、決済処理部１６ｄは、ペイメントカードや顔認証による決済を実行する（ステップＳ３０４）。
【0068】
ステップＳ３０４又はステップＳ３０７の後、決済処理部１６ｄは決済を終了し（ステップＳ３０５）、元の処理に戻る。
【0069】
次に、各種処理のバリエーションについて説明する。図８は、各種処理のバリエーションについての説明図である。まず、商品認識を行う方法としては、深層学習による識別や、バーコード等の識別情報の読取を用いることができる。また、状態認識では、商品棚の状態と変化、利用者の動作（商品を取る、戻す）、利用者の顔、利用者の位置、周囲の人物と動作などを認識することができる。なお、利用者の位置は、例えば周囲の状況から推測することができる。利用者の位置を推測することで、利用者がどの商品カテゴリのエリアに居るのかが分かり、商品の画像認識の候補を絞り込むことが可能となる。
【0070】
また、購入対象商品の特定は、商品運搬カート１０で行ってもよいし、外部の装置、例えば店舗管理サーバ２０に依頼して行わせてもよい。また、決済は、商品運搬カート１０で顔認証による決済を行う、商品運搬カート１０でペイメントカードによる決済を行う、レジ端末装置３０に決済を依頼する、などのバリエーションがある。
【0071】
ここで、深層学習を用いた学習済モデルについて説明する。図９は、学習済モデルの構造についての説明図である。図９に示すように、学習済モデルは、入力層、複数の中間層、出力層を有する多層ニューラルネットワークである。入力層に存在する複数の入力ノードは、例えば商品の画像が有する複数の画素に対応し、画素値が入力ノードへの入力値となる。出力層は、商品の識別結果に対応し、識別結果毎に１つの出力ノードが与えられる。
【0072】
中間層に含まれる中間ノードは、それぞれ前後の層のノードと接続しており、このノード間接続のパラメータが学習処理によって最適化されている。そして、入力層に商品の画像が入力されると、入力値とノード間接続のパラメータに基づいて、各出力ノードの値が求められる。出力ノードの値は、その出力ノードに割り当てられた識別結果の特徴の強さを示す。そして、複数の出力ノードにより示された各々の識別結果の特徴の強さを比較し、特定の識別結果の特徴が他の識別結果の特徴よりも充分に強く現れているならば、その識別結果を出力する。
【0073】
これまでの説明では、商品棚に陳列された現物の商品を購入する場合を例に説明を行ったが、ネット店舗の商品を購入し、現物の商品とともに決済することも可能である。図１０は、現物の商品とネット店舗の商品の購入についての説明図である。図１０では、商品棚には、ネット店舗の商品見本としての説明画像と二次元コードとが展示されている。
【0074】
利用者が商品運搬カート１０に紐付けられた端末装置で二次元コードを撮像すると、商品運搬カート１０は、二次元コードを読取り、対応する商品をネット店舗の商品を商品データ１５ｂに追加する。
【0075】
従って、商品データ１５ｂの決済を行うと、カゴ部に入った現物の商品分の金額とネット店舗の商品分の金額との合計が決済金額となる。カゴ部に入った現物の商品は、そのまま利用者に渡され、ネット店舗の商品は後日配送する。配送先は、例えば利用者が予め登録しておくことも可能である。
【0076】
図１１は、店舗管理サーバ２０が管理するデータの利用例についての説明図である。店舗管理サーバ２０は、事業者に関する情報を事業者テーブルとして管理し、消費者に関する情報を消費者テーブルとして管理する。さらに、消費者について個人カスタマイズ情報を管理することができる。
【0077】
事業者テーブルは、商品別の販売情報、仕入れ情報などのリストであり、販売の優先度、仕入れ値、売値、利益率、在庫数などが含まれる。消費者テーブルは、消費者の個人別の所有物品を示す。消費者の個人別の所有物品は、購入の実績と消費期限などから推定することができる。個人カスタマイズ情報は、個人に紐付けられた属性情報であり、好き嫌いなどの嗜好、アレルギー、家族構成、購入履歴、献立の履歴などを含む。
【0078】
店舗管理サーバ２０はこれらの情報を用い、消費者の需要と事業者の供給を精度良く分析し、双方を高いレベルで満たす提案を行うことができる。具体的には、消費者向けには商品の提案や献立の提案を行い、事業者向けには仕入れ、品出しの提案を行う。
【0079】
例えば、事業者にとって売りたい商品（在庫が十分で利益率の高い商品）を、必要とする消費者に提示したり、売りたい商品を使って消費者の属性に適合する献立を提案することができる。また、消費者の所有物品から購入対象商品を予測し、店舗への仕入れや品出しに反映させるよう提案を行うことができる。
【0080】
上述してきたように、本実施例では、商品運搬カート１０は、利用者が載せた商品を認識するとともに周辺の状態を認識し、商品の認識結果と状態の認識結果とを用いて購入対象の商品を特定し、特定した商品の決済を行う。このため、利用者が選択した商品を精度良く特定し、商品の決済を効率化することができる。
【0081】
具体的には、商品運搬カート１０は、画像処理を用い、周囲における商品の配置、利用者が商品を商品運搬カートに載せる動作、商品運搬カートに載せた商品を取り出して戻す動作などを認識することができる。
【0082】
また、商品運搬カート１０は、商品を画像処理により認識することができる。画像処理による認識は、例えば、予め生成された学習済みモデルに商品の画像を入力することで行う。また、商品に付された識別情報を取得した場合には、該識別情報をさらに用いて商品の認識を行う。
【0083】
なお、本実施例では、購入対象商品の特定を商品運搬カート１０が行なう構成を例示したが、購入対象商品の特定を外部の装置（例えば店舗管理サーバ２０）が行う構成としてもよい。
【0084】
また、本実施例では、購入対象商品の決済を商品運搬カート１０が行なう構成を例示したが、購入対象商品の決済を外部の装置（例えばレジ端末装置３０）が行う構成としてもよい。
【0085】
また、本実施例では、商品認識カメラ１１と状態認識カメラ１２とをそれぞれ設ける構成を例示したが、１つのカメラを商品認識と状態認識に共用する構成としてもよい。
【0086】
また、図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【産業上の利用可能性】
【0087】
以上のように、本発明に係る商品決済システム、商品運搬カート及び商品決済方法は、利用者が選択した商品を精度良く特定し、商品の決済を効率化することに適している。
【符号の説明】
【0088】
１０ 商品運搬カート
１１ 商品認識カメラ
１２ 状態認識カメラ
１３ 通信部
１４ カードリーダライタ
１５ 記憶部
１５ａ 学習済モデル
１５ｂ 商品データ
１５ｃ 決済履歴データ
１６ 制御部
１６ａ 商品認識部
１６ｂ 状態認識部
１６ｃ 購入対象商品特定部
１６ｄ 決済処理部
２０ 店舗管理サーバ
３０ レジ端末装置
４０ 店内カメラ
５０ バックヤード端末装置
１１ 商品認識カメラ
１２ 状態認識カメラ
１３ 通信部
１４ カードリーダライタ
１５ 記憶部
１５ａ 学習済モデル
１５ｂ 商品データ
１５ｃ 決済履歴データ
１６ 制御部
１６ａ 商品認識部
１６ｂ 状態認識部
１６ｃ 購入対象商品特定部
１６ｄ 決済処理部
２０ 店舗管理サーバ
３０ レジ端末装置
４０ 店内カメラ
５０ バックヤード端末装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】