特開 2023-16799 無人決済システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023016799

(43)【公開日】2023-02-02

(54)【発明の名称】無人決済システム

(51)【国際特許分類】

   G06Q 10/08 20230101AFI20230126BHJP

   G06T 7/50 20170101ALI20230126BHJP

【ＦＩ】

G06Q10/08

G06T7/50

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022118169

(22)【出願日】2022-07-25

(31)【優先権主張番号】10-2021-0096967

(32)【優先日】2021-07-23

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】509256045

【氏名又は名称】ヒタチ－エルジー データ ストレージ コリア，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】チョン ヨンフン

(72)【発明者】

【氏名】リ トハン

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049AA16

5L096AA09

5L096CA18

5L096FA70

(57)【要約】

【課題】無人決済システムの提供。
【解決手段】本明細書は、無人決済システムに関する。一実施形態に係る無人決済システムは、物品に関する識別情報を入力するための物品スキャン部と、識別情報の入力前の物品が置かれる第１領域、識別情報の入力が行われる第２領域及び識別情報の入力後の物品が置かれる第３領域からなる棚を撮影して距離情報を含む画像を出力するための３Ｄカメラと、物品スキャン部が出力する識別情報をサーバに伝送し、該物品の価格と名前を含む物品情報を受信するための通信部と、画像に基づいて棚の第１～第３領域に置かれる１つ以上の物品の占有体積を計算し、第１～第３領域における１つ以上の物品の占有体積の変動及び物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するための制御部を含むように構成されることができる。
【選択図】図４

【特許請求の範囲】

【請求項1】

物品に関する識別情報を入力するための物品スキャン部と
前記識別情報の入力前の物品が置かれる第１領域、前記識別情報の入力がなされる第２領域、及び前記識別情報の入力後の物品が置かれる第３領域から構成される棚を撮影し、距離情報を含む画像を出力するための３Ｄカメラと
前記物品スキャン部が出力する識別情報をサーバに伝送し、該物品の価格と名前を含む物品情報を受信するための通信部と、
前記画像に基づいて前記棚の第１～第３領域に置かれる１つ以上の物品の占有体積を計算し、前記第１～第３領域における前記１つ以上の物品の占有体積の変動と物品スキャン部を介した物品の識別情報入力に基づいて前記物品スキャンの異常有無を判断するための制御部を含むように構成される無人決済システム。

【請求項2】

前記制御部は、前記第１領域が空き空間で物品で満たされ、前記第２領域で前記識別情報の入力がなく、前記第３領域が空き空間である状況をローディングイベントとして生成し、前記第１領域において物品の占有体積が減少し、前記第２領域で体積変動が発生し、前記第３領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、前記第１領域が空き空間であり、前記第２領域で体積変動無し、前記第３領域にある物品が空になる状況をアンローディングイベントとして生成することを特徴とする、請求項１に記載の無人決済システム。

【請求項3】

前記制御部は、前記スキャンイベントに前記識別情報の入力がない場合、前記物品スキャンに異常があると判断することを特徴とする、請求項２に記載の無人決済システム。

【請求項4】

前記制御部は、前記スキャンイベントにおける前記第１領域における占有体積の変動と前記第３領域における占有体積の変動との差が基準値以上の場合、前記物品スキャンに異常があると判断することを特徴とする、請求項２に記載の無人決済システム。

【請求項5】

前記制御部は、前記ローディングイベントの進行する間に前記第１領域で撮影される画像の変動に基づいて購買者が購買した物品全体の占有体積を計算することを特徴とする、請求項２に記載の無人決済システム。

【請求項6】

前記制御部は、前記ローディングイベントの進行する間に順次前記第１領域に移動する各物品の占有体積を計算し、前記ローディングイベントが終了した後に前記第１領域で撮影される画像に基づいて計算した前記全物品の占有体積を、前記計算された各物品の占有体積の和を用いて補正することを特徴とする、請求項５に記載の無人決済システム。

【請求項7】

前記識別情報は、物品の表面に表示されるバーコードまたはＱＲコードと、前記物品スキャン部から放射されるＲＦ信号の応答として物品が出力するＲＦ信号の内の１つから検出されることを特徴とする、請求項１に記載の無人決済システム。

【請求項8】

購買した物品の代金を支払うための支払情報を入力するための支払情報入力部と、
購買者が前記物品スキャン部を通じて識別情報を入力した物品の価格と物品情報を表示し、前記制御部から伝送される物品スキャンの異常を知らせる警告を画面や音で出力するための出力部をさらに含み、
前記通信部は、前記支払情報入力部を介して入力される支払情報を支払サーバに伝送し、前記支払サーバから前記支払情報に対応して支払確認情報を受信することを特徴とする、請求項１に記載の無人決済システム。

【請求項9】

識別情報入力前の物品が置かれる第１領域、前記識別情報の入力が行われる第２領域、及び前記識別情報の入力後の物品が置かれる第３領域からなる棚を撮影して距離情報を含むように出力される画像を、分析するステップと
前記画像分析を通じて、前記第１～第３領域における物品の占有体積を計算するステップと、
前記第１～第３領域の内、少なくとも１つの領域において物品の占有体積に変動が生じる場合、前記占有体積の変動と、物品スキャン部を介した物品に対する識別情報入力に基づいて、前記物品スキャンの異常有無を判断するするステップからなる無人決済方法。

【請求項10】

前記第１領域が空の空間で物品で満たされ、前記第２領域で前記識別情報の入力がなく、前記第３領域が空き空間である状況をローディングイベントとして生成し、前記第１領域で物品の占有体積が減り、前記第２領域で体積変動が発生し、前記第３領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、前記第１領域が空き空間であり、前記第２領域で体積変動がなく、前記第３領域にある物品が空になる状況をアンローディングイベントとして生成するステップをさらに含むことを特徴とする、請求項９に記載の無人決済方法。

【請求項11】

前記判断するステップは、前記スキャンイベントに前記識別情報の入力がない場合、前記物品スキャンに異常があると判断することを特徴とする、請求項１０に記載の無人決済方法。

【請求項12】

前記判断するステップは、前記スキャンイベントにおける前記第１領域における占有体積の変動と前記第３領域における占有体積の変動との差が基準値以上である場合、前記物品スキャンに異常があると判断することを特徴とする、請求項１０に記載の無人決済方法。

【請求項13】

前記計算するステップは、前記ローディングイベントの進行する間に前記第１領域で撮影される画像の変動に基づいて購買者が購買した物品全体の占有体積を計算することを特徴とする、請求項１０に記載の無人決済方法。

【請求項14】

前記計算するステップは、ローディングイベントが進行する間に順次第１領域に移動する各物品の占有体積を計算し、前記ローディングイベントが終了した後に前記第１領域で撮影される画像に基づいて計算した、前記全物品の占有体積を、前記計算された各物品の占有体積の和を用いて補正することを特徴とする、請求項１３に記載の無人決済方法。

【請求項15】

前記スキャンイベント時に、前記物品スキャン部を介して識別情報が入力された物品の価格と物品情報を表示するステップと
前記物品のスキャンに異常が発生したと判断されたときにそれを画面または音に出力するステップと、
前記物品スキャンに異常が発生しない状態で前記第１領域が空き領域に変わるとき、決済を進めるステップをさらに含むことを特徴とする、請求項９に記載の無人決済方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、無人決済システムに関し、さらに具体的には、無人決済システム（Unmanned payment system）における物品の損失を防止する装置及び方法に関する。

【背景技術】

【0002】

最近、大型マートに決済待ちラインを減らし、顧客の利便性を向上させるために無人決済窓口が設置されている。また、管理者がいない無人決済システムだけで運営される無人店も増加している。

【0003】

このような無人決済システムがユーザに利便性を提供する一方、購買者が物品の一部を欠落させて損失が発生する余地が多い。このような損失をなくしたり減らそうとする努力が進んでいる。例えば、物品の重量を連携させるシステムや物品の映像を利用するシステムなどが試みられている。

【0004】

しかし、物品の重量を利用するシステムは、重量測定のための秤装置を、物品を購買前に置く棚と購買後に置く棚などに設置しなければならない困難、物品の重量を事前に測定して貯蔵しなければならない問題、物品の重量範囲が広く正確な重量測定が容易ではなく、正確な重量測定のためには、秤装置の価格が上がる問題、重量測定装置を周期的にキャリブレーションしなければならず、容易に故障する問題などがある。また、農水産物や食料品のように物品ごとに重量が一定でない物品には適用できない問題がある。

【0005】

また、カメラを用いて物品の映像を撮影するシステムにおいては、物品をよく認識するために、各物品に対して予め複数の方向で画像を撮影し、撮影した画像をラーニングモデルで学習しなければならない。しかし、照明や撮影角度によって物品が正しく認識されないかまたは認識するのに時間が多くかかり、物品を正しく適期に識別することができず、また、物品の数が増えるほど、物品ごとにラーニングモデルを訓練するのに費用が多くかかり、効率性の観点から妥当ではなく、カメラを利用した方法は無人決済システムに実際に適用されていない。

【0006】

また、映像を録画して事後に録画した映像を分析して損失を把握することもできる。この場合でも損失が発生した後にのみ損失を確認することができ、また録画した映像を分析するのに時間と費用が多くかかる問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本明細書はこの状況に鑑みて、本明細書の目的は、無人決済システムにおいて効果的に損失を確認及び防止する方法を提供することにある。

【課題を解決するための手段】

【0008】

前記課題を実現するための本発明の一実施形態に係る無人決済システムは、物品に関する識別情報を入力するための物品スキャン部と、識別情報の入力前の物品が置かれる第１領域、識別情報の入力が行われる第２領域、識別情報の入力後の物品が置かれる第３領域からなる棚を撮影して距離情報を含む画像を出力するための３Ｄカメラと、物品スキャン部が出力する識別情報をサーバに伝送し、その物品の価格と名前を含む物品情報を受信するための通信部と、画像に基づいて棚の第１～第３領域に置かれる１つ以上の物品の占有体積を計算し、第１～第３領域における１つ以上の物品の占有体積の変動と物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するための制御部を含むことを特徴とする。

【0009】

本発明の他の実施形態に係る無人決済システムは、識別情報入力前の物品が置かれる第１領域、識別情報の入力が行われる第２領域及び識別情報の入力後の物品が置かれる第３領域からなる棚を撮影して距離情報を含むように出力される画像を分析するステップと、画像分析を介して第１～第３領域における物品の占有体積を計算するステップと、第１～第３領域の内、少なくとも１つの領域において物品の占有体積に変動が生じる場合、占有体積の変動と、物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するステップを含むことを特徴とする。

【発明の効果】

【0010】

したがって、無人決済システムにおいて決済のためのスキャンなしで物品が搬出されることを容易かつ簡便に感知することになり、これにより売上の損失を低減することができる。

【0011】

また、物品認識のための別途の事前学習を必要とせず、実際の現場に直接適用することができる。

【0012】

また、カメラ映像を用いてラーニングモデルを学習させる方法に比べて低コストでもさらに高い認識率でシステムを実現することができる。

【図面の簡単な説明】

【0013】

【図1】無人決済システムを構成する棚の領域を示す図である。

【図2】無人決済システムで物品をスキャンし決済する各段階における購買者の行動を示す図である。

【図3a】購買者が物品を計算する前に積置領域Ｚ１からスキャン領域Ｚ２を経てスキャン後に積置領域Ｚ３に移動させる過程を示す図である。

【図3b】購買者が物品を計算する前に積置領域Ｚ１からスキャン領域Ｚ２を経てスキャン後に積置領域Ｚ３に移動させる過程を示す図である。

【図3c】購買者が物品を計算する前に積置領域Ｚ１からスキャン領域Ｚ２を経てスキャン後に積置領域Ｚ３に移動させる過程を示す図である。

【図4】本明細書に係る無人決済システムの構成を機能ブロックで示す図である。

【図5】無人決済システムの映像分析部の具体的な構成を機能ブロックで示す図である。

【図6】購買者が物品を決済する過程で発生するイベントを区別して各イベントの発生条件を具体的に説明した表を示す図である。

【図7】図６に説明した各イベントの発生を、無人決済システムを構成する棚の各領域における空間占有率の変化で表した図である。

【図8a】実際の３Ｄデプスカメラを用いて棚を撮影した画像を、無人決済と関連するイベントを構成する各動作ごとに区分して示した図である。

【図8b】実際の３Ｄデプスカメラを用いて棚を撮影した画像を、無人決済と関連するイベントを構成する各動作ごとに区分して示した図である。

【図8c】実際の３Ｄデプスカメラを用いて棚を撮影した画像を、無人決済と関連するイベントを構成する各動作ごとに区分して示した図である。

【図9】本明細書による無人決済方法の動作フローチャートを示す図である。

【図10】物品スキャン異常有無を判断する方法の動作フローチャートを示す図である。

【発明を実施するための形態】

【0014】

以下、無人決済システムの実施形態を添付する図面に基づいて詳細に説明する。

【0015】

図１は、無人決済システムを構成する棚の領域を示したものであり、図２は、無人決済システムで物品をスキャンして決済する各段階における購買者の行動を示す図であり、図３ａ～図３ｃは、購買者が物品計算前の積置領域Ｚ１からスキャン領域Ｚ２を経てスキャン後、積置領域Ｚ３に移動させる過程を示す。

【0016】

購入した物品を購買者自身で決済するための決済システムは、購買した物品を載置する第１領域（Ｚ１）、購買した物品の識別情報、すなわち物品の包装紙に印刷されたバーコードやＱＲコード（登録商標）をスキャンする第２領域（Ｚ２）及び識別情報がスキャンされた物品を、決済が完了する前まで載せる第３領域Ｚ３からなる棚及び第２領域Ｚ２で物品をスキャンするためのスキャナＳＣＡＮＮＥＲを購買者インターフェースとして含む。

【0017】

また、決済システムは、識別情報をスキャンした物品の名前と価格を表示するためのディスプレイと、物品スキャンが終了した物品を決済するための決済手段とをさらに含むことができる。

【0018】

購買者は、該当店で購買した物品を無人決済システムを通じて決済するためにシステムに接近し（Entrance）、図３ａのように購買するためにカートやバスケットに入れた物品を棚の第１領域Ｚ１に積み重ね（Loading）、図３ｂのように第１領域Ｚ１に積み重ねられた物品を１つずつ第２領域Ｚ２に移して物品の包装紙に印刷されたバーコード等をスキャナでスキャンし（Ｓｃａｎｎｉｎｇ）、図３ｃのようにスキャンが完了した物品を第３領域Ｚ３に積み重ねる。購買者は、第１領域Ｚ１に積み重ねた各物品についてスキャン動作を繰り返して物品を全てスキャンして第３領域Ｚ３に積み重ねると、スキャンした物品に対する代金を決済し、代金決済が完了した物品を全て第３領域（Ｚ３）からバスケットまたはカートに移した（Unloading）後、システムから退場する（Ｅｘｉｔ）。

【0019】

無人決済システムが摘発しようとする購買者の不正行為は、第１領域Ｚ１に積み重ねた物品を第２領域Ｚ２からスキャンせずに第３領域Ｚ３に移動することである。すなわち、購買者が第１領域Ｚ１にある物品を初めからスキャンせずに第３領域Ｚ３に直接移すか、または第１領域Ｚ１にある２つ以上の物品を同時に移動しながら１つ以上の物品に対してスキャンをせずに２つ以上の物を第３領域Ｚ３に移しながら不正行為をすることができる。

【0020】

前述したように、物品の重量を利用するシステムやカメラで物品の画像で撮影するシステムの全てにこのような問題があり、実際のシステムに適用されない。特に最近、物品のイメージでディープラーニングモデルを学習させて利用しようとする試みが続いているが、物品の種類が多く、新物品が絶えずに流入されるマートなどで物品認識率が落ち、認識速度が低く、また認識率を上げ、認識速度を高めるためには高価なカメラ、サーバなどを使用しなければならずコストが非常に増加するため、実際の製品では発売されないでいる。

【0021】

一般ＲＢＧカメラは、高解像度で２次元の映像データをキャプチャし、これを既に学習された人工知能モデルに入力するため、大容量の映像データを処理しなければならないので、システムに負荷が多くかかる。

【0022】

一方、ＴＯＦカメラや３Ｄステレオカメラは、一般RGBカメラよりは解像度が低いが、画像の各ポイントまでの距離情報を得ることができるため、連続するポイントの距離情報を用いて物品の面、エッジ、頂点などの形状に関連する特徴を抽出することができ、それに基づいて当該物品が占める体積を計算または推定することができる。

【0023】

本明細書の無人決済システムは、３Ｄカメラの特性を用いて物品の体積を計算し、スキャン前の物品の体積変動とスキャン後の物品の体積変動の違い及びスキャン動作に同期して、物品に対するスキャン動作なしで物品を搬出する購買者の不正行為を検出することができる。

【0024】

無人決済システムは、購買者が第１領域Ｚ１にある物品を移して第３領域Ｚ３に積み重ねる過程を一つのイベントで管理し、第２領域Ｚ２でのスキャン動作とイベントを同期して購買者の不正行為の可否を判断することができる。

【0025】

図４は、本明細書に係る無人決済システムの構成を機能ブロックで示したものであり、図５は、無人決済システムの映像分析部の具体的な構成を機能ブロックで示したものである。

【0026】

無人決済システム１は、距離情報を含む画像で物品を撮影し、物品のバーコードをスキャンし、及び支払い情報の入力を受けるための入力部１０、入力部１０が撮影した物品について画像を分析し物品の占有体積を計算し、棚から物品の体積の変動を検出し、これをバーコードスキャンと連携して不正行為による物品の盗難を判断するための制御部２０、スキャンした物品の名前と価格及び決済する物品全体の価格などを画面や音声で出力するための出力部３０と、スキャンした物品の名前と価格をサーバに問い合わせて受信し、支払情報を決済サーバに伝送して決済認証に関する情報を受け取るための通信部４０を含めて構成することができる。

【0027】

入力部１０は、棚に置いた物品を３Ｄで撮影するためのカメラ１１０、物品を識別するために識別情報をスキャンするための物品スキャン部１２０、及び購買した物品に対する代金を支払うための支払い情報を入力するための支払情報入力部１３０を含むように構成することができる。入力部１０は、無人決済システム１を用いて購買物品に対する決済を進行する購買者の行動を撮影するための２Ｄカメラをさらに含むことができる。

【0028】

カメラ１１０としては、画像を構成する各点までの距離情報を２次元の画像データとともに提供する３Ｄデプスカメラを採用することができ、３ＤステレオカメラやＴＯＦカメラがこれに該当することができる。

【0029】

物品スキャン部１２０は、物品の包装紙や物品に印刷された識別情報やコード、例えばバーコード、ＱＲコード、データメトリクスなどを読み取るための装置であり、購買者が手で持ってコードをスキャンする形態や棚の第２領域Ｚ２の底部に設けられる形態で実現することができる。あるいは、物品スキャン部１２０は、ＲＦ信号を利用することができるが、ＲＦ信号を放出して放出されたＲＦ信号に対応して物品が反射信号でＲＦ信号を出力すると、それを物品の識別情報として検出することもできる。

【0030】

制御部２０は、カメラ１１０が棚の第１～第３領域Ｚ１、Ｚ２、Ｚ３を撮影した画像を分析し、棚の上に置かれた物品が占める占有体積を計算し、物品の移動に伴う体積の変動を検出するための映像分析部２１０及び映像分析部２１０が分析した物品の体積変動を物品スキャン部１２０と連携して、物品がスキャンなしで棚の第１領域Ｚ１において第３領域Ｚ３または購買者のバスケットまたはカートに直接移動するかどうかを判断するスキャン異常判断部２２０を含むことができる。

【0031】

出力部３０は、購買者が物品をスキャンするたびに、当該物品の名前と価格を表示し、全物品の総決済価格を表示し、物品スキャンに異常が発生するときにこれを知らせる警告文句を表示するためのディスプレイ３１０、及び物品スキャンに対応する音を出力し、物品スキャンに異常が発生するときにこれを警告する音を出力するためのスピーカ３２０を含むように構成することができる。

【0032】

映像分析部２１０は、カメラ１１０が撮影して出力する、距離情報を含む画像を用いて棚を構成する各領域、すなわち第１～第３領域Ｚ１、Ｚ２、Ｚ３のそれぞれで物品が占める占有体積を計算する体積計算部２１１、カメラ１１０が出力する２以上の画像を用いて第１～第３領域Ｚ１、Ｚ２、Ｚ３で発生する動きを検出する動き検出部２１２、及び動き検出部２１２により動きが検出されるとき、体積計算部２１１が出力する各領域における物品の占有体積に基づいて、各領域における物品の占有体積の変動を計算し、物品の移動に該当するイベントであるか否かを決定し、イベントを生成するためのイベント生成部２１３を含むことができる。

【0033】

図２と図３を参照して説明したように、購買者は、無人決済システムに入場して物品を第１領域Ｚ１に積置し、各物品について第２領域Ｚ２における当該物品のバーコードやＱＲコードをスキャンした後、第３領域Ｚ３に積み重ねる動作を行い、第１領域Ｚ１にある最後の物品までこれを繰り返し、第１領域Ｚ１が空状態になり、第３領域Ｚ３に購買したすべての物品が積み重ねられたらクレジットカードなどを用いて決済を行い、決済が完了されると第３領域（Ｚ３）の物品を購買者のかごやカートに移す。

【0034】

イベント生成部２１３は、無人決済システムにおける購買者の正常な行動パターンに応じていくつかのイベントを生成することができるが、無人決済システムで発生するイベントについて図６と図７を参照して説明する。

【0035】

図６は、購買者が物品を決済する過程で発生するイベントを区分して各イベントの発生条件を具体的に説明した表であり、図７は、図６に説明した各イベントの発生を無人決済システムを構成する棚の各領域における空間占有率の変化で表現したものである。

【0036】

購買者の無人決済は、購買者が無人決済システムに登場する登場イベント（ＥＶＴ－Ｅ）から始めることができる。映像分析部２１０の動き検出部２１２が棚付近に人が登場して（Entrance）カメラ１１０が撮影した映像で動きを検出すると、イベント生成部２１３は登場イベント（ＥＶＴ－Ｅ）を生成できる。すなわち、イベント生成部２１３は、棚の第１領域Ｚ１と第３領域Ｚ３が空であり、第２領域Ｚ２には何の変化もない状態で棚外で動きが検出されると、登場イベント（ＥＶＴ－Ｅ）を生成できる。

【0037】

登場イベント（ＥＶＴ－Ｅ）が生成された状態で、動き検出部２１２が棚の第１領域Ｚ１で動きを検出し、体積計算部２１１が第１領域Ｚ１で物品が占める占有体積を計算するが時間が経過しながら占有体積が増加すると、イベント生成部２１３は、購買者が購買した物品を棚の第１領域Ｚ１、すなわちスキャン前領域に積置する動作を指すローディングイベントＥＶＴ－Ｌを生成することができる。このとき、棚の第２領域Ｚ２には何の変化もなく（Ｎｏ Ｃｈａｎｇｅ）、第３領域Ｚ３は空の状態でなければならない。イベント生成部２１３は、棚の第１領域Ｚ１において物品の占有体積の増加が止まるまでローディングイベントＥＶＴ－Ｌを維持することができる。ローディングイベントＥＶＴ－Ｌが終了するとき第１領域Ｚ１で計算される体積は、購買者が購買した物品の体積に該当する。図７において、第１領域Ｚ１に積置された物品全体の占有体積はＡに該当する。

【0038】

ローディングイベント（ＥＶＴ－Ｌ）の進行中に棚の第３領域Ｚ３に占有体積が計算されると、スキャン異常判断部２２０は、これをスキャン異常、すなわち不正行為とみなし、出力部３０を介して警告することができる。

【0039】

ローディングイベント（ＥＶＴ－Ｌ）が進行する間に、購買者は店で選択した物品を収納したかごやカートから物品を棚の第１領域Ｚ１に順次移すが、体積計算部２１１は購買者がかごから第１領域Ｚ１に物品を移動するたびに当該物品の体積を計算することができる。

【0040】

また、体積計算部２１１は、ローディングイベントＥＶＴ－Ｌが進行しながら物品が第１領域Ｚ１に順次積み重ねられている間に第１領域Ｚ１で計算される体積の変動を考慮して、ローディングイベントＥＶＴ－Ｌが終了するときに第１領域Ｚ１に積み重なる物品全体の占有体積を計算することができる。

【0041】

また、体積計算部２１１は、ローディングイベントＥＶＴ－Ｌが終了するときに第１領域Ｚ１に積み重なる物品全体の占有体積を計算するが、ローディングイベントＥＶＴ－Ｌの内、物品を移動しながら計算した各物品の体積を用いて、物品全体の占有体積を補正することができる。また、体積計算部２１１は、購買者が物品を移動している間に物品の体積を計算する際に物品を移す購買者の手の体積を考慮して物品の占有体積を補正することができる。

【0042】

ローディングイベントＥＶＴ－Ｌが終了した後、購買者は棚の第１領域Ｚ１に積み重ねられた物品を順次第２領域Ｚ２で物品スキャナ１２０を通してスキャンし、それを再び第３領域Ｚ３に移動させるが、イベント生成部２１３は、各物品をスキャンして第３領域Ｚ３に移動する動作をスキャンイベントＥＶＴ－Ｓで生成することができる。

【0043】

スキャンイベントＥＶＴ－Ｓにおいて、第１領域Ｚ１に積み重ねられた物品の体積は、スキャンする物品の体積分ほど減少し、第２領域Ｚ２では、購買者がスキャナ１２０を操作して物品をスキャンし、スキャンした物品を第３領域Ｚ３に移動させるので体積の変化が発生し（Ｃｈａｎｇｅ）、第３領域Ｚ３には新たな物品が加わるため物品の体積が増加する。

【0044】

イベント生成部２１３は、カメラ１１０が棚を撮影して出力する連続画像を用いて、体積計算部２１１が第１及び第３領域Ｚ１，Ｚ３での計算する体積と動き検出部２１２が第２領域Ｚ２で検出する動きに基づいてスキャンイベントＥＶＴ－Ｓと判定し、各物品の移動に対してスキャンイベントＥＶＴ－Ｓを生成することができる。

【0045】

図６と図７において、第１の物品のスキャンに対してスキャン１イベント（ＥＶＴ－Ｓ１）が生成され、最後の物品のスキャンに対してスキャンＦイベント（ＥＶＴ－ＳＦ）が生成されるが、スキャンＦイベント（ＥＶＴ－ＳＦ）の結果として第３領域Ｚ３の物品の占有体積Ａは、ローディングイベントＥＶＴ－Ｌ以降第１領域Ｚ１の物品の占有体積Ａと等しいか、所定の基準値以下の差があるはずである。

【0046】

スキャンイベント（ＥＶＴ－Ｓ１～ＥＶＴ－ＳＦ）が進行される間、図７に示すように、第１領域Ｚ１における物品の占有体積は階段状に減少し、第２領域Ｚ２においてはスキャンが進行する間にちょっと体積が感知され、第３領域Ｚ３では、物品の占有体積が階段形態で増加する。

【0047】

スキャンイベント（ＥＶＴ－Ｓ１～ＥＶＴ－ＳＦ）が進行される間、すなわち第１領域Ｚ１で体積が減少し、第３領域Ｚ３で体積が増加するが、物品スキャン部１２０でバーコードやＱＲコードのような該当物品の識別情報の入力がなくて、何の出力も生じない場合、スキャン異常判断部２２０は、購買者が決済のための物品スキャン動作をせず、物品をスキャン後の空間、すなわち第３領域Ｚ３に移動したとみなし、スキャン異常または購買者の不正行為と判断して出力部３０を介して警告メッセージや警告音を出力することができる。

【0048】

また、スキャン異常判断部２２０は、各スキャンイベント後の第１及び第３領域Ｚ１，Ｚ３における体積変動の差、すなわち第１領域Ｚ１における体積減少と第３領域Ｚ３における体積増加の差が基準値以上であるときも、スキャン異常または購買者の不正行為と判断して出力部３０を介して警告メッセージや警告音を出力することができる。

【0049】

最後のスキャンイベント（ＥＶＴ－ＳＦ）が終了した後、購買者が支払情報入力部１３０にクレジットカードやスマートフォンのＮＦＣ機能を用いて決済を進行して決済サーバから決済が認証されると、無人決済システム１は、決済完了を知らせる内容を出力部３０に出力し、またプリンタ（図示せず）を介して紙で出力したり、購買者のスマートフォンに決済内容をメッセージで伝達することができる。

【0050】

その後、購買者が第３領域Ｚ３に積み重ねた物品をバスケットやカートに移すアンロード動作を行うと、イベント生成部２１３はアンローディングイベントＥＶＴ－Ｕを生成する。イベント生成部２１３は、体積計算部２１１と動き検出部２１２から第１領域Ｚ１の占有体積がなく（Ｅｍｐｔｙ）第２領域Ｚ２に変化がなく、第３領域Ｚ３占有体積が減少することを確認し、アンローディングイベントＥＶＴ－Ｕを生成するが、第３領域Ｚ３で占有体積がなくなるまでアンローディングイベントＥＶＴ－Ｕを維持することができる。

【0051】

以後、イベント生成部２１３は、動き検出部２１２を介して購買者がカメラ１１０が出力する画像から消えた（Exit）ことを検出する際に、退場イベント（ＥＶＴ－Ｘ）を生成し、一人の購買者による物品の支払い手続きを完了することができる。

【0052】

図８ａ～図８ｃは、実際の３Ｄデプスカメラを用いて棚を撮影した画像を、無人決済に関するイベントを構成する各動作毎に区分して示したものである。

【0053】

図８ａには、購買者が２つの物品を第１領域（Ｚ１）に載せており、図８ｂにおいては、購買者が第１領域（Ｚ１）にある物品の内の１つを第２領域（Ｚ２）に移してバーコードスキャン動作を行い、図８ｃにおいては、購買者がスキャンが完了した物品を第３領域Ｚ３に移している。

【0054】

３Ｄデプスカメラ１１０は撮影する画像を構成する各点までの距離情報を提供する。図８ａ～図８ｃにおいては、カメラ１１０は撮影した画像を再構成して表示しているが、固定された背景については距離に関する情報を画像に表示せず、背景と分離されたオブジェクトについてのみ等高線や格子状に距離情報を表示している。

【0055】

映像分析部２１０は、３Ｄデプスカメラ１１０が出力する画像から背景と分離される対象に関する距離情報を用いて、対象の形状に関する特徴を抽出し、それを用いて当該対象の体積を計算することができる。

【0056】

図９は、本明細書による無人決済方法の動作フロー図を示すものである。

【0057】

カメラ１１０が無人決済システムの棚を撮影した画像を出力すると、制御部２０の映像分析部２１０（以降、便宜を考慮して映像分析部２１０やスキャン異常判断部２２０の動作は、制御部２０が動作することと説明する）は、棚の第１～第３領域（Ｚ１、Ｚ２、Ｚ３）の画像を分析する（Ｓ９１０）。

【0058】

制御部２０は、カメラ１１０が出力する画像に含まれる距離情報を用いて、第１～第３領域Ｚ１、Ｚ２、Ｚ３における物品の占有体積を計算する（Ｓ９２０）。

【0059】

制御部２０は、第１～第３領域Ｚ１、Ｚ２、Ｚ３に占有体積の変動があるか否かを確認する（Ｓ９３０）。

【0060】

制御部２０は、第１～第３領域Ｚ１、Ｚ２、Ｚ３において占有体積の変動があると（Ｓ９３０でＹＥＳ）、各領域における占有変動に対応するイベントを生成または設定するが（Ｓ９４０）。図６と図７を参照して説明したように、第１～第３領域（Ｚ１、Ｚ２、Ｚ３）における占有体積の条件に応じて、登場イベント（ＥＶＴ－Ｅ）、ローディングイベント（ＥＶＴ－Ｌ）、スキャンイベント（ＥＶＴ－Ｓ）、アンローディングイベント（ＥＶＴ－Ｕ）、及び退場イベント（ＥＶＴ－Ｘ）の内、いずれか１つを生成することができる。

【0061】

制御部２０は、設定または生成されたイベントを物品スキャン部１２０での物品スキャン動作と連携して物品スキャンに異常があるか否かを判断し、物品スキャンに異常がある場合、出力部３０を介して知らせることができる（Ｓ９５０）。

【0062】

制御部２０は、第１領域Ｚ１の占有体積が０であることを確認して物品スキャンが終了したか判断し（Ｓ９６０）、物品スキャンが終了したと判断した場合（Ｓ９６０でＹＥＳ）、購買者が決済を進めるように案内することができる（Ｓ９７０）。

【0063】

図１０は、物品スキャン異常を判断する方法の動作フローチャートを示しており、図１０は、スキャンイベント（ＥＶＴ－Ｓ）の時発生するスキャン異常に対する動作を説明する。

【0064】

制御部２０は、スキャンイベントＥＶＴ－Ｓが進行する間に物品スキャン部１２０を介して物品の識別情報をスキャンする動作があったことを確認する（Ｓ１０１０）。

【0065】

スキャンイベントＥＶＴ－Ｓは、第１領域Ｚ１の占有体積が減少し、第３領域Ｚ３の占有体積が増加するとき設定または生成されるが、当該スキャンイベントＥＶＴ－Ｓの時物品スキャンが発生しない場合（Ｓ１０１０でＮＯ）、制御部２０は、物品スキャン異常または購買者の不正行為であると判断し、これを警告するメッセージまたは警告音を出力部３０を介して出力することができる（Ｓ１０４０）。

【0066】

制御部２０は、スキャンイベント（ＥＶＴ－Ｓ）時に物品スキャンが発生する場合であっても（Ｓ１０１０でＹＥＳ）、スキャンイベント後の第１及び第３領域Ｚ１，Ｚ３における体積変動の差、すなわち第１領域Ｚ１での体積減少と第３領域Ｚ３での体積増加との差が基準値以上であるか否かを確認する（Ｓ１０２０）。

【0067】

第１及び第３領域Ｚ１、Ｚ３における体積変動の差が基準値以上である場合（Ｓ１０２０でＹＥＳ）、制御部２０は、物品スキャン異常又は購買者の不正行為と判断し、これを警告するメッセージ又は警告音を出力部３０を介して出力することができる（Ｓ１０４０）。

【0068】

第１及び第３領域Ｚ１、Ｚ３における体積変動の差が基準値より小さい場合（Ｓ１０２０でＮＯ）、制御部２０は、物品スキャンが正常に行われたと判断して次のイベントに進むことができる。

【0069】

このように、無人決済システムに３Ｄカメラを適用して物品の占有体積を計算し、占有体積の変動とスキャン動作を連携して、購買者が物品スキャンなしで物品を搬出する不正行為を効果的に摘発できるようになる。

【0070】

２Ｄカメラを使用して学習モデルを適用するシステムに比べて少ないコストで実現でき、また物品ごとに事前学習をする必要がなくて、現場に直接適用することができる。

【0071】

本明細書に記載の無人決済システム及び無人決済方法は、以下のように説明することができる。

【0072】

一実施形態に係る無人決済システムは、物品に関する識別情報を入力するための物品スキャン部と、識別情報の入力前の物品が置かれる第１領域、識別情報の入力が行われる第２領域及び識別情報の入力後の物品が置かれる第３領域からなる棚を撮影して距離情報を含む画像を出力するための３Ｄカメラと、物品スキャン部が出力する識別情報をサーバに伝送し、該当物品の価格と名前を含む物品情報を受信するための通信部と、画像に基づいて棚の第１～第３領域に置かれる１つ以上の物品の占有体積を計算し、第１～第３領域における１つ以上の物品の占有体積の変動と物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するための制御部を含むように構成することができる。

【0073】

一実施形態において、制御部は、第１領域が空の空間で物品で満たされ、第２領域で識別情報の入力がなく、第３領域が空の空間である状況をロードイベントとして生成し、第１領域で物品の占有体積が減少し、第２領域で体積変動が発生し、第３領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、第１領域が空き空間であり第２領域で体積変動がなく、第３領域にある物品が空になる状況をアンロードイベントで生成できる。

【0074】

一実施形態において、制御部は、スキャンイベントに識別情報の入力がない場合、物品スキャンに異常があると判断することができる。

【0075】

一実施形態において、制御部は、スキャンイベントにおける第１領域における占有体積の変動と第３領域における占有体積の変動との差が基準値以上の場合に物品スキャンに異常があると判断することができる。

【0076】

一実施形態において、制御部は、ロードイベントの進行中に第１領域で撮影される画像の変動に基づいて購入者が購入した物品全体の占有体積を計算することができる。

【0077】

一実施形態において、制御部は、ロードイベントが進行中に順次第１領域に移動する各物品の占有体積を計算し、ロードイベントが終了した後に第１領域で撮影される画像に基づいて計算した物品全体の占有体積を計算された各物品の占有体積の和を用いて補正することができる。

【0078】

一実施形態において、識別情報は、物品の表面に表示されるバーコードまたはＱＲコード及び物品スキャン部から放射されるＲＦ信号に対する応答として物品が出力するＲＦ信号の内、１つから検出することができる。

【0079】

一実施形態において、購買した商品の代金を支払うための支払情報を入力するための支払情報入力部と、購買者が物品スキャン部を通じて識別情報を入力した物品の価格と物品情報を表示し、制御部から伝送される物品スキャンの異常を知らせる警告を画面や音で出力するための出力部をさらに含み、通信部は支払情報入力部を介して入力される支払情報を支払サーバに伝送し、支払サーバから支払情報に対応して支払確認情報を受信することができる。

【0080】

他の実施形態に係る無人決済方法は、識別情報入力前の物品が置かれる第１領域、識別情報の入力が行われる第２領域及び識別情報の入力後の物品が置かれる第３領域からなる棚を撮影して距離情報を含むように出力される画像を分析するステップと画像分析に介して第１～第３領域における物品の占有体積を計算するステップと、第１～第３領域の内、少なくとも１つの領域において物品の占有体積に変動が生じた場合、占有体積の変動と物品スキャン部を介した物品の識別情報の入力とに基づいて物品スキャンの異常有無を判断するステップを含むことができる。

【0081】

一実施形態において、無人決済方法は、第１領域が空の空間で物品で満たされ、第２領域で識別情報の入力がなく、第３領域が空の空間である状況をローディングイベントとして生成し、第１領域で物品の占有体積が減少し、第２領域で体積変動が発生し、第３領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、第１領域が空き空間であり、第２領域で体積変動がなく、第３領域にある物品が空になる状況をアンローディングイベントとして生成するステップをさらに含むことができる。

【0082】

一実施形態において、判断するステップは、スキャンイベントに識別情報の入力がない場合、物品スキャンに異常があると判断することができる。

【0083】

一実施形態において、判断するステップは、スキャンイベントに第１領域における占有体積の変動と第３領域における占有体積の変動との差が基準値以上の場合に物品スキャンに異常があると判断することができる。

【0084】

一実施形態において、計算するステップは、ローディングイベントの進行する間に第１領域で撮影される画像の変動に基づいて購買者が購買した物品全体の占有体積を計算することができる。

【0085】

一実施形態において、計算するステップは、ローディングイベントが進行する間に順次第１領域に移動する各物品の占有体積を計算し、ローディングイベントが終了した後に第１領域で撮影される画像に基づいて計算した物品全体の占有体積を計算された各物品の占有体積の合計を用いて補正することができる。

【0086】

一実施形態において、無人決済方法は、スキャンイベント時に物品スキャン部を介して識別情報が入力された物品の価格と物品情報を表示するステップと物品のスキャンに異常が発生したと判断されたときにそれを画面または音に出力するステップと物品のスキャンに異常が生じていない状態で第１領域が空の領域に変わる時、決済を進めるステップをさらに含むことができる。

【0087】

本発明は記載された実施形態に限定されず、本発明の思想及び範囲から逸脱することなく様々に修正及び変形することができることは、当技術分野において通常の知識を有する者に自明である。したがって、そのような修正例または変形例は、本発明の特許請求の範囲に属すべきである。

【符号の説明】

【0088】

１：無人決済システム １０：入力部
２０：制御部 ３０：出力部
４０：通信部 １１０：カメラ
１２０：物品スキャン部 １３０：支払情報入力部
２１０：画像分析部 ２１１：体積計算部
２１２：動き検出部 ２１３：イベント生成部
２２０：スキャン異常判断部 ３１０：ディスプレイ
３２０： スピーカ

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図9】

【図10】