特許 7540585 検知システム、検知方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】検知システム、検知方法、及び、プログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240820BHJP

   G07G 1/00 20060101ALI20240820BHJP

【ＦＩ】

G06Q30/06

G07G1/00 331B

【請求項の数】 9

(21)【出願番号】P 2023510245

(86)(22)【出願日】2021-12-20

(86)【国際出願番号】 JP2021046952

(87)【国際公開番号】W WO2022209055

(87)【国際公開日】2022-10-06

【審査請求日】2023-07-21

(31)【優先権主張番号】P 2021056682

(32)【優先日】2021-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】菅ヶ谷 啓希

(72)【発明者】

【氏名】津田 隼輔

(72)【発明者】

【氏名】李 寧

(72)【発明者】

【氏名】鶴岡 佑樹

(72)【発明者】

【氏名】岡田 崇太

【審査官】岡北 有平

(56)【参考文献】

【文献】特開２０２０－１２９３３５（ＪＰ，Ａ）

【文献】国際公開第２０２０／０４２９６６（ＷＯ，Ａ１）

【文献】特開２０１８－１６０１４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０７Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

顧客がスキャナで商品シンボルを読み取る映像から検出された商品スキャン動作の回数に関して、商品登録前の商品の映像から検出された前記商品登録前の商品数で補正した数を商品登録予定の商品数として取得する第１取得手段と、
前記顧客により商品登録された商品数を取得する第２取得手段と、
商品登録する予定の商品数と商品登録された商品数との不一致を検知する検知手段と、
検知結果を出力する出力手段と、を備える検知システム。

【請求項2】

前記映像を画像解析して前記顧客が前記スキャナで前記商品シンボルを読み取る商品スキャン動作を検出する動作検出手段を備える、請求項１に記載の検知システム。

【請求項3】

前記動作検出手段は、姿勢推定モデルを用いて前記顧客の前記商品スキャン動作を検出する、請求項２に記載の検知システム。

【請求項4】

前記動作検出手段は、前記姿勢推定モデルを用いて前記顧客のハンディスキャナによる前記商品スキャン動作を検出する、請求項３に記載の検知システム。

【請求項5】

前記動作検出手段は、前記姿勢推定モデルによる前記顧客の左腕に相当する左腕フレームの端と右腕に相当する右腕フレームの端が互いに近接する動きを、前記顧客による前記商品スキャン動作として検出する、請求項３または４に記載の検知システム。

【請求項6】

前記動作検出手段は、前記顧客がハンディスキャナと固定スキャナで前記商品シンボルを読み取る映像に基づき、前記ハンディスキャナによる第１商品スキャン動作と前記固定スキャナによる第２商品スキャン動作を検出し、
前記第１取得手段は、前記第１商品スキャン動作の回数と前記第２商品スキャン動作の回数の合計を、前記商品登録予定の前記商品数として取得する、請求項２乃至５のいずれか１項に記載の検知システム。

【請求項7】

前記第１取得手段は、商品登録前の商品の映像に基づき、前記商品登録前の商品数を検出し、
前記動作検出手段は、検出した前記商品登録前の商品数で前記顧客の前記商品スキャン動作の回数を補正する、請求項２乃至６のいずれか１項に記載の検知システム。

【請求項8】

コンピュータが、
顧客がスキャナで商品シンボルを読み取る映像から検出された商品スキャン動作の回数に関して、商品登録前の商品の映像から検出された前記商品登録前の商品数で補正した数を商品登録予定の商品数として取得し、
前記顧客により商品登録された商品数を取得し、
商品登録する予定の商品数と商品登録された商品数との不一致を検知し、
検知結果を出力する、検知方法。

【請求項9】

顧客がスキャナで商品シンボルを読み取る映像から検出された商品スキャン動作の回数に関して、商品登録前の商品の映像から検出された前記商品登録前の商品数で補正した数を商品登録予定の商品数として取得し、
前記顧客により商品登録された商品数を取得し、
商品登録する予定の商品数と商品登録された商品数との不一致を検知し、
検知結果を出力する、ことをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、商品の商品登録に関する。

【背景技術】

【0002】

スーパーマーケット等の店舗において、購入する商品のスキャン登録を顧客自身で行うレジ端末が普及している。一方で、このようなレジ端末では、顧客が購入予定の商品の一部をスキャン登録をせずに持ち出す不正行為が発生している。特許文献１には、商品の一部をスキャン登録しない店員の不正行為を検知する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２００８－５３８０３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術は、店員による不正行為の検知であり、顧客による商品登録前後で商品数の不一致を検知するものではない。

【0005】

本開示の目的の１つは、顧客による商品登録の前後で商品数の不一致を検知する技術を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様であるシステムは、検知システムは、顧客がスキャナで商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得する第１取得部と、前記顧客により商品登録された商品数を取得する第２取得部と、商品登録する予定の商品数と商品登録された商品数との不一致を検知する検知部と、検知結果を出力する出力部と、を備える。

【0007】

本開示の一形態である検知方法は、顧客がスキャナで商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得し、前記顧客により商品登録された商品数を取得し、商品登録する予定の商品数と商品登録された商品数との不一致を検知し、検知結果を出力する。

【0008】

本開示の一形態であるプログラムは、顧客がスキャナで商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得し、前記顧客により商品登録された商品数を取得し、商品登録する予定の商品数と商品登録された商品数との不一致を検知し、検知結果を出力することをコンピュータに実行させる。プログラムは、コンピュータが読み取り可能な非一時的な記録媒体に記憶されていてもよい。

【発明の効果】

【0009】

本開示によれば、顧客による商品登録の前後で商品数の不一致を検知できる。

【図面の簡単な説明】

【0010】

【図1】顧客が商品を商品登録する様子を示す図である。

【図2】第１の実施形態に係る検知システムと商品登録装置の概要を示す図である。

【図3】第１の実施形態に係る検知システムの構成の例を示すブロック図である。

【図4】第１取得部の構成の例を示すブロック図である。

【図5】映像における腕の商品スキャン動作の例を示す図である。

【図6】姿勢推定モデルによる腕フレームの商品スキャン動作を示す図である。

【図7】第１の実施形態に係る検知システムの動作の例を示すフローチャートである。

【図8】第１の実施形態の第１処理部の動作の例を示すフローチャートである。

【図9】第２の実施形態の第１処理部の動作の例を示すフローチャートである。

【図10】第３の実施形態の第１処理部の動作の例を示すフローチャートである。

【図11】コンピュータによるハードウエア構成を示す図である。

【発明を実施するための形態】

【0011】

（第１の実施形態）
第１の実施形態の一態様である検知システムについて図面を用いて説明する。第１の実施形態に係る検知システムは、顧客により商品登録する予定の商品数と商品登録された商品数の不一致を検知し、検知結果を出力する。

【0012】

はじめに、検知システムの概略について説明する。図１は、顧客が商品を商品登録する様子を示す図である。図１において、顧客は商品登録のために商品に付された商品シンボルをハンディスキャナ１１又は固定スキャナ１２（単にスキャナと称す場合もある）にスキャンさせ、商品を精算対象として商品登録装置１０に登録する。商品登録装置１０は、顧客により商品登録された商品数を検知システム２０に送信する。

【0013】

カメラ２１は、例えば、スキャンエリアの上方に設置される。スキャンエリアは、スキャナで顧客が商品の商品シンボルを読み込ませるエリアである。カメラ２１は、顧客が商品シンボルをスキャナに読み取らせる動作（商品スキャン動作）を撮影し、撮影した映像を検知システム２０に送信する。検知システム２０は、カメラ２１からの映像に基づき、顧客が商品登録する予定の商品数を取得する。検知システム２０は、顧客により商品登録する予定の商品数と商品登録された商品数の不一致を検知し、検知結果を出力する。

【0014】

以下、第１の実施形態の商品登録装置１０、検知システム２０について説明する。図２は、第１実施形態の商品登録装置１０と検知システム２０の概要を示す図である。商品登録装置１０は、スキャナ（ハンディスキャナ１１、固定スキャナ１２）と接続される。なお、商品登録装置１０に接続されるスキャナは、ハンディスキャナ１１、固定スキャナ１２の少なくとも一方であってもよい。

【0015】

商品の商品シンボル（例えば商品コード）がスキャナに近づくと、スキャナは商品シンボル（例えば、商品コード）を読み取る。商品シンボルは、例えば、バーコード、２次元コード、文字シンボルでもよい。文字シンボルは、商品情報を特定する情報を含む。スキャナは、例えば、バーコードリーダである。スキャナは、画像センサ式、レーザ式等であってもよい。なお、スキャナの説明は例示であり、これらに限られない。スキャナは、読み取った商品シンボルをデコードした商品識別子を商品登録装置１０に送る。

【0016】

図２に示す商品登録装置１０は、商品登録部１０１を備える。商品登録装置１０は、例えば、セルフレジに含まれる商品登録装置である。商品登録装置１０は、スキャナから商品識別子を受付けると、商品識別子を用いて商品データベース（図示せず）の商品情報を検索し、商品識別子に紐づく商品名、商品単価を抽出して商品登録情報を生成し、商品登録を実行する。

【0017】

商品登録情報は、例えば、番号、商品名、単価、数量、小計金額、総数量、合計金額である。番号は、１つの取引で異なる商品ごとに付される番号である。数量は、同一商品が商品登録された数である。総数量は商品ごとの数量の合計である。商品登録部１０１は、別の商品識別子を受付け、商品名、商品単価を抽出すると、番号をインクリメントして商品登録情報を生成し更新する。商品登録部１０１は、同じ商品識別子を受付ると、同じ商品名の数量をインクリメントして商品登録情報を生成し更新する。例えば、顧客が商品登録の終了として商品登録装置１０の精算ボタン（図示せず）を押すと、商品登録装置１０は、商品登録された商品数を検知システム２０に送信する。

【0018】

次に、第１の実施形態に係る検知システム２０、カメラ２１について説明する。検知システム２０は、カメラ２１と通信可能に接続される。カメラ２１は、例えば、スキャンエリアの上方に設置される。スキャンエリアは、スキャナで顧客が商品の商品シンボルを読み込ませるエリアである。カメラ２１は、スキャンエリアにおいて顧客の商品スキャン動作を撮影する。カメラ２１は、撮影した映像を検知システム２０に送信する。

【0019】

図３は、第１の実施形態に係る検知システムの構成の例を示すブロック図である。図３に示す検知システム２０は、第１取得部２０１、第２取得部２０２、検知部２０３、出力部２０４を備える。

【0020】

第１取得部２０１は、顧客が商品登録する予定の商品数を取得する。例えば、第１取得部２０１は、顧客がハンディスキャナ１１で商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得する。以下、顧客がハンディスキャナ１１で商品シンボルを読み取る例で説明する。

【0021】

具体的には、第１取得部２０１は、カメラ２１から受付けた映像を画像解析し、顧客が商品シンボルをスキャナ（ハンディスキャナ１１）に読み取らせる動作（商品スキャン動作）を検出する。図４は、第１取得部２０１の構成の例を示すブロック図である。第１取得部２０１は動作検出部２０１１を備える。動作検出部２０１１は、顧客の映像を姿勢推定モデルで画像処理して、顧客の左腕と右腕に相当する左腕フレームと右腕フレームを検出する。姿勢推定モデルとは、画像から人間の関節点を学習し、静止画や動画からリアルタイムに関節点を結んだ人間の姿勢を検出するモデルである。

【0022】

図５は、映像における腕の商品スキャン動作の例を示す図である。図５において、顧客は左手に商品を持ち、右手にハンディスキャナ１１を持つ。そして顧客は左手の商品のバーコードを右手のハンディスキャナ１１で読み込ませる商品スキャン動作を行う。

【0023】

図６は、姿勢推定モデルによる腕フレームの商品スキャン動作を示す図である。動作検出部２０１１は、顧客の左腕（例えば、商品側）に相当する左腕フレームの端と右腕（例えば、ハンディスキャナ側）に相当する右腕フレームの端が互いに近接する動きを、顧客による商品スキャン動作として検出する。そして動作検出部２０１１は、商品スキャン動作の回数をカウントする。第１取得部２０１は、カウントした商品スキャン動作の回数を商品登録する予定の商品数として取得する。

【0024】

ハンディスキャナ１１は固定スキャナ１２に比べて自由度が高いため、映像の物体認識では顧客の商品スキャン動作が識別しにくくなる。一方、第１取得部２０１の動作検出部２０１１で姿勢推定モデルを用いる場合、顧客の右腕フレームの端と左腕フレームの端の近接を検知すればよいため、顧客による商品スキャン動作が識別し易くなる。

【0025】

なお、動作検出部２０１１において、姿勢推定モデルを用いて顧客の商品スキャン動作を検出することは、固定スキャナ１２でも可能である。例えば、固定スキャナ１２の場合、顧客は所定の位置にある固定スキャナ１２に商品を近づけて商品シンボルを読み取らせる。このため、姿勢推定モデルによる腕フレームの端が、顧客の映像における固定スキャナの位置に近づいて遠ざかる動作を検出することで、動作検出部２０１１は、姿勢推定モデルによる固定スキャナを用いた商品スキャン動作を検出できる。

【0026】

第２取得部２０２は、商品登録装置１０から顧客により商品登録された商品数を取得する。なお、第２取得部２０２は、顧客により商品登録された商品数を商品登録装置１０以外から取得してもよい。例えば、商品登録装置１０が商品登録情報を送信した店舗サーバ、本部サーバから取得してもよい。第２取得部２０２は、顧客により商品登録された商品数を検知部２０３に送る。

【0027】

検知部２０３は、顧客が商品登録する予定の商品数と、顧客により商品登録された商品数との不一致を検知する。なお、検知部２０３は、商品登録された商品数が商品登録する予定の商品数よりも少ない場合のみを不一致として検知してもよい。この場合には、例えば、商品登録装置１０を備えるセルフレジにおいて、顧客が購入予定の商品の一部をスキャン登録せずに持ち出す不正行為、あるいは、顧客のスキャンミス等により正常にスキャン登録できていなかったケースを検知できる。なお、検知部２０３は、顧客の商品スキャン動作の回数と、顧客により商品登録された商品数の値を比較して、顧客による商品登録の前後で商品数の不一致を検知してもよい。

【0028】

また、検知部２０３は、商品登録された商品数が商品登録する予定の商品数よりも多い場合のみを不一致として検知してもよい。この場合には、顧客が購入予定ではない商品を誤って商品登録しているケースを検知できる。本実施形態では、商品登録された商品数が商品登録する予定の商品数よりも少ない場合および商品登録された商品数が商品登録する予定の商品数よりも多い場合の両方又は少なくとも一方を検知する。検知部２０３は、検知結果を出力部２０４に送る。

【0029】

出力部２０４は、検知結果を出力する。例えば、検知結果は、顧客が商品登録する予定の商品数と、顧客により商品登録された商品数が不一致である、又は、一致しているである。出力部２０４は、不一致の場合にエラーを通知してもよく、その一例として、商品登録をやり直すことを促すメッセージや商品登録の内容を確認することを促すメッセージを出力してもよい。あるいは、出力部２０４は、顧客による商品登録が正常に完了したことを示すメッセージを出力してもよい。なお、商品登録された商品数が商品登録する予定の商品数よりも多い場合と少ない場合とで異なるメッセージを出力するようにしても良い。

【0030】

商品数が不一致の場合、その商品スキャン動作が含まれる映像を出力してもよい。出力先は、例えば、表示装置（図示せず）であってもよく、商品登録装置１０が設定された店舗サーバ（図示せず）、商品登録装置１０が設置された店舗の店員が利用する端末（図示せず）、又は、商品登録装置１０の商品登録情報を収集する本部サーバであってもよい。

【0031】

次に、第１の実施形態に係る検知システムの動作について説明する。図７は、第１の実施形態に係る検知システムの動作の例を示すフローチャートである。カメラ２１は、スキャンエリアにおいて、商品を商品スキャンする顧客の様子を撮影し、撮影した映像を検知システム２０に送信する。

【0032】

検知システム２０の第１取得部２０１は、スキャンエリアで商品スキャンする顧客の映像に基づき、顧客が商品登録する予定の商品数を取得する（ステップＳ１１）。第１取得部２０１の動作について詳しく説明する。図８は、第１取得部の動作の例を示すフローチャートである。第１取得部２０１は、カメラ２１からスキャンエリアの顧客の映像を取得する（ステップＳ１０１）。第１取得部２０１の動作検出部２０１１が顧客の映像を姿勢推定モデルで画像解析し、顧客が商品シンボルをハンディスキャナ１１に読み取らせる動作（商品スキャン動作）を検出する（ステップＳ１０２）。

【0033】

具体的には、動作検出部２０１１は、顧客の左腕（例えば、商品側）に相当する左腕フレームの端と右腕（例えば、ハンディスキャナ側）に相当する右腕フレームの端が互いに近接する動きを、顧客による商品スキャン動作として検出する。そして動作検出部２０１１は、商品スキャン動作の回数をカウントする（ステップＳ１０３）。第１取得部２０１は、カウントした商品スキャン動作の回数を商品登録する予定の商品数とする。なお、第１取得部２０１による商品登録する予定の商品数の取得はこれに限られない。

【0034】

図７に戻り、第２取得部２０２は、顧客により商品登録された商品数を取得する（ステップＳ１２）。第２取得部２０２は、顧客により商品登録された商品数を商品登録装置１０から取得してもよく、商品登録装置１０以外から取得してもよい。第２取得部２０２は、顧客により商品登録された商品数を検知部２０３に送る。

【0035】

検知部２０３は、顧客が商品登録する予定の商品数と、顧客により商品登録された商品数との不一致を検知する（ステップＳ１３）。検知部２０３は、検知結果を出力部２０４に送る。出力部２０４は、検知結果を出力する（ステップＳ１４）。検知結果は、顧客が商品登録する予定の商品数と、顧客により商品登録された商品数が不一致、又は、一致である。

【0036】

（第１の実施形態の効果）
第１の実施形態によれば、顧客による商品登録の前後で商品数の不一致を検知する。その理由は、第１取得部２０１が顧客がスキャナで商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得し、第２取得部２０２が顧客により商品登録された商品数を取得する。検知部２０３が、商品登録する予定の商品数と商品登録された商品数との不一致を検知するからである。

【0037】

さらに、第１取得部２０１の動作検出部２０１１が姿勢推定モデルを用いた商品スキャン動作を検出することにより、商品スキャン動作の識別の精度が向上する。

【0038】

（第２の実施形態）
次に、第２の実施形態に係る検知システムの構成について説明する。第２の実施形態に係る検知システム２０の構成は、第１取得部２０１、第２取得部２０２、検知部２０３、出力部２０４を備える。但し、第２の実施形態の第１取得部２０１の機能が、第１の実施形態の第１取得部２０１と異なる。

【0039】

第２の実施形態に係る検知システム２０は、顧客がハンディスキャナ１１と固定スキャナ１２をそれぞれ使って商品登録するケースに対応する。例えば、顧客が固定スキャナ１２で商品登録する複数の商品の中に固定スキャナ１２で読み取りにくい大きさや重さの商品があり、固定スキャナ１２に代えてハンディスキャナ１１で商品スキャンするケースである。

【0040】

以下、第２の実施形態が第１の実施形態と相違する点について説明し、同様な構成、動作についての説明は省略する。

【0041】

第２の実施形態では、カメラ２１は、スキャンエリアでハンディスキャナ１１と固定スキャナ１２を使う顧客の商品スキャン動作を撮影する。カメラ２１は、撮影した映像を検知システム２０に送信する。

【0042】

検知システム２０は、カメラ２１から映像を受付ける。検知システム２０の第１取得部２０１は、顧客がハンディスキャナ１１と固定スキャナ１２を使って商品スキャンする映像に基づき、商品登録予定の商品数を取得する。

【0043】

具体的には、図４に示す第１取得部２０１の動作検出部２０１１は、カメラ２１から受付けた映像を画像解析し、ハンディスキャナ１１による商品スキャン動作と固定スキャナ１２による商品スキャン動作を検出する。動作検出部２０１１は、ハンディスキャナ１１と固定スキャナ１２による商品スキャン動作の回数をそれぞれカウントして合計する。第１取得部２０１は、ハンディスキャナ１１と固定スキャナ１２のそれぞれの商品スキャン動作の回数の合計を、商品登録予定の商品数として取得する。第１取得部２０１は、商品登録予定の商品数を検知部２０３に送信する。

【0044】

第２取得部２０２は、商品登録装置１０から顧客により商品登録された商品数を取得する。なお、第２取得部２０２は、顧客により商品登録された商品数を商品登録装置１０以外から取得してもよい。例えば、商品登録装置１０が商品登録情報を送信した店舗サーバ、本部サーバから取得してもよい。第２取得部２０２は、顧客により商品登録された商品数を検知部２０３に送る。検知部２０３は、顧客が商品登録する予定の商品数と、顧客により商品登録された商品数との不一致を検知する。出力部２０４は、検知結果を出力する。

【0045】

次に第２の実施形態の検知システム２０の動作について説明する。第２の実施形態に係る検知システム２０の動作において、第１取得部２０１の動作が第１の実施形態の検知システム２０の動作と異なる。

【0046】

図９は、第２の実施形態における第１取得部２０１の動作の例を示すフローチャートである。図９に示す動作において、第１取得部２０１は、スキャンエリアでハンディスキャナ１１と固定スキャナ１２を使う顧客を撮影した映像を取得する（ステップＳ２０１）。第１取得部２０１の動作検出部２０１１は、映像から固定スキャナ１２による顧客の商品スキャン動作を検出する（ステップＳ２０２）。さらに、動作検出部２０１１は、同じ映像からハンディスキャナ１１による顧客の商品スキャン動作を検出する（ステップＳ２０３）。動作検出部２０１１は、ハンディスキャナ１１と固定スキャナ１２による商品スキャン動作の回数をそれぞれカウント（ステップＳ２０４）して合計する。
第１取得部２０１は、ハンディスキャナ１１と固定スキャナ１２のそれぞれの商品スキャン動作の回数の合計を、商品登録予定の商品数として取得する。第１取得部２０１は、商品登録予定の商品数を検知部２０３に送信する。以降は、図７に示す検知システム２０の動作のステップＳ１２、ステップＳ１３、ステップＳ１４と同様である。

【0047】

（第２の実施形態の効果）
第２の実施形態によれば、顧客がハンディスキャナ１１と固定スキャナ１２を使って商品登録する場合でも、検知システム２０は、商品登録予定の商品数を取得することができる。

【0048】

その理由は、第１取得部２０１の動作検出部２０１１が、スキャンエリアの顧客を撮影した映像に基づき、ハンディスキャナ１１と固定スキャナ１２による商品スキャン動作をそれぞれ検出するからである。

【0049】

（第３の実施形態）
次に、第３の実施形態に係る検知システムの構成について説明する。第３の実施形態に係る検知システム２０の構成は、第１取得部２０１、第２取得部２０２、検知部２０３、出力部２０４を備える。但し、第３の実施形態の第１取得部２０１の機能は、第１、第２の実施形態の第１取得部２０１と異なる。

【0050】

第３の実施形態に係る検知システム２０は、顧客による商品登録前に撮影した映像に含まれる商品数を用いて、顧客による商品スキャン動作の回数を補正する例である。

【0051】

以下の説明では、第３の実施形態が第１、第２の実施形態と相違する点について説明し、同様な構成、動作についての説明は省略する。

【0052】

第３の実施形態において、カメラ２１は、スキャンエリアにおける顧客による商品登録前の商品を撮影し、撮影した映像を検知システム２０に送信する。さらに、カメラ２１は、スキャンエリアで商品スキャンする顧客を撮影し、撮影した映像を検知システム２０に送信する。

【0053】

検知システム２０の第１取得部２０１は、カメラ２１から顧客による商品登録前の商品の映像を取得する。さらに、第１取得部２０１、スキャンエリアで商品スキャンする顧客の映像を取得する。第１取得部２０１は、商品登録前の商品の映像に基づき、商品登録前の商品数を検出する。具体的には、第１取得部２０１は、商品登録前の商品の映像を画像解析して商品数を検出する。

【0054】

さらに、第１取得部２０１は、商品スキャンする顧客の映像に基づき、商品登録予定の商品数を取得する。具体的には、第１取得部２０１の動作検出部２０１１は、カメラ２１から受付けた映像を画像解析し、顧客の商品スキャン動作を検出する。動作検出部２０１１は、顧客の商品スキャン動作の回数をカウントする。第１取得部２０１は、顧客の商品スキャン動作の回数を、商品登録予定の商品数として取得する。第１取得部２０１は、商品登録予定の商品数を検知部２０３に送信する。

【0055】

第２取得部２０２は、商品登録装置１０から顧客により商品登録された商品数を取得する。なお、第２取得部２０２は、顧客により商品登録された商品数を商品登録装置１０以外から取得してもよい。例えば、商品登録装置１０が商品登録情報を送信した店舗サーバ、本部サーバから取得してもよい。第２取得部２０２は、顧客により商品登録された商品数を検知部２０３に送る。検知部２０３は、顧客が商品登録する予定の商品数と、顧客により商品登録された商品数との不一致を検知する。出力部２０４は、検知結果を出力する。

【0056】

次に第３の実施形態の検知システム２０の動作について説明する。第３の実施形態の第１取得部２０１の動作は、第１の実施形態の第１取得部２０１の動作と異なる。図１０は、第３の実施形態における第１取得部２０１の動作の例を示すフローチャートである。第３の実施形態において、カメラ２１は、スキャンエリアにおける顧客による商品登録前の商品を撮影し、撮影した映像を検知システム２０に送信する。さらに、カメラ２１は、スキャンエリアで商品スキャンする顧客を撮影し、撮影した映像を検知システム２０に送信する。

【0057】

検知システム２０の第１取得部は、カメラ２１から顧客による商品登録前の商品の映像を取得する（ステップＳ３０１）。さらに、第１取得部２０１は、カメラ２１からスキャンエリアで商品スキャンする顧客の映像を取得する（ステップＳ３０２）。第１取得部２０１は、商品登録前の商品の映像に基づき、商品登録前の商品数を検出する（ステップＳ３０３）。具体的には、第１取得部２０１は、商品登録前の商品の映像を画像解析して商品数を検出する。

【0058】

さらに、第１取得部２０１は、商品スキャンする顧客の映像に基づき、商品登録予定の商品数を取得する。具体的には、第１取得部２０１の動作検出部２０１１は、カメラ２１から受付けた映像を画像解析し、顧客の商品スキャン動作を検出する（ステップＳ３０４）。動作検出部２０１１は、顧客の商品スキャン動作の回数をカウントする（ステップＳ３０５）。

【0059】

例えば、商品登録の終了の際、商品登録前の商品数が、検出した商品スキャン動作の回数よりも大きい場合、商品スキャン動作または商品スキャン動作のカウントにミスが発生した可能性がある。このため動作検出部２０１１は、商品登録前の商品数で商品スキャン動作の回数を補正する（ステップＳ３０６）。第１取得部２０１は、補正がある場合、補正後の商品スキャン動作の回数を商品登録予定の商品数として検知部２０３に送信する。以降は、図７に示す検知システム２０の動作のステップＳ１２、ステップＳ１３、ステップＳ１４と同様である。

【0060】

（第３の実施形態の効果）
第３の実施形態によれば、商品スキャン動作の検出精度を向上させることができる。その理由は、第１取得部２０１の動作検出部２０１１が、商品スキャンする顧客の映像に基づき、商品登録前の商品数を検出し、検出した商品数と商品スキャン動作の回数を比較するからである。

【0061】

（ハードウエア構成）
図１１は、コンピュータのハードウエア構成の例を示す図である。検知システム２０の第１取得部２０１、第２取得部２０２、検知部２０３、出力部２０４の各機能は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１がプログラム９４を実行することにより実現される。また検知システム２０の機能は、外部装置（図示せず）で構成され、ネットワークを介して外部装置から検知システム２０に提供されてもよい。検知システム２０は、ＣＰＵ９１がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２、又は記憶装置９５からプログラム９４を読み込み、ＣＰＵ９１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９３で実行してもよい。

【0062】

上述した実施形態を例に説明した本開示は、コンピュータプログラムを表すコードあるいはそのコンピュータプログラムを表すコードが格納されたコンピュータ読み取り可能な記憶媒体によって構成されると捉えることができる。コンピュータ読み取り可能な記憶媒体は、例えば記憶装置９５、不図示の着脱可能な磁気ディスク媒体，光学ディスク媒体やメモリカードなどである。なお、各実施形態の構成は、集積回路による専用のハードウエアであってもよい。検知システム２０はクラウドコンピューティングにより実現されてもよい。

【0063】

本開示は上述した各実施形態に限定されるものではなく、種々の変更が可能であり、異なる実施形態にそれぞれ開示された構成、動作、処理を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

【0064】

以上、上述した実施形態を模範的な例として本開示を説明した。しかしながら、本開示は、上述した実施形態には限定されない。即ち、本開示は、本開示のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【0065】

この出願は、２０２１年３月３０日に出願された日本出願特願２０２１－０５６６８２を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

【0066】

上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。

【0067】

［付記］
［付記１］
顧客がスキャナで商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得する第１取得手段と、
前記顧客により商品登録された商品数を取得する第２取得手段と、
商品登録する予定の商品数と商品登録された商品数との不一致を検知する検知手段と、
検知結果を出力する出力手段と、
を備える検知システム。

【0068】

［付記２］
前記商品登録予定の商品数は、前記顧客が前記スキャナで前記商品シンボルを読み取る商品スキャン動作の回数である
付記１に記載の検知システム。

【0069】

［付記３］
前記第１取得手段は、前記映像を画像解析して前記顧客が前記スキャナで前記商品シンボルを読み取る商品スキャン動作を検出する動作検出手段を備え、
前記第１取得手段は、前記顧客の前記商品スキャン動作の回数を前記商品登録予定の商品数として取得する
付記１又は２に記載の検知システム。

【0070】

［付記４］
前記動作検出手段は、前記映像を姿勢推定モデルを用いて前記顧客の前記商品スキャン動作を検出する、
付記３に記載の検知システム。

【0071】

［付記５］
前記動作検出手段は、前記姿勢推定モデルを用いて前記顧客のハンディスキャナによる前記商品スキャン動作を検出する、
付記４に記載の検知システム。

【0072】

［付記６］
前記動作検出手段は、前記姿勢推定モデルによる前記顧客の左腕に相当する左腕フレームの端と右腕に相当する右腕フレームの端が互いに近接する動きを、前記顧客による前記商品スキャン動作として検出する
付記４に記載の検知システム。

【0073】

［付記７］
前記動作検出手段は、前記顧客がハンディスキャナと固定スキャナで前記商品シンボルを読み取る映像に基づき、前記ハンディスキャナによる第１商品スキャン動作と前記固定スキャナによる第２商品スキャン動作を検出し、
前記第１取得手段は、前記第１商品スキャン動作の回数と前記第２商品スキャン動作の回数の合計を、前記商品登録予定の前記商品数として取得する
付記３に記載の検知システム。

【0074】

［付記８］
前記第１取得手段は、商品登録前の商品の映像に基づき、前記商品登録前の商品数を検出し、
前記動作検出手段は、検出した前記商品登録前の商品数で前記顧客の前記商品スキャン動作の回数を補正する
付記３に記載の検知システム。

【0075】

［付記９］
顧客がスキャナで商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得し、
前記顧客により商品登録された商品数を取得し、
商品登録する予定の商品数と商品登録された商品数との不一致を検知し、
検知結果を出力する、
検知方法。

【0076】

［付記１０］
顧客がスキャナで商品シンボルを読み取る映像に基づき、商品登録予定の商品数を取得し、
前記顧客により商品登録された商品数を取得し、
商品登録する予定の商品数と商品登録された商品数との不一致を検知し、
検知結果を出力する、
ことをコンピュータに実行させるプログラムを非一時的に記憶する記憶媒体。

【符号の説明】

【0077】

１０ 商品登録装置
１１ ハンディスキャナ
１２ 固定スキャナ
２０ 検知システム
２１ カメラ
２０１ 第１取得部
２０２ 第２取得部
２０３ 検知部
２０４ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】