特許 7661964 登録確認装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-07

(45)【発行日】2025-04-15

(54)【発明の名称】登録確認装置、制御方法、およびプログラム

(51)【国際特許分類】

   G07G 1/12 20060101AFI20250408BHJP

   G07G 1/00 20060101ALI20250408BHJP

   G07G 1/01 20060101ALI20250408BHJP

   G06T 7/20 20170101ALI20250408BHJP

   G06V 40/20 20220101ALI20250408BHJP

【ＦＩ】

G07G1/12 331A

G07G1/00 311D

G07G1/01 301E

G06T7/20 300A

G06V40/20

【請求項の数】 10

(21)【出願番号】P 2022505004

(86)(22)【出願日】2021-01-08

(86)【国際出願番号】 JP2021000454

(87)【国際公開番号】W WO2021176840

(87)【国際公開日】2021-09-10

【審査請求日】2023-12-07

(31)【優先権主張番号】P 2020035052

(32)【優先日】2020-03-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】藤野 庄三

【審査官】小島 哲次

(56)【参考文献】

【文献】特表２００８－５３８０３０（ＪＰ，Ａ）

【文献】特開２０１０－２３７８８６（ＪＰ，Ａ）

【文献】特開２０１８－１６０１４０（ＪＰ，Ａ）

【文献】特開２０１９－１６８８１８（ＪＰ，Ａ）

【文献】特開２０１９－０９５９２２（ＪＰ，Ａ）

【文献】特開２０１９－１３９５８３（ＪＰ，Ａ）

【文献】特開２０１９－１３９５９５（ＪＰ，Ａ）

【文献】特開平０７－２１０７５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００－ １／１４

Ｇ０８Ｂ ２５／００－２５／０４

(57)【特許請求の範囲】

【請求項1】

ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出部と、
一度にまとめて精算される１つ以上の商品についての一つの対象取引について、前記スキャン動作が行われた全回数と、精算対象として登録された商品の個数との関係が所定条件を満たすか否かを判定する判定部と、
前記関係が前記所定条件を満たさない場合に所定の出力処理を行う出力部と、を有し、
前記所定条件は、前記登録された商品の個数が前記検出されたスキャン動作の全回数以上である場合に満たされる条件であり、
前記判定部は、前記スキャン動作が行われた回数をカウントし、
前記出力部は、商品の登録が行われている間、前記スキャン動作が行われた回数と登録された商品の個数を、ディスプレイ装置に表示させるように出力する
登録確認装置。

【請求項2】

前記動画において、手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、請求項１に記載の登録確認装置。

【請求項3】

前記出力部は、各スキャン動作が行われた期間と、各商品が登録された時点とを比較することにより、商品が登録されなかったスキャン動作を特定し、そのスキャン動作が含まれる画像を出力する、請求項１又は２に記載の登録確認装置。

【請求項4】

前記動画において、商品を持っている手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、請求項２又は３に記載の登録確認装置。

【請求項5】

前記動画において、所定の基準を満たす形の手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、請求項２から４いずれか一項に記載の登録確認装置。

【請求項6】

前記スキャン動作検出部は、入力された動画からスキャン動作を検出する検出モデルを用いて、前記スキャン動作を検出し、
前記検出モデルは、スキャン動作をカメラで撮像することで得られた動画を利用して学習されたモデルである、請求項１から５いずれか一項に記載の登録確認装置。

【請求項7】

前記出力部は、商品のスキャンのやり直しを促すメッセージを出力する、請求項１から６いずれか一項に記載の登録確認装置。

【請求項8】

前記スキャン動作検出部は、スキャン動作が不正なスキャン動作と不正でないスキャン動作のいずれであるかを、不正でないスキャン動作が記録された動画と、不正なスキャン動作が記録された動画の双方を用いて学習された検出モデルによって判別し、
前記出力部は、商品が登録されなかったスキャン動作が不正なスキャン動作である場合と、商品が登録されなかったスキャン動作が不正でないスキャン動作である場合とで、互いに異なる出力処理を行う、請求項１から７いずれか一項に記載の登録確認装置。

【請求項9】

コンピュータによって実行される制御方法であって、
ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出ステップと、
一度にまとめて精算される１つ以上の商品についての一つの対象取引について、前記スキャン動作が行われた全回数と、精算対象として登録された商品の個数との関係が所定条件を満たすか否かを判定する判定ステップと、
前記関係が前記所定条件を満たさない場合に所定の出力処理を行う出力ステップと、を有し、
前記所定条件は、前記登録された商品の個数が前記検出されたスキャン動作の全回数以上である場合に満たされる条件であり、
前記スキャン動作が行われた回数をカウントすることと、
商品の登録が行われている間、前記スキャン動作が行われた回数と登録された商品の個数を、ディスプレイ装置に表示させるように出力することを含む
制御方法。

【請求項10】

制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出ステップと、
一度にまとめて精算される１つ以上の商品についての一つの対象取引について、前記スキャン動作が行われた全回数と、精算対象として登録された商品の個数との関係が所定条件を満たすか否かを判定する判定ステップと、
前記関係が前記所定条件を満たさない場合に所定の出力処理を行う出力ステップと、を有し、
前記所定条件は、前記登録された商品の個数が前記検出されたスキャン動作の全回数以上である場合に満たされる条件であり、
前記制御方法は、
前記スキャン動作が行われた回数をカウントすることと、
商品の登録が行われている間、前記スキャン動作が行われた回数と登録された商品の個数を、ディスプレイ装置に表示させるように出力することを含む
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、商品を精算対象として登録する技術に関する。

【背景技術】

【0002】

店舗で商品を購入する場合、購入対象の商品をスキャナ（バーコードリーダなど）に読み取らせることにより、商品が精算対象として登録される。商品の登録に利用される装置は、商品登録装置などと呼ばれる。

【0003】

このような商品登録装置における商品のスキャンにおいて、不正な操作を検出する技術が開発されている。特許文献１は、スキャンされた商品の個数と、スキャナ付近に設けられた光学式のセンサによって検出された商品の通過数とを比較することで、不正を検知する技術を開示している。より具体的には、ユーザが商品をスキャナにスキャンさせる動作（以下、スキャン動作）において、ユーザの手が通過する場所に、発光器と受光器から成る反射型光学検出構造のセンサが、離間した状態で２つ設けられる。そして、当該２つのセンサによって所定の順番で物体が検出された場合に、商品の通過数がカウントされる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平０７－２１０７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の発明では、発光器と受光器から成るセンサで商品の通過を検出するため、検出漏れや誤検出が発生しやすいと考えられる。例えば、ユーザが身体を動かした際、たまたま２つのセンサの前をユーザの身体が通過してしまうと、その動きがスキャン動作として誤検出されてしまう。

【0006】

本発明は上記の課題に鑑みてなされたものであり、その目的の一つは、商品が精算対象として登録されたことを精度よく確認する技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の第１の登録確認装置は、ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出部と、対象取引について、スキャン動作が行われた回数と、精算対象として登録された商品の個数との関係が所定条件を満たすか否かを判定する判定部と、関係が所定条件を満たさない場合に所定の出力処理を行う出力部と、を有する。
所定条件は、登録された商品の個数が検出されたスキャン動作の回数以上である場合に満たされる条件である。

【0008】

本発明の第２の登録確認装置は、ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出部と、スキャン動作に応じて商品が精算対象として登録されたか否かを判定する判定部と、スキャン動作に応じて商品が精算対象として登録されなかった場合に所定の出力処理を行う出力部と、を有する。
動画において、手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される。

【0009】

本発明の第１の制御方法はコンピュータによって実行される。当該制御方法は、ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出ステップと、対象取引について、スキャン動作が行われた回数と、精算対象として登録された商品の個数との関係が所定条件を満たすか否かを判定する判定ステップと、関係が所定条件を満たさない場合に所定の出力処理を行う出力ステップと、を有する。
所定条件は、登録された商品の個数が検出されたスキャン動作の回数以上である場合に満たされる条件である。

【0010】

本発明の第２の制御方法はコンピュータによって実行される。当該制御方法は、ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出ステップと、スキャン動作に応じて商品が精算対象として登録されたか否かを判定する判定ステップと、スキャン動作に応じて商品が精算対象として登録されなかった場合に所定の出力処理を行う出力ステップと、を有する。
動画において、手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される。

【発明の効果】

【0011】

本発明によれば、商品が精算対象として登録されたことを精度よく確認する技術が提供される。

【図面の簡単な説明】

【0012】

【図1】実施形態１の登録確認装置の概要を説明するための図である。

【図2】実施形態１の登録確認装置の機能構成を例示するブロック図である。

【図3】登録確認装置を実現するための計算機を例示する図である。

【図4】実施形態１の登録確認装置によって実行される処理の流れを例示するフローチャートである。

【図5】商品登録装置に対するユーザ操作の流れを例示する図である。

【図6】商品登録装置の画面遷移を例示する図である。

【図7】スキャン動作と商品との対応付けを概念的に示す図である。

【図8】実施形態２の登録確認装置の概要を説明するための図である。

【図9】実施形態２の登録確認装置の機能構成を例示するブロック図である。

【図10】実施形態２の登録確認装置によって実行される処理の流れを例示するフローチャートである。

【図11】商品登録装置の画面遷移を例示する図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。以下の説明において、特に説明しない限り、各種所定の値（閾値など）は、その値を利用する機能構成部からアクセス可能な記憶装置に予め記憶させておく。

【0014】

［実施形態１］
＜概要＞
図１は、本実施形態の登録確認装置２０００の概要を説明するための図である。なお、図１は、登録確認装置２０００に対する理解を容易にするための例示であり、登録確認装置２０００の機能は図１に表されているものに限定されない。

【0015】

登録確認装置２０００は、商品が購入される店舗において、商品を商品登録装置２０のスキャナ２２にスキャンさせる動作（以下、スキャン動作）が行われたことにより、商品が精算対象として（代金の支払い対象として）登録されたか否かを確認するために利用される。商品登録装置２０は、商品を精算対象として登録するために利用される装置である。スキャナ２２は、商品に付されているバーコードなどの所定のシンボルを読み取るリーダや、商品を撮像するカメラなどである。以下、精算対象として登録された商品を、登録商品とも呼ぶ。

【0016】

ここで、登録確認装置２０００が運用される店舗において、商品の登録に利用される装置（すなわち、商品登録装置２０）と、登録された商品についての精算（代金の支払い）に利用される装置は、一体として設けられていてもよいし、別体として設けられていてもよい。登録された商品についての精算に利用される装置は、精算装置などと呼ばれる。なお、商品登録装置２０を操作して商品の登録を行うユーザは、店員であってもよいし、顧客であってもよい。

【0017】

ここで、各スキャン動作によって商品が正常にスキャンされた場合、スキャン動作が行われる度に、商品が１つ以上登録される。そのため、一つの取引について行われた全てのスキャン動作それぞれで商品が正常にスキャンされた場合、当該取引について登録された登録商品の個数と、当該取引について行われたスキャン動作の回数との間には、所定の関係が成り立つ。具体的には、登録商品の個数は、スキャン動作の回数以上となる。なお、登録商品の個数がスキャン動作の回数より多くなるのは、一度のスキャン動作で複数の商品がスキャンされる場合である。また、「一つの取引」とは、一度にまとめて精算される１つ以上の商品についての取引（一人の顧客が一度に購入する１つ以上の商品についての取引）のことである。

【0018】

上述したスキャン動作の回数と登録商品の個数の関係に鑑み、登録確認装置２０００は、以下の処理を行うことで、或る取引において、全てのスキャン動作において商品が正常に登録されたか否かの確認を行う。ここで、商品が正常に登録されたか否かの確認の対象となる取引のことを、対象取引と呼ぶ。登録確認装置２０００は、ユーザの動作を撮像するカメラ１０から得られた動画１２を解析することで、スキャン動作を検出する。登録確認装置２０００は、検出されたスキャン動作の回数と登録商品の個数との関係が、所定条件を満たすか否かを判定する。所定条件は、登録商品の個数がスキャン動作の回数以上である場合に成り立つ条件である。

【0019】

登録確認装置２０００は、上記所定条件が満たされていない場合（すなわち、商品が登録されなかったスキャン動作が存在する場合）、所定の出力処理を行う。例えばこの出力処理は、登録されなかった商品の存在をユーザに認識させるメッセージの出力である。

【0020】

＜作用効果の一例＞
本実施形態の登録確認装置２０００によれば、スキャン動作の回数と登録商品の個数との関係が所定条件を満たすか否かが判定される。そして、所定条件が満たされない場合、所定の出力処理が行われる。ここで、登録確認装置２０００は、スキャン動作が記録された動画１２を解析することによって、スキャン動作を検出する。そのため、物体の通過を感知するセンサを利用してスキャン動作を検出するケースと比較し、スキャン動作を高い精度で検出することができる。ひいては、スキャン動作の回数を正確にカウントすることができる。よって、スキャン動作によって商品が精算対象として登録されたか否かを、精度よく確認することができる。

【0021】

以下、本実施形態についてさらに詳細を述べる。

【0022】

＜機能構成の例＞
図２は、実施形態１の登録確認装置２０００の機能構成を例示する図である。登録確認装置２０００は、スキャン動作検出部２０２０、第１判定部２０４０、及び第１出力部２０６０を有する。スキャン動作検出部２０２０は動画１２を解析することでスキャン動作を検出する。第１判定部２０４０は、検出されたスキャン動作の回数と登録商品の個数とが、所定条件を満たすかどうかを判定する。第１出力部２０６０は、上記所定条件が満たされていない場合に、所定の出力処理を行う。

【0023】

＜登録確認装置２０００のハードウエア構成の例＞
登録確認装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、登録確認装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0024】

図３は、登録確認装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は、任意の計算機である。例えば、計算機１０００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型の計算機である。その他にも例えば、計算機１０００は、スマートフォンやタブレット端末などといった可搬型の計算機であってもよい。なお、登録確認装置２０００と商品登録装置２０とが一体として設けられる場合、計算機１０００は、商品登録装置２０を実現可能な任意の計算機（POS（Point of Sales）端末など）とすることができる。

【0025】

計算機１０００は、登録確認装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。後者の場合、例えば、計算機１０００に対して所定のアプリケーションをインストールすることにより、計算機１０００において、登録確認装置２０００の機能が実現される。上記アプリケーションは、登録確認装置２０００の各機能構成部を実現するためのプログラムで構成される。

【0026】

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

【0027】

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

【0028】

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0029】

ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。図３において、ネットワークインタフェース１１２０には、カメラ１０と商品登録装置２０が接続される。

【0030】

カメラ１０や商品登録装置２０を計算機１０００と通信可能に接続する方法は、ネットワークを介して接続する方法に限定されない。また、カメラ１０や商品登録装置２０は、計算機１０００と通信可能に接続されていなくてもよい。この場合、例えば、これらの装置から共通してアクセス可能な記憶装置などを介して、これらの装置の間で情報のやりとりが行われる。また、登録確認装置２０００と商品登録装置２０は、一体として設けられてもよい。この場合、計算機１０００は、登録確認装置２０００としてだけでなく、商品登録装置２０としても機能する。

【0031】

ストレージデバイス１０８０は、登録確認装置２０００の各機能構成部を実現するプログラムモジュール（前述したアプリケーションを実現するプログラムモジュール）を記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

【0032】

＜処理の流れ＞
図４は、実施形態１の登録確認装置２０００によって実行される処理の流れを例示するフローチャートである。スキャン動作検出部２０２０は、対象取引についての動画１２を解析して、その動画１２からスキャン動作を検出することにより、対象取引について行われたスキャン動作の回数を特定する（Ｓ１０２）。第１判定部２０４０は、対象取引について、スキャン動作の回数と登録商品の個数が所定条件を満たすか否かを判定する（Ｓ１０４）。所定の条件が満たされていない場合（Ｓ１０４：ＮＯ）、第１出力部２０６０は所定の出力処理を行う（Ｓ１０６）。所定条件が満たされている場合（Ｓ１０４：ＹＥＳ）、図４の処理は終了する。

【0033】

なお、第１出力部２０６０は、所定条件が満たされている場合も、何らかの出力処理を行ってよい。ただし、所定条件が満たされている場合と満たされていない場合とでは、互いに異なる出力処理が行われる。例えば、所定条件が満たされていない場合には、商品の登録をやり直すことを促すメッセージが出力され、所定条件が満たされている場合には、商品の登録が正常に完了したことを示すメッセージが出力される。出力処理のこれ以上の詳細については、後述する。

【0034】

＜商品登録装置２０に対する操作の流れ＞
登録確認装置２０００の利用態様を理解しやすくするため、対象取引においてユーザが商品登録装置２０に対して行うユーザ操作の流れの一例を説明する。ここで説明するユーザ操作の流れは、後述する実施形態２でも同様である。

【0035】

図５は、商品登録装置２０に対するユーザ操作の流れを例示する図である。ユーザは、商品登録装置２０に対し、商品の登録の開始を示す操作を行う（Ｓ２０２）。この操作に応じて、商品登録装置２０が、商品の登録を受け付ける状態に移行する。例えばこの操作は、「商品のスキャンを開始する」などと表示されているボタンを押下する操作である。

【0036】

ユーザは、購入する各商品についてスキャン動作を行い、各商品をスキャナ２２に読み取らせる（Ｓ２０４、Ｓ２０６：ＮＯ）。全ての商品についてスキャン動作を終えたら（Ｓ２０６：ＹＥＳ）、ユーザは、商品の登録の終了を示す操作を行う（Ｓ２０８）。この操作に応じて、商品登録装置２０の状態は、商品の登録を受け付けない状態に遷移する。また、商品登録装置２０から登録確認装置２０００へ、商品の登録が終了したことを示す通知が送信される。ただし、商品登録装置２０と登録確認装置２０００が一体として設けられている場合には、この通知は不要である。

【0037】

商品の登録が終了したことに応じ、登録確認装置２０００は、スキャン動作の回数と登録商品の個数との比較を行う（Ｓ１０４）。なお、スキャン動作の検出及びその回数のカウントについては、商品の登録が行われている間に並行して行われることが好適である。

【0038】

なお、カメラ１０による撮像は、常に行われていてもよいし、商品の登録が開始された時点（登録開始時点）から、商品の登録が終了した時点（登録終了時点）までの期間のみ行われてもよい。図５において、登録開始時点と登録終了時点はそれぞれ、Ｓ２０２とＳ２０８の時点である。登録開始時点から登録終了時点までの期間のみ撮像が行われる場合、例えばカメラ１０は、商品の登録の開始を示す操作が行われたことを示す通知、及び商品の登録の終了を示す操作が行われたことを示す通知を、商品登録装置２０から受信する。カメラ１０は、前者の通知を受信したことに応じて撮像を開始し、後者の通知を受信したことに応じて撮像を終了する。

【0039】

＜動画１２の取得＞
スキャン動作検出部２０２０は、対象取引に対応する動画１２を解析して、動画１２からスキャン動作を検出する。そのために、スキャン動作検出部２０２０は、動画１２を取得する。ここで、スキャン動作検出部２０２０は、動画１２を構成する画像（動画フレーム）の全てをまとめて取得してもよいし、動画フレームを複数回に分けて取得してもよい。後者の場合、スキャン動作検出部２０２０は、動画フレームの取得を繰り返し行う処理と、既に取得した動画フレームを解析してスキャン動作を検出する処理とを、並行して行うことが好適である。

【0040】

動画１２を構成する動画フレームを複数回に分けて取得する方法は様々である。例えばスキャン動作検出部２０２０は、カメラ１０によって新たな動画フレームが生成される度に、当該新たな動画フレームを取得する。その他にも例えば、スキャン動作検出部２０２０は、定期的に（例えば１秒間に１度の頻度で）、未取得の動画フレームをまとめて取得してもよい。例えば 30fps（frames/second）のカメラがカメラ１０として利用される場合において、１秒間に１度の頻度で動画フレームの取得が行われると、動画フレームが３０枚ずつ取得される。

【0041】

スキャン動作検出部２０２０は、カメラ１０から動画１２を取得してもよいし、カメラ１０以外から動画１２を取得してもよい。後者の場合、例えばスキャン動作検出部２０２０は、カメラ１０によって動画１２が格納される記憶装置にアクセスすることで、動画１２を取得する。

【0042】

スキャン動作検出部２０２０は、カメラ１０によって生成される動画のうち、登録開始時点から登録終了時点までの動画を、動画１２として利用する。例えばスキャン動作検出部２０２０は、商品登録装置２０から、登録開始時点と登録終了時点を示す情報を取得する。そして、スキャン動作検出部２０２０は、カメラ１０によって生成された動画のうち、登録開始時点と登録終了時点までの間の部分を、動画１２として取得する。その他にも例えば、前述したように、登録開始時点から登録終了時点までの間のみカメラ１０よる撮像が行われるようにしてもよい。この場合、スキャン動作検出部２０２０は、対象取引についてカメラ１０が生成した動画全体を、動画１２として取得する。

【0043】

＜スキャン動作の検出：Ｓ１０２＞
スキャン動作検出部２０２０は、動画１２からスキャン動作を検出する（Ｓ１０２）。例えばスキャン動作検出部２０２０は、スキャン動作が記録された動画が入力されたことに応じて、その動画からスキャン動作を検出する検出モデルを有する。ここで、「スキャン動作が記録された動画」とは、その動画が、スキャン動作をカメラで撮像することで生成されたものであることを意味する。

【0044】

例えば検出モデルは、動画を構成する時系列の動画フレームを順に受け付け、受け付けた１つ以上の動画フレームからスキャン動作が検出されたら、スキャン動作が検出されたことを示す出力を行う。その後、この検出モデルは、内部状態を初期化した後、後続の動画フレームをさらに受け付ける。こうすることにより、動画１２に含まれる１つ以上のスキャン動作それぞれが、順に検出されていく。なお、検出モデルは、動画からスキャン動作が検出されたら、スキャン動作の始点と終点を示す情報（例えば、スキャン動作の始点と終点それぞれの動画フレームのフレーム番号）を出力することが好適である。

【0045】

検出モデルは、スキャン動作が記録された動画を用いて予め学習される。この学習は少なくとも、正例の教師データとして、スキャン動作が記録された動画を用いて学習される。また、学習には、負例データ（すなわち、スキャン動作が記録されていない動画）がさらに利用されてもよい。

【0046】

教師データとしては、様々な動画を利用できる。例えば、正例の教師データ（すなわち、スキャン動作が記録された動画）としては、１）スキャナ２２の読み取りエリア（すなわち、商品をスキャン可能なエリア）の外に手が位置している、２）その手が読み取りエリアに入る、３）その手が読み取りエリアから出る、という一連の流れが含まれる動画が利用される。

【0047】

ただし、手に物が保持されている状態で行われた動作のみを、スキャン動作として扱うようにしてもよい。すなわち、１）スキャナ２２の読み取りエリアの外に、物を保持した手が位置している、２）その手がその物を保持したまま読み取りエリアに入る、３）その手がその物を保持したまま読み取りエリアから出る、という一連の流れが含まれる動画が、正例の教師データとして利用される。この場合、１）から３）のいずれかにおいて物が保持されていない動作が記録された動画については、負例の教師データ（すなわち、スキャン動作が記録されていない動画）として扱われる。

【0048】

また、手が所定の形状になっている状態で行われた動作のみを、スキャン動作として扱うようにしてもよい。すなわち、１）スキャナ２２の読み取りエリアの外に、所定の形状をした手が位置している、２）その手がその形状を保ったまま読み取りエリアに入る、３）その手がその形状を保ったまま読み取りエリアから出る、という一連の流れが含まれる動画が、正例の教師データとして利用される。この場合、１）から３）のいずれかにおいて手の形状が所定の形状になっていない動作が記録された動画については、負例の教師データ（すなわち、スキャン動作が記録されていない動画）として扱われる。

【0049】

さらに、上の２つの例を合わせ、「所定の形状になっている手により、物が保持されている」という状態で行われた動作のみを、スキャン動作として扱うようにしてもよい。この場合、物が保持されているが手の形状が所定の形状になっていない場合や、手の形状が所定の形状になっているが物が保持されていない場合は、スキャン動作として扱われない。

【0050】

その他にも例えば、手の移動方向が所定の方向であるという条件や、スキャナ２２の読み取りエリアに所定の時間以上手が留まっているという条件などを満たす動作のみを、スキャン動作として扱うようにしてもよい。また、手のひらが写っていたらスキャン動作として扱わないようにしてもよい。

【0051】

なお、動画１２からスキャン動作を検出する方法は、学習済みモデルを利用する方法に限定されず、動画から所定の動作を検出する種々の手法を利用することができる。

【0052】

＜スキャン動作の回数と登録商品の個数との比較：Ｓ１０４＞
第１判定部２０４０は、対象取引について、スキャン動作の登録回数と登録商品の個数とを比較することで、これらの関係について所定条件が満たされているか否かを判定する（Ｓ１０４）。所定条件は、登録商品の個数がスキャン動作の回数以上である場合に成り立つ条件である。例えば、「登録商品の個数がスキャン動作の回数以上である」や「登録商品の個数からスキャン動作の回数を引いた値が０以上である」などといった条件である。なお、一度のスキャン動作でスキャンできる商品が１つに限定されている（すなわち、スキャナ２２が一度に１つの商品のみをスキャンできる）ケースでは、所定条件は、登録商品の個数とスキャン動作の回数とが一致する場合に成り立つ条件（「登録商品の個数がスキャン動作と一致する」や「登録商品の個数からスキャン動作の回数を引いた値が０である」などといった条件）とすることが好適である。

【0053】

上記所定条件が満たされているか否かの判定を行うために、第１判定部２０４０は、対象取引について（すなわち、現在行われている取引について）、スキャン動作の回数と登録商品の個数を取得する。言い換えれば、第１判定部２０４０は、対象取引についての登録開始時点から登録終了時点の期間について、その期間に行われたスキャン動作の回数と、その期間に登録された商品の個数とを特定する。

【0054】

この点、前述したように、スキャン動作検出部２０２０は、登録開始時点から登録終了時点までの動画１２を解析して、その中に含まれるスキャン動作を検出する。そこで第１判定部２０４０は、検出されたスキャン動作の数をカウントすることで、スキャン動作の回数を特定する。また、登録商品の個数については、商品登録装置２０から取得することができる。そこで、第１判定部２０４０は、商品登録装置２０から、登録商品の個数を取得する。

【0055】

＜所定条件が満たされなかった際の出力：Ｓ１０６＞
対象取引について、スキャン動作の回数と登録商品の個数との関係が所定条件を満たしていない場合（Ｓ１０４：ＮＯ）、第１出力部２０６０は所定の出力処理を行う（Ｓ１０６）。所定の出力処理としては、様々な処理を採用できる。以下、所定の出力処理をいくつか例示する。

【0056】

＜＜所定の出力処理の例１＞＞
例えば第１出力部２０６０は、登録されなかった商品の存在をユーザに認識させるメッセージを商品登録装置２０に出力する。例えばこのメッセージは、商品登録装置２０のディスプレイ装置に表示されたり、商品登録装置２０のスピーカから音声として出力されたりする。

【0057】

ここで、商品登録装置２０に出力されるメッセージについて、商品登録装置２０における画面遷移について説明を交えながら、より具体的に例示する。図６は、商品登録装置２０の画面遷移を例示する図である。なお、図６の各画面は、登録確認装置２０００の説明のために簡略化したものであり、実運用の際の各画面には、ここで示されてない種々の情報が表示されうる。また、図６では、商品登録装置２０と精算装置が一体として設けられているケースが想定されている。

【0058】

画面３０は、商品の登録が開始される前に商品登録装置２０のディスプレイ装置に表示される画面である。ユーザがボタン３２を押すと、ディスプレイ装置に表示される画面は、画面４０へ遷移する。画面４０は、商品の登録が行われている間、商品登録装置２０のディスプレイ装置に表示される。なお、画面４０には、検出されたスキャン動作の回数と、登録された商品の個数の双方が表示されるようにしてもよい。この場合、登録確認装置２０００は、スキャン動作の回数をリアルタイムでカウントする。このようにスキャン動作の回数と登録された商品の回数が画面に表示されるようにすることで、スキャン動作が監視されていることをユーザが認識できるため、防犯の効果が期待できる。

【0059】

全ての商品についてスキャン動作を終えたら、ユーザは、ボタン４２を押す。登録確認装置２０００は、ボタン４２が押されたことに応じて、スキャン動作の回数と登録商品の個数の関係が所定条件を満たしているか否かを判定する。

【0060】

所定条件が満たされている場合、対象取引は、商品の登録から精算へ移行する。そのため、ディスプレイ装置に表示される画面は、精算画面（代金の支払いを行うための画面）へ遷移する。ここで、精算画面の構成は任意である。

【0061】

一方、所定条件が満たされていない場合、ディスプレイ装置に表示される画面は、画面５０へ遷移する。画面５０には、商品の登録のやり直しを促すメッセージが含まれている。商品の登録をやり直す場合、ユーザはボタン５２を押下する。ボタン５２が押されると、商品登録装置２０の状態は、再度商品の登録を受け付ける状態に遷移する。そのため、ディスプレイ装置に表示される画面は、画面４０へ遷移する。

【0062】

ただし、商品の登録をやり直す場合の画面は、画面４０とは異なる画面であってもよい。例えば後述するように、登録されなかった商品についてのみ登録をやり直すケースでは、登録されなかった商品をユーザが把握できる必要がある。そのため、登録されなかった商品を把握するための情報が画面に表示されるようにする。なお、登録されなかった商品を把握するための情報については後述する。

【0063】

商品の登録をやり直さない場合、ユーザは、ボタン５４を押下する。ボタン５４が押された場合、対象取引は商品の登録から精算へ移行する。そのため、ディスプレイ装置に表示される画面は、精算画面へ遷移する。なお、ボタン５４を表示せず、所定の条件が満たされなかった場合には、必ず商品の登録をやり直さなければならないようにしてもよい。

【0064】

ここで、「商品の登録のやり直し」とは、商品の登録を全てやり直すことであってもよいし、登録されなかった商品についてのみ登録をやり直すこと（言い換えれば、商品を追加で登録すること）であってもよい。前者の場合、ボタン５２が押されたら、商品登録装置２０は、既に登録された商品の情報を全てクリアして、商品の登録を受け付ける状態に遷移する。そこでユーザは、全ての商品について、再度スキャン動作を行う。

【0065】

一方、登録されなかった商品についてのみ登録をやり直す場合、ボタン５２が押されたら、商品登録装置２０は、既に登録された商品の情報をクリアせずに、商品の登録を受け付ける状態に遷移する。そこでユーザは、登録されなかった商品についてのみ、再度スキャン動作を行う。

【0066】

登録されなかった商品についてのみ登録をやり直す場合、ユーザは、登録されなかった商品を把握する必要がある。そこで第１出力部２０６０は、登録されなかった商品をユーザが把握するための情報を出力する。例えば第１出力部２０６０は、登録されなかった商品について行われたスキャン動作が記録された画像を、ユーザに提示する。この画像を見ることで、ユーザは、どの商品が登録されなかったのかを把握することができる。

【0067】

登録されなかった商品のスキャン動作が記録された画像は、各商品が登録された時点と、各スキャン動作が行われた期間とを比較することにより、特定することができる。具体的には、或るスキャン動作によって商品が登録される場合、その商品の登録は、そのスキャン動作の開始時点から終了時点までの間の期間（以下、スキャン動作の期間）内に行われる。そのため、或る商品が登録された時点が或るスキャン動作の期間内であれば、その商品はそのスキャン動作で登録されたということが分かる。

【0068】

そこで第１出力部２０６０は、各スキャン動作の期間と各商品が登録された時点とを比較することで、スキャン動作と、そのスキャン動作によって登録された商品との対応付けを行う。より具体的には、第１出力部２０６０は、スキャン動作と、そのスキャン動作の期間内に登録された商品とを対応付ける。この処理によれば、商品が登録されたスキャン動作に対しては商品が対応付けられる一方、商品が登録されなかったスキャン動作に対しては商品が対応付けられない。そこで第１出力部２０６０は、商品が対応付けられなかったスキャン動作を、商品が登録されなかったスキャン動作として特定する。なお、各スキャン動作の期間は、例えば、そのスキャン動作の始点として検出された動画フレームの生成時点から、そのスキャン動作の終点として検出された動画フレームの生成時点までの期間として特定することができる。

【0069】

図７は、スキャン動作と商品との対応付けを概念的に示す図である。図７では、スキャン動作ＸからＺという３つのスキャン動作が行われている。一方、登録された商品はＡとＢの２つである。そのため、商品が登録されなかったスキャン動作が１つ存在する。

【0070】

ここで、商品ＡとＢはそれぞれ、スキャン動作ＸとＺの期間内に登録されている。そこで第１出力部２０６０は、商品ＡとＢをそれぞれ、スキャン動作ＸとＺに対応付ける。そして、スキャン動作Ｙにはいずれの商品も対応付けられない。そのため、第１出力部２０６０は、商品が登録されなかったスキャン動作として、スキャン動作Ｙを特定する。

【0071】

第１出力部２０６０は、商品が登録されなかったスキャン動作についての情報を出力する。例えばこの情報は、当該スキャン動作が記録された画像である。この画像は、スキャン動作の始点から終点までの複数の動画フレーム（すなわち、動画）であってもよいし、その動画に含まれる一部の動画フレーム（例えば１つの動画フレーム）であってもよい。

【0072】

後者の場合、ユーザにとって商品を把握しやすい画像が出力されることが好適である。そこで例えば、第１出力部２０６０は、商品が登録されなかったスキャン動作が記録された動画を構成する各動画フレームの中から、商品を表す画像領域のサイズが最も大きいものを特定し、その動画フレームを出力する。

【0073】

ここで、スキャナ２２がカメラで実現されている場合、スキャン動作が記録された画像に代えて、又はスキャン動作が記録された画像と共に、スキャナ２２によって生成された画像が出力されてもよい。スキャン動作が記録された画像と比較し、スキャナ２２によって生成された画像では、商品が大きく撮像されていると考えられるため、商品の把握がより容易になる。

【0074】

例えば第１出力部２０６０は、スキャナ２２によって生成された複数の画像（動画）のうち、商品が登録されなかったスキャン動作の期間に生成されたものを出力する。その他にも例えば、第１出力部２０６０は、動画１２に記録されたスキャン動作を解析することで、そのスキャン動作で商品がスキャナ２２の読み取り範囲の中心を通過した時点を特定し、その時点にスキャナ２２が生成した画像を出力してもよい。

【0075】

また、出力される各画像は、カメラによって生成された画像全体ではなく、その中から商品を含む一部の画像領域のみが切り出されたものであってもよい。ここで、画像の中から商品を含む一部の画像領域のみを切り出す技術には、既存の技術を利用することができる。例えば、商品を含む画像領域は、手を含む所定サイズの画像領域として得ることができる。その他にも例えば、商品を含む画像領域は、入力画像から、商品を表す画像領域のみを検出するように学習されたモデルを利用することで得ることができる。

【0076】

登録されなかった商品を把握するための情報は、商品が登録されなかったスキャン動作に関する情報に限定されない。例えば第１出力部２０６０は、登録された商品の一覧をユーザに提示してもよい。この場合、ユーザは、提示された一覧と、自分が購入しようとしている商品とを比較することにより、どの商品が登録されなかったのかを把握することができる。例えば、提示された一覧に商品ＡとＢが示されており、ユーザが購入しようとしている商品がＡ、Ｂ、及びＣであるとする。この場合、ユーザは、商品Ｃが登録されなかったものであると把握できるため、商品Ｃの登録をやり直すことができる。

【0077】

その他にも例えば、第１出力部２０６０は、商品が登録されなかったスキャン動作が記録された画像を解析することで、登録されなかった商品を特定し、その商品の識別情報（名称など）を出力してもよい。ここで、画像に含まれる商品を画像解析によって特定する技術には、既存の技術を利用することができる。

【0078】

＜＜所定の出力処理の例２＞＞
例えば第１出力部２０６０は、スキャン動作の回数と登録商品の個数との関係について所定条件が満たされなかったことを把握可能な出力（すなわち、商品が登録されなかったスキャン動作が存在することを把握可能な出力）を、店員や警備員などといった店舗の関係者に対して行ってもよい。例えば、第１出力部２０６０は、所定の出力情報を、店員や警備員が所持する携帯端末へ送信する。その他にも例えば、商品が登録されなかったスキャン動作が検出された商品登録装置２０が、顧客によって操作されている商品登録装置２０である場合、第１出力部２０６０は、店員によって操作されている商品登録装置２０に対して、前述した出力情報を出力してもよい。

【0079】

出力情報に含める情報は様々である。例えば出力情報には、商品が登録されなかったスキャン動作が行われた商品登録装置２０の識別情報や、そのスキャン動作を行ったユーザの画像（特に、顔画像）が含まれる。例えばユーザの画像は、監視カメラなどのように、ユーザの顔などが撮像可能なように設置されたカメラから得られる。また、カメラ１０が、ユーザの手元だけではなく、ユーザの顔なども撮像できるように設けられている場合、第１出力部２０６０は、カメラ１０からユーザの画像を得てもよい。

【0080】

所定の出力情報には、商品が登録されなかったスキャン動作が記録された画像が含まれていてもよい。この画像を閲覧することで、店員等は、商品が登録されなかったスキャン動作が、故意に商品が登録されないように行われた可能性がある動作なのか、単なるスキャンミスなのかを、ある程度把握することができる。なお、商品が登録されなかったスキャン動作が記録された画像を特定する方法は、前述した通りである。

【0081】

また、第１出力部２０６０は、音や光などを利用して、所定条件が満たされなかったことを店員等が把握できるようにしてもよい。例えば、商品登録装置２０に周囲から視認可能なランプが設けられている場合、第１出力部２０６０は、そのランプを所定の方法で点灯又は点滅させることで、その商品登録装置２０における対象取引で所定条件が満たされなかったことを表す出力を行う。その他にも例えば、商品登録装置２０に設けられているスピーカから所定の音声を出力するようにしてもよい。

【0082】

＜＜スキャン動作の特徴に応じた出力処理の変更＞＞
商品が登録されないスキャン動作には、意図せず商品が登録されなかったもの（商品を登録する意思を持ってスキャン動作をしたにもかかわらず、商品が登録されなかったもの）と、意図して商品が登録されないようにしたもの（商品と登録する意思がなかったもの）とが存在しうる。以下、前者を非不正スキャン動作と呼び、後者を不正スキャン動作と呼ぶ。登録確認装置２０００は、商品が登録されなかったスキャン動作が、非不正スキャン動作と不正スキャン動作のどちらであるかを判別し、判別結果に応じて、出力処理を異ならせてもよい。

【0083】

例えば第１出力部２０６０は、商品が登録されなかったスキャン動作が非不正スキャン動作である場合、前述した例１の出力処理を行う。一方、不正スキャン動作であった場合、第１出力部２０６０は、前述した例２の出力処理、又は例１と例２の出力処理の双方を行う。こうすることで、ユーザが不正な操作を行ったわけではない場合には、商品の登録のやり直しを促すに留め、ユーザが不正な操作を行った場合には、店員等に通知することによって、防犯体制を整えるなどといった対処ができるようにする。

【0084】

このような処理を実現する場合、スキャン動作検出部２０２０は、非不正スキャン動作と不正スキャン動作とを判別できるように構成される。例えば、スキャン動作を検出する検出モデルに、スキャン動作を検出することに加え、そのスキャン動作が非不正スキャン動作と不正スキャン動作のどちらなのかを判別する機能を持たせる。この場合、非不正スキャン動作が記録された動画と、不正スキャン動作が記録された動画の双方を用いて、検出モデルの学習が行われる。

【0085】

不正スキャン動作として扱う動作は、例えば、登録確認装置２０００の管理者などによって定められる。例えば、ユーザが商品のバーコードの位置を確認したにもかかわらず、バーコードが手で隠された状態でスキャン動作が行われた場合、この動作は不正スキャン動作であると考えられる。その他にも例えば、スキャナ２２の読み取りエリアを避けるように商品を移動させるスキャン動作や、商品を重ねて手に持ち、カメラ１０に映る商品とスキャナ２２に読み取らせる商品が異なるように移動させるスキャン動作などは、不正スキャン動作であると考えられる。

【0086】

その他にも例えば、不正スキャン動作であるか否かは、商品の登録に必要な情報がどの程度得られるかによっても判別しうる。例えば、商品のバーコードが少しだけ隠れているようなスキャン動作は、非不正スキャン動作だと予測できる。一方で、商品のバーコードの大部分又は全てが隠れているようなスキャン動作は、不正スキャン動作だと予測できる。なお、スキャナ２２が商品を撮像するカメラである場合、商品が隠れている度合いで、不正スキャン動作か否かが予測できる。

【0087】

そこで、非不正スキャン動作を学習させるための動画と、不正スキャン動作を学習させるための動画とで、商品や商品のバーコードが隠れている度合いを変えるようにする。こうすることで、検出モデルは、商品や商品のバーコードが隠れている度合いに応じて、非不正スキャン動作と不正スキャン動作とを判別できるようになる。

【0088】

＜所定条件が満たされた場合の処理＞
スキャン動作の回数と登録商品の個数との関係について所定条件を満たされる場合において、登録確認装置２０００が行う処理は任意である。例えば登録確認装置２０００は、商品の登録が正常に完了したことを、商品登録装置２０へ通知する。商品登録装置２０は、この通知を受信したことに応じて、商品の登録を完了させる処理を行う。ここで、商品の登録が完了したことを受けて商品登録装置２０が行う処理には、既存の種々の処理を採用することができる。例えば商品登録装置２０と精算装置が一体として設けられている場合、商品登録装置２０の状態が、代金の支払いを受け付ける状態に遷移する。一方、商品登録装置２０と精算装置が別体で設けられている場合、例えば商品登録装置２０は、精算装置で支払いを行うことを促すメッセージなどをディスプレイ装置に表示させる。なお、商品登録装置２０と登録確認装置２０００が一体として設けられている場合、登録確認装置２０００から商品登録装置２０への通知は不要となる。

【0089】

＜スキャン動作以外の監視について＞
登録確認装置２０００が運用される店舗では、スキャン動作以外の監視がさらに行われてもよい。例えば、顧客が未登録の商品をカバンなどに入れる動作や、店員が精算装置のドロアから取り出したお金をポケットに入れる動作などが監視される。この動作の監視は、顧客や店員の動作を撮像するカメラから得られる動画を解析することで行われる。このカメラは、スキャン動作の監視に利用されるカメラ１０であってもよいし、その他のカメラであってもよい。

【0090】

［実施形態２］
＜概要＞
図８は、本実施形態の登録確認装置２０００の概要を説明するための図である。なお、図８は、登録確認装置２０００に対する理解を容易にするための例示であり、登録確認装置２０００の機能は図８に表されているものに限定されない。また、特に説明しない限り、実施形態２の登録確認装置２０００は、実施形態１の登録確認装置２０００と同様の機能を有する。

【0091】

実施形態２の登録確認装置２０００は、取引ごとではなく、スキャン動作ごとに、スキャン動作に応じて商品の登録が正常に行われか否かを確認する。具体的には、登録確認装置２０００は、動画１２からスキャン動作を検出し、さらに、そのスキャン動作に応じて商品が精算対象として登録されたか否かを判定する。そして、登録確認装置２０００は、スキャン動作に応じて商品が登録されなかった場合（すなわち、スキャン動作は検出されたが、商品の登録は行われなかった場合）に、所定の出力処理を行う。例えば所定の出力処理は、商品が登録されなかったことをユーザに認識させるための通知である。

【0092】

＜作用効果の一例＞
本実施形態の登録確認装置２０００によれば、スキャン動作に応じて商品が精算対象として登録されたか否かが判定され、登録されていない場合には、所定の出力処理が行われる。ここで、登録確認装置２０００は、スキャン動作が記録された動画１２を解析することによって、スキャン動作を検出する。そのため、物体の通過を感知するセンサを利用してスキャン動作を検出するケースと比較し、スキャン動作を高い精度で検出することができる。よって、スキャン動作によって商品が精算対象として登録されたか否かを、精度よく確認することができる。

【0093】

＜登録確認装置２０００の機能構成の例＞
図９は、実施形態２の登録確認装置２０００の機能構成を例示する図である。実施形態２の登録確認装置２０００は、スキャン動作検出部２０２０、第２判定部２０８０、及び第２出力部２１００を有する。実施形態２のスキャン動作検出部２０２０は、実施形態１のスキャン動作検出部２０２０と同様である。第２判定部２０８０は、検出されたスキャン動作に応じて商品の登録が行われたか否かを判定する。第２出力部２１００は、検出されたスキャン動作に応じて商品の登録が行われなかった場合に、所定の出力処理を行う。

【0094】

＜ハードウエア構成の例＞
本実施形態の登録確認装置２０００のハードウエア構成は、例えば、実施形態１の登録確認装置２０００のハードウエア構成と同様に、図３で表される。ただし、本実施形態のストレージデバイス１０８０には、本実施形態の登録確認装置２０００を実現するプログラムが格納されている。

【0095】

＜処理の流れ＞
図１０は、実施形態２の登録確認装置２０００によって実行される処理の流れを例示するフローチャートである。スキャン動作検出部２０２０は、動画１２からスキャン動作を検出する（Ｓ３０２）。第２判定部２０８０は、スキャン動作に応じて商品が登録されたか否かを判定する（Ｓ３０４）。スキャン動作に応じて商品が登録されていない場合（Ｓ３０４：ＮＯ）、第２出力部２１００は所定の出力処理を行う。図１０の処理は、対象取引についての商品の登録が開始されてから終了されるまでの間、繰り返し実行される。

【0096】

＜商品が登録されたか否かの判定：Ｓ３０４＞
第２判定部２０８０は、スキャン動作に応じて商品が登録されたか否かを判定する（Ｓ３０４）。例えば第２判定部２０８０は、スキャン動作検出部２０２０によってスキャン動作が検出されたら、第２判定部２０８０において前回判定が行われた時点以降に、商品登録装置２０において新たな商品が登録されたか否かを判定する。そして、前回の判定以降に新たな商品が登録されていたら、第２判定部２０８０は、スキャン動作に応じて商品が登録されたと判定する。一方、前回の判定以降に新たな商品が登録されていなかったら、第２判定部２０８０は、スキャン動作に応じて商品が登録されなかったと判定する。なお、商品の登録についての情報は、商品登録装置２０から得ることができる。

【0097】

その他にも例えば、第２判定部２０８０は、スキャン動作検出部２０２０によって検出されたスキャン動作の期間に登録された商品が存在するか否かを判定し、当該スキャン動作の期間に登録された商品が存在したら、当該スキャン動作に応じて商品が登録されたと判定してもよい。また、スキャン動作の期間に登録された商品が存在しなかったら、当該スキャン動作に応じて商品が登録されなかったと判定される。

【0098】

＜第２出力部２１００による出力処理：Ｓ３０６＞
スキャン動作に応じて商品が登録されなかった場合（Ｓ３０４：ＮＯ）、第２出力部２１００は、所定の出力処理を行う。所定の出力処理としては、様々な処理を採用できる。以下、所定の出力処理をいくつか例示する。

【0099】

＜＜所定の出力処理の例１＞＞
例えば第２出力部２１００は、商品が登録されなかったことをユーザに認識させるメッセージを商品登録装置２０に出力する。例えばこのメッセージは、商品登録装置２０のディスプレイ装置に表示されたり、商品登録装置２０のスピーカから音声として出力されたりする。

【0100】

ここで、商品登録装置２０に出力されるメッセージについて、商品登録装置２０における画面遷移について説明を交えながら、より具体的に例示する。図１１は、商品登録装置２０の画面遷移を例示する図である。なお、図１１の各画面は、登録確認装置２０００の説明のために簡略化したものであり、実運用の際の各画面には、ここで示されてない種々の情報が表示されうる。また、図１１では、商品登録装置２０と精算装置が一体として設けられているケースが想定されている。

【0101】

画面３０と画面４０は、実施形態１で説明したもの（図６の画面３０と画面４０）と同じである。ただし、本実施形態では、画面４０が表示されてからの画面遷移が、実施形態１のケースと異なる。画面４０がディスプレイ装置に表示されると、ユーザは、スキャン動作を行って商品の登録を行う。登録確認装置２０００は、動画１２を解析してスキャン動作を検出し、スキャン動作に応じて商品が登録されたか否かを判定する。スキャン動作に応じて商品が登録された場合、商品登録装置２０は、引き続き商品のスキャンを受け付ける。そのため、商品登録装置２０のディスプレイ装置には、画面４０が表示され続ける。

【0102】

一方、スキャン動作に応じて商品が検出されなかった場合、ディスプレイ装置に表示される画面は、画面６０に遷移する。画面６０には、商品の登録のやり直しを促すメッセージが含まれている。そこでユーザは、直前のスキャン動作で商品登録装置２０にスキャンさせようとした商品について、再度スキャン動作を行って、商品の登録を試みる。

【0103】

登録確認装置２０００は、動画１２を解析してスキャン動作を検出し、スキャン動作に応じて商品が登録されたか否かを判定する。スキャン動作に応じて商品が登録された場合、ディスプレイ装置に表示される画面は、画面７０へ遷移する。一方、スキャン動作に応じて商品が登録されなかった場合、ディスプレイ装置には画面６０が表示され続ける。

【0104】

画面７０には、商品の登録が正常に行われた旨を示すメッセージが表示されている。商品の登録を終了する場合、ユーザはボタン７２を押す。ボタン７２が押されると、ディスプレイ装置に表示される画面は、精算画面へ遷移する。さらに商品の登録を行う場合、ユーザは、スキャン動作を行って商品の登録を試みる。スキャン動作に応じて商品が登録されたら、ディスプレイ装置に表示される画面は、画面４０に遷移する。一方、スキャン動作に応じて商品が登録されなかったら、ディスプレイ装置に表示される画面は、画面６０に遷移する。

【0105】

なお、図１１の例において、商品の登録が正常に行われた旨を示すメッセージは、商品の登録をやり直した場合のみ表示されている。しかしながら、このメッセージは、商品の登録をやり直したか否かにかかわらず、商品が登録されたことに応じて表示されてもよい。

【0106】

なお、本実施形態では、スキャン動作の度に商品が登録されたか否かの判定が行われるため、「商品の登録のやり直し」では、直前のスキャン動作で登録しようとした商品についてのみ、スキャン動作をやり直せばよい。

【0107】

＜＜所定の出力処理の例２＞＞
例えば第２出力部２１００は、スキャン動作に応じて商品が登録されなかったことを把握可能な出力を、店員や警備員などといった店舗の関係者に対して行ってもよい。例えば、第２出力部２１００は、所定の出力情報を、店員や警備員が所持する携帯端末へ送信する。その他にも例えば、スキャン動作に応じて商品が登録されなかった商品登録装置２０が、顧客によって操作されている商品登録装置２０である場合、第２出力部２１００は、店員によって操作されている商品登録装置２０に対して、前述した出力情報を出力してもよい。

【0108】

出力情報に含める情報は様々である。例えば出力情報には、スキャン動作に応じて商品が登録されなかった商品登録装置２０の識別情報や、そのスキャン動作を行ったユーザの画像が含まれる。ユーザの画像を取得する方法は、前述した通りである。また、所定の出力情報には、商品が登録されなかったスキャン動作が記録された画像が含まれていてもよい。

【0109】

ここで、店員などに対して出力情報を出力するのは、対象取引において、スキャン動作に応じて商品が登録されないという状況が所定回数以上（２回以上）発生した場合のみに限定されてもよい。例えばスキャナ２２に異常が発生している場合、ユーザが商品の登録を繰り返し試みても、登録が正常にできない状況が発生しうる。スキャン動作に応じて商品が登録されない状況が複数回発生した場合に店員等に通知を行うことにより、店員等は、このように要注意の状況を容易に把握することができる。

【0110】

また、第２出力部２１００は、音や光などを利用して、店員等が、スキャン動作に応じて商品が登録されなかったことを把握できるようにしてもよい。例えば、商品登録装置２０に周囲から視認可能なランプが設けられている場合、第２出力部２１００は、そのランプを所定の方法で点灯又は点滅させることで、スキャン動作に応じて商品が登録されなかったことを表す出力を行う。その他にも例えば、商品登録装置２０に設けられているスピーカから所定の音声を出力するようにしてもよい。

【0111】

なお、実施形態１で説明したように、登録確認装置２０００は、スキャン動作が非不正スキャン動作とスキャン動作のどちらであるかを判別し、判別結果に応じて、出力処理を異ならせてもよい。例えば実施形態１と同様に、第２出力部２１００は、商品が登録されなかったスキャン動作が非不正スキャン動作である場合、例１の出力処理を行う。一方、不正スキャン動作であった場合、第２出力部２１００は、例２の出力処理、又は例１と例２の出力処理の双方を行う。

【0112】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

【0113】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出部と、
対象取引について、前記スキャン動作が行われた回数と、精算対象として登録された商品の個数との関係が所定条件を満たすか否かを判定する判定部と、
前記関係が前記所定条件を満たさない場合に所定の出力処理を行う出力部と、を有し、
前記所定条件は、前記登録された商品の個数が前記検出されたスキャン動作の回数以上である場合に満たされる条件である、登録確認装置。
２． 前記動画において、手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、１．に記載の登録確認装置。
３． 前記出力部は、各スキャン動作が行われた期間と、各商品が登録された時点とを比較することにより、商品が登録されなかったスキャン動作を特定し、そのスキャン動作が含まれる画像を出力する、１．又は２．に記載の登録確認装置。
４． ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出部と、
前記スキャン動作に応じて商品が精算対象として登録されたか否かを判定する判定部と、
前記スキャン動作に応じて商品が精算対象として登録されなかった場合に所定の出力処理を行う出力部と、を有し、
前記動画において、手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、登録確認装置。
５． 前記動画において、商品を持っている手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、２．から４いずれか一つに記載の登録確認装置。
６． 前記動画において、所定の基準を満たす形の手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、２．から５いずれか一つに記載の登録確認装置。
７． 前記スキャン動作検出部は、入力された動画からスキャン動作を検出する検出モデルを用いて、前記スキャン動作を検出し、
前記検出モデルは、スキャン動作をカメラで撮像することで得られた動画を利用して学習されたモデルである、１．から６いずれか一つに記載の登録確認装置。
８． 前記出力部は、商品のスキャンのやり直しを促すメッセージを出力する、１．から７いずれか一つに記載の登録確認装置。
９． 前記スキャン動作検出部は、スキャン動作が不正なスキャン動作と不正でないスキャン動作のいずれであるかを判別し、
前記出力部は、商品が登録されなかったスキャン動作が不正なスキャン動作である場合と、商品が登録されなかったスキャン動作が不正でないスキャン動作である場合とで、互いに異なる出力処理を行う、１．から８いずれか一つに記載の登録確認装置。
１０． コンピュータによって実行される制御方法であって、
ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出ステップと、
対象取引について、前記スキャン動作が行われた回数と、精算対象として登録された商品の個数との関係が所定条件を満たすか否かを判定する判定ステップと、
前記関係が前記所定条件を満たさない場合に所定の出力処理を行う出力ステップと、を有し、
前記所定条件は、前記登録された商品の個数が前記検出されたスキャン動作の回数以上である場合に満たされる条件である、制御方法。
１１． 前記動画において、手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、１０．に記載の制御方法。
１２． 前記出力ステップにおいて、各スキャン動作が行われた期間と、各商品が登録された時点とを比較することにより、商品が登録されなかったスキャン動作を特定し、そのスキャン動作が含まれる画像を出力する、１０．又は１１．に記載の制御方法。
１３． コンピュータによって実行される制御方法であって、
ユーザの手が含まれる動画を解析することでスキャン動作を検出するスキャン動作検出ステップと、
前記スキャン動作に応じて商品が精算対象として登録されたか否かを判定する判定ステップと、
前記スキャン動作に応じて商品が精算対象として登録されなかった場合に所定の出力処理を行う出力ステップと、を有し、
前記動画において、手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、制御方法。
１４． 前記動画において、商品を持っている手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、１１．から１３いずれか一つに記載の制御方法。
１５． 前記動画において、所定の基準を満たす形の手がスキャナの読み取りエリアに入り、かつ、その後にその手が読み取りエリアの外に出た場合に、スキャン動作が検出される、１１．から１４いずれか一つに記載の制御方法。
１６． 前記スキャン動作検出ステップにおいて、入力された動画からスキャン動作を検出する検出モデルを用いて、前記スキャン動作を検出し、
前記検出モデルは、スキャン動作をカメラで撮像することで得られた動画を利用して学習されたモデルである、１０．から１５いずれか一つに記載の制御方法。
１７． 前記出力ステップにおいて、商品のスキャンのやり直しを促すメッセージを出力する、１０．から１６いずれか一つに記載の制御方法。
１８． 前記スキャン動作検出ステップにおいて、スキャン動作が不正なスキャン動作と不正でないスキャン動作のいずれであるかを判別し、
前記出力ステップにおいて、商品が登録されなかったスキャン動作が不正なスキャン動作である場合と、商品が登録されなかったスキャン動作が不正でないスキャン動作である場合とで、互いに異なる出力処理を行う、１０．から１７いずれか一つに記載の制御方法。
１９． １０．から１８いずれか一つに記載の制御方法をコンピュータに実行させるプログラム。

【0114】

この出願は、２０２０年３月２日に出願された日本出願特願２０２０－０３５０５２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0115】

１０ カメラ
１２ 動画
２０ 商品登録装置
２２ スキャナ
３０ 画面
３２ ボタン
４０ 画面
４２ ボタン
５０ 画面
５２ ボタン
５４ ボタン
６０ 画面
７０ 画面
７２ ボタン
１０００ 計算機
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 登録確認装置
２０２０ スキャン動作検出部
２０４０ 第１判定部
２０６０ 第１出力部
２０８０ 第２判定部
２１００ 第２出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】