特許 7602608 画像表示装置、画像表示方法および画像表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】画像表示装置、画像表示方法および画像表示プログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20241211BHJP

   G07G 1/01 20060101ALI20241211BHJP

   G07G 1/12 20060101ALI20241211BHJP

【ＦＩ】

G07G1/00 331B

G07G1/00 311E

G07G1/01 301D

G07G1/12 341Z

【請求項の数】 12

(21)【出願番号】P 2023199071

(22)【出願日】2023-11-24

【審査請求日】2023-12-21

(73)【特許権者】

【識別番号】518163150

【氏名又は名称】株式会社サードアイズ

(74)【代理人】

【識別番号】100160314

【弁理士】

【氏名又は名称】西村 公芳

(74)【代理人】

【識別番号】100087745

【弁理士】

【氏名又は名称】清水 善廣

(74)【代理人】

【識別番号】100118094

【弁理士】

【氏名又は名称】殿元 基城

(74)【代理人】

【識別番号】100134038

【弁理士】

【氏名又は名称】野田 薫央

(72)【発明者】

【氏名】北川 政知

【審査官】山本 裕太

(56)【参考文献】

【文献】特開２０１１－０５４０３８（ＪＰ，Ａ）

【文献】特開２００７－２９３７６３（ＪＰ，Ａ）

【文献】特開２０２２－１２０１６６（ＪＰ，Ａ）

【文献】特開２０２２－１１１３７８（ＪＰ，Ａ）

【文献】特開２０１６－２２４７３４（ＪＰ，Ａ）

【文献】特開２００９－２８９２２２（ＪＰ，Ａ）

【文献】特開２０２３－０９１０８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００

Ｇ０７Ｇ １／０１

Ｇ０７Ｇ １／１２

(57)【特許請求の範囲】

【請求項1】

レジのバーコード読取部周辺の様子を撮影するカメラと、
該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、
前記キャプチャ画像を表示する表示手段と
を備え、
前記制御手段は、
前記カメラより前記カメラ映像を取得し、
取得した前記カメラ映像に対して画像解析処理を行うことにより、前記バーコード読取部周辺を商品が移動したことを検出した場合に、当該商品が前記バーコード読取部周辺を移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成し、
作成した前記キャプチャ画像を前記表示手段に出力すること
を特徴とする画像表示装置。

【請求項2】

前記制御手段は、
前記バーコード読取部で前記商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得し、
前記カメラ映像に基づいて前記キャプチャ画像を作成したタイミングに対応して、前記バーコード読取信号を取得できなかった場合に報知を行うこと
を特徴とする請求項１に記載の画像表示装置。

【請求項3】

レジのバーコード読取部周辺の様子を撮影するカメラと、
該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、
該制御手段により作成された前記キャプチャ画像を表示する表示手段と
を備え、
前記制御手段は、
前記カメラより前記カメラ映像を取得し、
前記バーコード読取部で商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得し、
該バーコード読取信号を取得したタイミングに応じて、前記バーコード読取部周辺を前記商品が移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成し、
前記カメラより取得した前記カメラ映像を、前記キャプチャ画像と共に前記表示手段に出力すること
を特徴とする画像表示装置。

【請求項4】

前記制御手段は、
前記カメラより取得した前記カメラ映像を、前記キャプチャ画像と共に前記表示手段に出力すること
を特徴とする請求項１又は請求項２に記載の画像表示装置。

【請求項5】

レジのバーコード読取部周辺の様子を撮影するカメラと、
該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、
前記キャプチャ画像を表示する表示手段と、
を備えた画像表示装置の画像表示方法であって、
前記制御手段が、
前記カメラより前記カメラ映像を取得するカメラ映像取得ステップと、
該カメラ映像取得ステップにおいて取得した前記カメラ映像に対して画像解析処理を行う画像解析ステップと、
該画像解析ステップにおいて画像解析された前記カメラ映像に基づいて、前記バーコード読取部周辺を移動する商品が検出されたか否かを判断する商品検出ステップと、
該商品検出ステップにおいて前記バーコード読取部周辺を移動する商品が検出された場合に、当該商品が前記バーコード読取部周辺を移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成するキャプチャ画像作成ステップと、
該キャプチャ画像作成ステップにおいて作成された前記キャプチャ画像を、前記表示手段に出力するキャプチャ画像出力ステップと
を有することを特徴とする画像表示方法。

【請求項6】

前記制御手段が、
前記バーコード読取部で前記商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得するバーコード読取信号取得ステップと、
前記キャプチャ画像作成ステップにおいて前記キャプチャ画像を作成したタイミングに対応して、前記バーコード読取信号取得ステップにおいて前記バーコード読取信号を取得できなかった場合に報知を行う報知ステップと
を有することを特徴とする請求項５に記載の画像表示方法。

【請求項7】

レジのバーコード読取部周辺の様子を撮影するカメラと、
該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、
前記キャプチャ画像を表示する表示手段と
を備えた画像表示装置の画像表示方法であって、
前記制御手段が、
前記カメラより前記カメラ映像を取得するカメラ映像取得ステップと、
前記バーコード読取部で商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得するバーコード読取信号取得ステップと、
該バーコード読取信号取得ステップにおいて前記バーコード読取信号を取得したタイミングに応じて、前記バーコード読取部周辺を前記商品が移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成するキャプチャ画像作成ステップと、
前記カメラ映像取得ステップにおいて取得した前記カメラ映像を、前記キャプチャ画像作成ステップにおいて作成された前記キャプチャ画像と共に、前記表示手段に出力するキャプチャ画像出力ステップと
を有することを特徴とする画像表示方法。

【請求項8】

前記制御手段は、前記キャプチャ画像出力ステップにおいて、
前記カメラ映像取得ステップにおいて取得した前記カメラ映像を、前記キャプチャ画像作成ステップにおいて作成された前記キャプチャ画像と共に、前記表示手段に出力させること
を特徴とする請求項５又は請求項６に記載の画像表示方法。

【請求項9】

レジのバーコード読取部周辺の様子を撮影するカメラと、
該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、
前記キャプチャ画像を表示する表示手段と、
を備えた画像表示装置の画像表示プログラムであって、
前記制御手段に、
前記カメラより前記カメラ映像を取得させるカメラ映像取得機能と、
該カメラ映像取得機能により取得された前記カメラ映像に対して画像解析処理を行わせる画像解析機能と、
該画像解析機能により画像解析された前記カメラ映像に基づいて、前記バーコード読取部周辺を移動する商品が検出されたか否かを判断させる商品検出機能と、
該商品検出機能により前記バーコード読取部周辺を移動する商品が検出された場合に、当該商品が前記バーコード読取部周辺を移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成させるキャプチャ画像作成機能と、
該キャプチャ画像作成機能により作成された前記キャプチャ画像を、前記表示手段に出力させるキャプチャ画像出力機能と
を実現させることを特徴とする画像表示プログラム。

【請求項10】

前記制御手段に、
前記バーコード読取部で前記商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得させるバーコード読取信号取得機能と、
前記キャプチャ画像作成機能により前記キャプチャ画像を作成したタイミングに対応して、前記バーコード読取信号取得機能により前記バーコード読取信号を取得できなかった場合に報知を行わせる報知機能と
を実現させることを特徴とする請求項９に記載の画像表示プログラム。

【請求項11】

レジのバーコード読取部周辺の様子を撮影するカメラと、
該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、
前記キャプチャ画像を表示する表示手段と
を備えた画像表示装置の画像表示プログラムであって、
前記制御手段に、
前記カメラより前記カメラ映像を取得させるカメラ映像取得機能と、
前記バーコード読取部で商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得させるバーコード読取信号取得機能と、
該バーコード読取信号取得機能によって前記バーコード読取信号を取得したタイミングに応じて、前記バーコード読取部周辺を前記商品が移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成させるキャプチャ画像作成機能と、
前記カメラ映像取得機能により取得された前記カメラ映像を、前記キャプチャ画像作成機能により作成された前記キャプチャ画像と共に、前記表示手段に出力させるキャプチャ画像出力機能と
を実現させることを特徴とする画像表示プログラム。

【請求項12】

前記キャプチャ画像出力機能において、前記制御手段に、
前記カメラ映像取得機能により取得された前記カメラ映像を、前記キャプチャ画像作成機能により作成された前記キャプチャ画像と共に、前記表示手段に出力させること
を特徴とする請求項９又は請求項１０に記載の画像表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示装置、画像表示方法および画像表示プログラムに関し、より詳細には、レジ操作の様子を表示手段に表示させることが可能な画像表示装置、画像表示方法および画像表示プログラムに関する。

【背景技術】

【0002】

従来より、コンビニエンスストアやスーパーマーケット等の店舗では、客が商品を購入した時刻情報、店舗番号（店舗特定情報）、端末番号（レジ番号、レジ特定情報）、商品名、商品個数、商品金額、購入合計金額等をジャーナルデータとして電子的に記録する決済端末（ＰＯＳ（Point of Sales）レジ、以下、「レジ」と称する）が導入されている。

【0003】

さらに、近年では、客が自分でレジ操作を行うことによって、購入商品の会計処理を行うセルフレジ（セルフ決済端末）が多く設置されている。セルフレジを用いて客がレジ操作を行うことにより、レジ操作専用のスタッフが不要となるため人件費等の削減等を図ることできる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１０－２０８１４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、セルフレジを利用する客の一部には、一部の商品のバーコードをスキャンせずに会計処理を終了したり、同一商品を複数まとめて購入する際に、購入個数よりも少ない数だけバーコードをスキャンして会計処理を終了したりして、不正行為を行う者がいる。

【0006】

本発明は、上記問題に鑑みてなされたものであり、レジにおける不正なレジ操作を抑制することが可能な画像表示装置、画像表示方法および画像表示プログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る画像表示装置は、レジのバーコード読取部周辺の様子を撮影するカメラと、該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、前記キャプチャ画像を表示する表示手段とを備え、前記制御手段は、前記カメラより前記カメラ映像を取得し、取得した前記カメラ映像に対して画像解析処理を行うことにより、前記バーコード読取部周辺を商品が移動したことを検出した場合に、当該商品が前記バーコード読取部周辺を移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成し、作成した前記キャプチャ画像を前記表示手段に出力することを特徴とする。

【0008】

また、上記画像表示装置において前記制御手段は、前記バーコード読取部で前記商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得し、前記カメラ映像に基づいて前記キャプチャ画像を作成したタイミングに対応して、前記バーコード読取信号を取得できなかった場合に報知を行うものであってもよい。

【0009】

本発明に係る画像表示装置は、レジのバーコード読取部周辺の様子を撮影するカメラと、該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、該制御手段により作成された前記キャプチャ画像を表示する表示手段とを備え、前記制御手段は、前記カメラより前記カメラ映像を取得し、前記バーコード読取部で商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得し、該バーコード読取信号を取得したタイミングに応じて、前記バーコード読取部周辺を前記商品が移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成し、作成した前記キャプチャ画像を前記表示手段に出力することを特徴とする。

【0010】

上述した画像表示装置において、前記制御手段は、前記カメラより取得した前記カメラ映像を、前記キャプチャ画像と共に前記表示手段に出力するものであってもよい。

【0011】

本発明に係る画像表示方法は、レジのバーコード読取部周辺の様子を撮影するカメラと、該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、前記キャプチャ画像を表示する表示手段とを備えた画像表示装置の画像表示方法であって、前記制御手段が、前記カメラより前記カメラ映像を取得するカメラ映像取得ステップと、該カメラ映像取得ステップにおいて取得した前記カメラ映像に対して画像解析処理を行う画像解析ステップと、該画像解析ステップにおいて画像解析された前記カメラ映像に基づいて、前記バーコード読取部周辺を移動する商品が検出されたか否かを判断する商品検出ステップと、該商品検出ステップにおいて前記バーコード読取部周辺を移動する商品が検出された場合に、当該商品が前記バーコード読取部周辺を移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成するキャプチャ画像作成ステップと、該キャプチャ画像作成ステップにおいて作成された前記キャプチャ画像を、前記表示手段に出力するキャプチャ画像出力ステップとを有することを特徴とする。

【0012】

上記画像表示方法は、前記制御手段が、前記バーコード読取部で前記商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得するバーコード読取信号取得ステップと、前記キャプチャ画像作成ステップにおいて前記キャプチャ画像を作成したタイミングに対応して、前記バーコード読取信号取得ステップにおいて前記バーコード読取信号を取得できなかった場合に報知を行う報知ステップとを有するものであってもよい。

【0013】

本発明に係る画像表示方法は、レジのバーコード読取部周辺の様子を撮影するカメラと、該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、前記キャプチャ画像を表示する表示手段とを備えた画像表示装置の画像表示方法であって、前記制御手段が、前記カメラより前記カメラ映像を取得するカメラ映像取得ステップと、前記バーコード読取部で商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得するバーコード読取信号取得ステップと、該バーコード読取信号取得ステップにおいて前記バーコード読取信号を取得したタイミングに応じて、前記バーコード読取部周辺を前記商品が移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成するキャプチャ画像作成ステップと、該キャプチャ画像作成ステップにおいて作成された前記キャプチャ画像を、前記表示手段に出力するキャプチャ画像出力ステップとを有することを特徴とする。

【0014】

上述した画像表示方法は、前記キャプチャ画像出力ステップにおいて、前記制御手段に、前記カメラ映像取得ステップにおいて取得した前記カメラ映像を、前記キャプチャ画像作成ステップにおいて作成された前記キャプチャ画像と共に、前記表示手段に出力させるものであってもよい。

【0015】

本発明に係る画像表示プログラムは、レジのバーコード読取部周辺の様子を撮影するカメラと、該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、前記キャプチャ画像を表示する表示手段と、を備えた画像表示装置の画像表示プログラムであって、前記制御手段に、前記カメラより前記カメラ映像を取得させるカメラ映像取得機能と、該カメラ映像取得機能により取得された前記カメラ映像に対して画像解析処理を行わせる画像解析機能と、該画像解析機能により画像解析された前記カメラ映像に基づいて、前記バーコード読取部周辺を移動する商品が検出されたか否かを判断させる商品検出機能と、該商品検出機能により前記バーコード読取部周辺を移動する商品が検出された場合に、当該商品が前記バーコード読取部周辺を移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成させるキャプチャ画像作成機能と、該キャプチャ画像作成機能により作成された前記キャプチャ画像を、前記表示手段に出力させるキャプチャ画像出力機能とを実現させることを特徴とする。

【0016】

上述した画像表示プログラムは、前記制御手段に、前記バーコード読取部で前記商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得させるバーコード読取信号取得機能と、前記キャプチャ画像作成機能により前記キャプチャ画像を作成したタイミングに対応して、前記バーコード読取信号取得機能により前記バーコード読取信号を取得できなかった場合に報知を行わせる報知機能とを実現させるものであってもよい。

【0017】

本発明に係る画像表示プログラムは、レジのバーコード読取部周辺の様子を撮影するカメラと、該カメラにより撮影されたカメラ映像に基づいて、キャプチャ画像を作成する制御手段と、前記キャプチャ画像を表示する表示手段とを備えた画像表示装置の画像表示プログラムであって、前記制御手段に、前記カメラより前記カメラ映像を取得させるカメラ映像取得機能と、前記バーコード読取部で商品のバーコードが読み取られた際に前記レジにより出力されるバーコード読取信号を取得させるバーコード読取信号取得機能と、該バーコード読取信号取得機能によって前記バーコード読取信号を取得したタイミングに応じて、前記バーコード読取部周辺を前記商品が移動する様子を示した前記キャプチャ画像を、前記カメラ映像に基づいて作成させるキャプチャ画像作成機能と、該キャプチャ画像作成機能により作成された前記キャプチャ画像を、前記表示手段に出力させるキャプチャ画像出力機能とを実現させることを特徴とする。

【0018】

上述した画像表示プログラムは、前記キャプチャ画像出力機能において、前記制御手段に、前記カメラ映像取得機能により取得された前記カメラ映像を、前記キャプチャ画像作成機能により作成された前記キャプチャ画像と共に、前記表示手段に出力させる機能を実現させるものであってもよい。

【発明の効果】

【0019】

本発明に係る画像表示装置、画像表示方法および画像表示プログラムによれば、レジにおける不正なレジ操作を抑制することができる。

【図面の簡単な説明】

【0020】

【図1】実施の形態に係るレジ操作表示装置およびセルフレジを示した斜視図である。

【図2】実施の形態に係るレジ操作表示装置の概略構成を示した展開図である。

【図3】実施の形態に係るＰＣの概略構成を示したブロック図である。

【図4】実施の形態に係るＣＰＵの処理内容を示したフローチャートである。

【図5】実施の形態に係るメインディスプレイに表示される出力映像の一例を示した図である。

【図6】図４に示した出力映像作成処理における詳細な処理内容を示したフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明に係る画像表示装置について一例としてレジ操作表示装置を示し、図面を用いて詳細に説明する。図１は、実施の形態に係るレジ操作表示装置（画像表示装置）１００とセルフレジ２００とを示した斜視図である。

【0022】

セルフレジ２００は、レジ用ディスプレイ２２０が設置される上段面２１２と、商品のバーコードを読み取る際に商品を移動させやすくするための中段面２１４との２つの水平面を備えた階段状の箱体からなる本体部２１０と、本体部２１０の左右側部に水平に設置される第１設置台部２３０および第２設置台部２３２と、レジ用ディスプレイ２２０とにより概略構成されている。中段面２１４から上段面２１２へと繋がる起立面２１５には、商品に附されたバーコードを読み取るためのバーコード読取部２１５ａが設けられている。中段面２１４の手前側端部には、紙幣や硬貨等を投入するための投入口２１６が儲けられており、投入口２１６の下側位置には、釣り銭（紙幣や硬貨）を返却するための返却口２１８が設けられている。

【0023】

客がセルフレジ２００を利用する場合には、商品が入ったレジカゴを右側の第１設置台部２３０に置き、持ち帰り用の袋（エコバッグやレジ袋）を左側の第２設置台部２３２に置いた状態で、レジカゴから１品ずつ商品を取り出して、中段面２１４の位置で、商品のバーコードをバーコード読取部２１５ａに向けて読み取らせた後に、商品を持ち帰り用の袋に入れる作業を行う。

【0024】

レジ操作表示装置１００は、レジ操作の様子を撮影し、撮影した様子を客に視認できるように表示させる装置である。レジ操作表示装置１００は、図２に示すように、メインディスプレイ１１０と、ポール１２０と、ポール１２０に取り付けられるアーム部１３０と、ＰＣ（パーソナルコンピュータ）１４０と、ＶＥＳＡ（Video Electronics Standards Association）規格の取付金具１５０と、カメラ１２６を備えている。

【0025】

ポール１２０は、脚部１２２とポール本体１２４とを有している。脚部１２２は、円盤形状を呈しており、その中央部分１２２ａにポール本体１２４が立設されている。ポール本体１２４は、上部１２４ａが逆Ｌ字状に折り曲げ成形されており、折り曲げられた先端１２４ｂにカメラ１２６が取り付けられている。ポール本体１２４の下端（脚部１２２との取り付け部分）から逆Ｌ字に折り曲げられる上部１２４ａまでの高さ寸法は、約２ｍ程度に設定されている。

【0026】

カメラ１２６は、メインディスプレイ１１０の正面側の様子（より詳細には、図１に示したセルフレジ２００を操作する客の様子）を上方から俯瞰できる角度で、ポール本体１２４に設置されており、カメラ１２６には広角レンズが用いられている。カメラ１２６の配線（図示省略）は、ポール本体１２４の内部を通り、ＰＣ１４０に接続されており、カメラ１２６で撮影された映像は、ＰＣ１４０でリアルタイムに読み取ることが可能になっている。

【0027】

アーム部１３０は、ポール本体１２４に対して取り付けられており、アーム部１３０の取り付け位置を、上下に変更することが可能になっている。アーム部１３０の先端には、取付金具１５０およびメインディスプレイ１１０をアーム部１３０に取り付けるためのＨ字形状のアーム取付部１３４が設けられている。

【0028】

取付金具１５０は、メインディスプレイ１１０の裏面に対して、ＰＣ１４０とアーム部１３０のアーム取付部１３４とを取り付けるための金具である。一般的なディスプレイの裏面には、アーム部材やスタンドなどの壁掛け用金具を取り付けるためのネジ穴が配設されている。ＶＥＳＡ規格は、このネジ穴の配置を標準化した国際規格であり、ＶＥＳＡ規格の取付金具１５０を用いることにより、メインディスプレイ１１０の裏面に対して、アーム部１３０のアーム取付部１３４およびＰＣ１４０を簡単かつ確実に取り付けることができる。図２において一点鎖線で示したように、取付金具１５０のネジ穴、アーム取付部１３４のネジ穴、メインディスプレイ１１０の裏面のネジ穴、ＰＣ１４０の底面のネジ穴に、図示を省略した取付ネジを取り付けることにより、取付金具１５０を介して、メインディスプレイ１１０およびＰＣ１４０をアーム部１３０に取り付けることが可能になる。

【0029】

メインディスプレイ１１０の画像入力端子（図示省略）には、ＰＣ１４０の映像出力端子（次述する入出力Ｉ／Ｆ）に接続されたケーブル（図示省略）が接続されており、ＰＣ１４０よりメインディスプレイ１１０に対して映像（後述する出力映像）を出力することが可能になっている。

【0030】

図３は、ＰＣ１４０の概略構成を示したブロック図である。ＰＣ１４０は、ＣＰＵ（Central Processing Unit）１４１と、ＲＯＭ（Read Only Memory）１４２と、ＲＡＭ（Random Access Memory）１４３と、記録部（記録手段）１４４と、入出力Ｉ／Ｆ（Interface）１４５と、通信用Ｉ／Ｆ１４６とを有している。

【0031】

ＣＰＵ１４１は、カメラ１２６により撮影された映像をリアルタイムに読み込むと共に、読み込まれた映像（以下、カメラ映像と称する）に基づいて、商品のバーコードがスキャンされたと判断され得るタイミングの画像（以下、キャプチャ画像と称する）を、画像取込処理（キャプチャ処理）により作成する。ＣＰＵ１４１は、カメラ映像およびキャプチャ画像を、入出力Ｉ／Ｆ１４５を介してメインディスプレイ１１０に出力することにより、メインディスプレイ１１０にカメラ映像およびキャプチャ画像を表示させる処理を行う。また、ＣＰＵ１４１は、カメラ映像およびキャプチャ画像を、撮影時刻の時刻情報に関連付けて、記録部１４４や映像記録装置３５０（例えば、通信用Ｉ／Ｆ１４６によってネットワーク３３０を介して接続される映像記録サーバ等）に記録させる処理を行う。

【0032】

ＲＯＭ１４２には、ＣＰＵ１４１の処理内容を示したプログラム（後述する図４や図６に示したフローチャートに関するプログラム）等が記録されている。ＣＰＵ１４１は、ＲＯＭ１４２からプログラムを読み込むことにより処理を実行する。ＲＡＭ１４３は、ＣＰＵ１４１により実行される処理のワークエリアとして利用される。なお、実施の形態に係るＰＣ１４０では、ＲＯＭ１４２にプログラムを記録するものとするが、プログラムはＲＯＭ１４２に記録されるものには限定されず、記録部１４４に記録されるものであってもよい。

【0033】

記録部１４４には、カメラ１２６によりカメラ映像が撮影された時刻の情報（時刻情報）に関連付けて、カメラ映像が記録される。また、記録部１４４には、カメラ映像に基づいて画像取込処理（キャプチャ処理）されたキャプチャ画像が、画像取込処理された時刻の情報（時刻情報）に関連付けられて記録される。記録部１４４には、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）メモリなどの一般的な不揮発性メモリが用いられる。

【0034】

入出力Ｉ／Ｆ１４５には、図示を省略したカメラ１２６の配線（映像入出力ケーブル、例えば映像用のコンポジットケーブル等）が接続されている。カメラ１２６により撮影された映像を、入出力Ｉ／Ｆ１４５を介してＰＣ１４０に取り込むことが可能になっている。また、ＰＣ１４０に対してキーボードやマウス等の入力手段３００を接続する場合には、入出力Ｉ／Ｆ１４５を介して入力手段３００が接続される。入力手段３００が接続される場合には、入出力Ｉ／Ｆ１４５としてＵＳＢ端子などが用いられる。さらに、入出力Ｉ／Ｆ１４５には、メインディスプレイ１１０に出力映像を出力するための配線（映像出入力ケーブル、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等）が接続されている。この場合には、入出力Ｉ／Ｆ１４５として、例えばＨＤＭＩ（登録商標）端子などが用いられる。

【0035】

通信用Ｉ／Ｆ１４６は、ＰＣ１４０をネットワーク３３０に接続するために用いられるインターフェースである。通信用Ｉ／Ｆ１４６として、例えばＮＩＣ（Network Interface Card）が用いられる。通信用Ｉ／Ｆ１４６を用いることにより、有線・無線に限定されることなく、ＰＣ１４０をネットワーク３３０へ接続することが可能になる。

【0036】

図４は、ＣＰＵ１４１の処理内容を示したフローチャートである。図４に示すフローチャートに従って、ＣＰＵ１４１の処理内容を説明する。まず、ＣＰＵ１４１は、カメラ１２６により撮影されたカメラ映像を入出力Ｉ／Ｆ１４５を介して取り込み（Ｓ．０１：カメラ映像取得ステップ、カメラ映像取得機能）、取り込んだカメラ映像を、記録部１４４、あるいは、映像記録装置３５０に記録させる（Ｓ．０２）。そして、ＣＰＵ１４１は、カメラ映像を利用してメインディスプレイ１１０に表示させるための出力映像を作成し（Ｓ．０３：キャプチャ画像作成ステップ、キャプチャ画像作成機能）、メインディスプレイ１１０へ出力映像を出力して（Ｓ．０４：キャプチャ画像出力ステップ、キャプチャ画像出力機能）、図４に示す処理を終了する。その後、ＣＰＵ１４１は、図４に示す処理を繰り返し実行することにより、メインディスプレイ１１０に対して、リアルタイムで読み込まれたカメラ映像の映る出力映像を、メインディスプレイ１１０に表示させる処理を行う。

【0037】

図５は、メインディスプレイ１１０に表示される出力映像の一例を示している。出力映像４００は、画面左半分に表示されるカメラ映像表示部分４１０と、画面右半分に表示されるキャプチャ画像表示部分４２０とにより構成されている。カメラ１２６により撮影されたカメラ映像は、リアルタイムで出力映像４００のカメラ映像表示部分４１０（メインディスプレイ１１０）に表示される。画面右半分のキャプチャ画像表示部分４２０には、縦方向に表示欄が複数設けられており（図５では、一例として３段の表示欄が設けられている）、キャプチャ画像の作成時刻に応じて、上段から順番にそれぞれのキャプチャ画像が表示される。

【0038】

図６は、図４に示した出力映像作成処理（Ｓ．０３）の具体的な内容を示したフローチャートである。ＣＰＵ１４１は、取り込んだカメラ映像に対して、ディープラーニング等を利用した画像解析処理を用いることにより、中段面２１４を商品が通過（移動）したかどうかの判断を行う。具体的に、ＣＰＵ１４１は、カメラ映像から中段面２１４周辺の映像を抽出し（Ｓ．１１）、抽出した中段面２１４周辺の映像に対して画像解析処理（Ｓ．１２：画像解析ステップ、画像解析機能）を行う。

【0039】

そして、ＣＰＵ１４１は、画像解析処理により、抽出した映像に所定の商品が映り込んだ（商品が通過・移動した）かどうかの判断を行う（Ｓ．１３：商品検出ステップ、商品検出機能）。より詳細に説明すると、ＣＰＵ１４１は、抽出した中段面２１４周辺の映像において、第１設置台部２３０から中段面２１４を介して第２設置台部２３２方向へと商品が移動しているかどうかを判断する。

【0040】

このような判断を行うための画像解析処理（Ｓ．１２）の方法として、様々な種類のものが既に提案されている。例えば、google（登録商標）レンズ等のアプリケーションを用いることにより、撮影された商品に類似した商品の画像を抽出することができる。また、撮影された画像の中に、商品以外のもの（例えば客の手など）が映る場合であっても、画像解析処理により、商品以外のもの（手等）を取り除いて商品画像だけを判断することができる。このような商品の抽出処理、類似した商品の判別処理等によって、セルフレジ２００の中段面２１４において商品が通過（移動）したか（映り込んだか）どうかの判断を行うことが可能になる。

【0041】

また、既に説明したように、バーコード読取部２１５ａは中段面２１４から上段面２１２へと続く起立面２１５に設けられている。このため、中段面２１４において商品が通過したと判断される場合（Ｓ．１３でＹｅｓ）には、客が商品のバーコードをバーコード読取部２１５ａに読み取らせる処理を行ったものと推定することができる。

【0042】

中段面２１４において商品が通過（移動）された（映り込んだ）と判断された場合（Ｓ．１３でＹｅｓ）、ＣＰＵ１４１は、商品が中段面２１４を通過（移動）した（映り込んだ）タイミングのキャプチャ画像を、抽出された中段面２１４周辺の映像（カメラ映像）に基づいて作成し（Ｓ．１４：キャプチャ画像作成ステップ、キャプチャ画像作成機能）、作成されたキャプチャ画像を、画面右半分に表示されるキャプチャ画像表示部分４２０の一番上の表示欄に表示し、それ以前に撮影されたキャプチャ画像を１欄ずつ下に移動させて３枚のキャプチャ画像を表示させ、また、画面左半分に表示されるカメラ映像表示部分４１０にカメラ映像を表示させることにより、出力映像を作成する（Ｓ．１５：新しいキャプチャ画像を用いた出力映像を作成、キャプチャ画像作成ステップ、キャプチャ画像作成機能）。その後、ＣＰＵ１４１は、処理を図４のＳ．０３に戻して、Ｓ．１５で作成された出力映像を、入出力Ｉ／Ｆ１４５を介してメインディスプレイ１１０へ出力する（Ｓ．０４）。

【0043】

一方で、中段面２１４において商品が移動されなかったと判断された場合（Ｓ．１３でＮｏ）、ＣＰＵ１４１は、過去に作成されたキャプチャ画像を、画面右半分のキャプチャ画像表示部分４２０に表示させ、画面左半分に表示されるカメラ映像表示部分４１０にリアルタイムに読み込まれたカメラ映像を表示させることにより、出力映像を作成する（Ｓ．１６：過去のキャプチャ画像を用いた出力映像を作成）。その後、ＣＰＵ１４１は、処理を図４のＳ．０３に戻して、Ｓ．１６で作成された出力映像を、入出力Ｉ／Ｆ１４５を介してメインディスプレイ１１０へ出力する（Ｓ．０４）。

【0044】

図５に示すように、出力映像の画面右半分には、商品がバーコード読取部２１５ａで読み取られたと判断され得るタイミング（Ｓ．１３においてＹｅｓと判断された場合）で作成された、客によるバーコードの読取操作の様子（レジ操作の様子）を示した画像（キャプチャ画像）が表示される。

【0045】

セルフレジを利用する客の一部には、一部の商品のバーコードをスキャンせずに会計処理を終了したり、同一商品を複数まとめて購入する際に、購入個数よりも少ない数だけバーコードをスキャンして会計処理を終了したりして、不正行為を行う者がいる。

【0046】

実施の形態に係るレジ操作表示装置１００では、メインディスプレイ１１０に映し出される出力映像の画面左半分に、客のレジ操作を斜め上方向から俯瞰した映像をリアルタイムで映している。このため、客がセルフレジにおいて商品のバーコードを読み取らせる操作を行う場合に、客の視界にメインディスプレイ１１０に映る自分の様子が入り、自分がどのようにしてバーコードの読み取り操作を行っているかどうかが、カメラ１２６によって撮影されていると認識することになる。これにより、客は、「カメラ１２６によって自分のレジ操作が監視されているかもしれない」と意識する状態となり、不正行為を行わないようにしようという心理が働く。このため、商品のバーコードをきちんとスキャンさせようとする意思が働き、客の不正行為を心理的に抑制することが可能になる。

【0047】

さらに、実施の形態に係るレジ操作表示装置１００では、メインディスプレイ１１０に映し出される出力映像の画面右半分に、客によるバーコードの読取操作の様子（レジ操作の様子）を示した画像（キャプチャ画像）が表示される。このキャプチャ画像は、中段面２１４において商品が通過する（移動する、映り込む）映像をトリミングして抜き出した画像であり、商品のバーコードが読み取られたと判断され得るタイミングの手元の画像が拡大表示されたものである。

【0048】

このため、客は、複数の商品（同種類の小さな商品、例えば複数のガム等）を一度に掴んで、掴んだ数よりも少ない回数だけその商品のバーコードを読み取らせて不正行為を行ったり、商品のバーコードが印刷されていない面をバーコード読取部２１５ａに向けることにより、バーコードの読み取り操作をしているように見せかける不正行為を行っても、「メインディスプレイ１１０に表示されたキャプチャ画像によって、それらの不正行為が明らかにされてしまうかもしれない」と意識した状態になり得る。従って、セルフレジを利用する客の不正行為を心理的に抑制させることが可能になる。

【0049】

さらに、カメラ映像およびキャプチャ画像は、撮影時刻の時刻情報に関連付けられて、記録部１４４や映像記録装置３５０に記録されている（図４に示すＳ．０２の処理参照）。このため、客の不正行為が行われた日時が、セルフレジ２００のジャーナルデータ等によって特定できた場合に、記録部１４４や映像記録装置３５０からカメラ映像やキャプチャ画像を簡単に抽出・参照することが可能となる。従って、客の不正行為の有無を、カメラ映像およびキャプチャ画像に基づいて、事後的に判断・確認することが可能になる。

【0050】

以上、本発明に係る画像表示装置、画像表示方法および画像表示プログラムについて一例を示し、図面を用いて詳細に説明した。しかしながら、本発明に係る画像表示装置等は、実施の形態に示したレジ操作表示装置１００には限定されない。例えば、レジ操作表示装置１００では、メインディスプレイ１１０に表示される出力映像の画面左半分（カメラ映像表示部分４１０）にカメラ映像が表示され、画面右半分（キャプチャ画像表示部分４２０）にキャプチャ画像が表示される場合について説明した。しかしながら、出力映像におけるカメラ映像表示部分４１０とキャプチャ画像表示部分４２０との表示位置はこの位置には限定されず、左右逆に表示されるようにすることも可能である。

【0051】

また、画面の上段あるいは下段のいずれか一方をカメラ映像表示部分４１０とし、いずれか他方をキャプチャ画像表示部分４２０とするものであってもよい。さらに、カメラ映像表示部分４１０とキャプチャ画像表示部分４２０とが、一定時間毎に交互に全面表示される構成とすることも可能である。また、キャプチャ画像表示部分４２０に表示されるキャプチャ画像を、キャプチャ画像の作成時刻に応じて、表示欄の一番下から上側に順番に表示させるようにするものであってもよい。

【0052】

いずれの場合であっても、出力映像４００として、カメラ映像とキャプチャ画像とをメインディスプレイ１１０に表示させることにより、客がカメラ１２６によって自分のレジ操作を監視されているかもしれないと意識する状態となり、商品のバーコードをきちんとスキャンさせようとする意思が働きやすくなるため、不正行為を心理的に抑制することが可能になる。

【0053】

また、実施の形態に係るレジ操作表示装置１００では、ＣＰＵ１４１が、中段面２１４周辺の映像に対して画像解析処理を行うことにより（図６のＳ．１２）、中段面２１４において商品が通過（移動）した（映り込んだ）かどうかの判断を行い（図６のＳ．１３）、商品が通過（移動）した（映り込んだ）と判断された場合に（図６のＳ．１３でＹｅｓ）、商品のバーコードがバーコード読取部２１５ａで読み取られたと判断してキャプチャ画像を作成する処理（図６のＳ．１４）について説明した。一方で、一般的なセルフレジでは、商品のバーコードを読取処理したタイミングを検出することが可能である。

【0054】

このため、セルフレジ２００が商品のバーコードの読取処理を行ったタイミングで、読み取りを行った旨のバーコード読取信号を、セルフレジ２００からレジ操作表示装置１００のＣＰＵ１４１に対して出力する構成にすることより、ＣＰＵ１４１は、バーコード読取信号を取得（バーコード読取信号取得ステップ、バーコード読取信号取得機能）したタイミングで、あるいはこれらのタイミングに対応して、客が商品のバーコードをバーコード読取部２１５ａで実際に読み取らせたかどうかを判断することができる。なお、セルフレジ２００が商品のバーコードの読取処理を行ったタイミングから、ＣＰＵ１４１でバーコード読取信号を受信するまでの時間に所定のタイムラグがある場合には、そのタイムラグを考慮したタイミングによって、バーコードが読み取られたかを判断することができる。

【0055】

従って、ＣＰＵ１４１が画像解析処理により、中段面２１４において商品が通過（移動）した（映り込んだ）と判断してキャプチャ画像を作成したのにも関わらず（図６のＳ．１２～Ｓ．１４）、セルフレジ２００からバーコード読取信号を取得できなかった場合に、ＣＰＵ１４１は、客が商品のバーコードをバーコード読取部２１５ａで実際にはバーコードを読み取らせていなかったと判断することできる。

【0056】

このため、ＣＰＵ１４１において、商品が中段面２１４を通過（移動）したと判断された場合に（図６のＳ．１３でＹｅｓ）に、所定時間内（上述したタイムラグを考慮した時間内）にセルフレジ２００からバーコード読取信号を受信できたかどうかの処理を追加し、所定時間内にバーコード読取信号を受信できなかった場合に、客により不正行為が行われたおそれが高いとして、メインディスプレイ１１０に対して警告表示を行ったり、その旨の情報をセルフレジ周辺の店舗スタッフに知らせるように警報音を発したりする等の報知処理（報知ステップ、報知機能）を行う構成としてもよい。また、このように報知処理を行う場合には、事後的に報知処理時の中段面２１４周辺の様子が確認できるように、記録部１４４や映像記録装置３５０に対して、報知処理を行った時刻とそのときのキャプチャ画像（あるいはカメラ映像）とを記録させるようにしてもよい。

【0057】

このような構成により、一度でも不正行為を行った（あるいは不正行為を行おうとした）客は、メインディスプレイ１１０に表示される警告表示によって、バーコードをきちんと読み取っているかどうか監視されているかもしれないと認識することになり、不正行為を心理的に抑制させることが可能になる。

【0058】

さらに、バーコード読取信号を受信したタイミングに対応するようにして、中段面２１４を商品が通過（移動）した（映り込んだ）ときの商品の様子を示したキャプチャ画像を作成して、メインディスプレイ１１０に表示させる構成としてもよい。このようにしてキャプチャ画像を作成することにより、カメラ映像に対して画像解析処理を施すことにより、商品が中段面２１４周辺を通過（移動）したか（映り込んだか）どうかを判断してキャプチャ画像を作成する場合に比べて、確実に商品のバーコードがバーコード読取部２１５ａで読み取られたタイミングのキャプチャ画像を作成することができる。

【0059】

この場合、客が中段面２１４において商品を通過（移動）させる動作を行う毎に、レジの周囲にいる店員が、メインディスプレイ１１０にキャプチャ画像が表示されているか否かを確認することにより、客がバーコード読取部２１５ａでバーコードを読み取らせていない場合に、客に対して声をかけ、購入商品とジャーナルデータ（あるいはレシート）との照合を行うようにしてもよい。

【0060】

このような店員の声かけ対応を見かけた客は、店員により不正行為に対する確認作業が行われていると認識することになり、不正行為を心理的に抑制させることが可能になる。

【符号の説明】

【0061】

１００ …レジ操作表示装置（画像表示装置）
１１０ …メインディスプレイ
１２０ …ポール
１２２ …（ポールの）脚部
１２２ａ …（脚部の）中央部分
１２４ …（ポールの）ポール本体
１２４ａ …（ポール本体の）上部
１２４ｂ …（ポール本体の）先端
１２６ …カメラ
１３０ …アーム部
１３４ …（アーム部の）アーム取付部
１４０ …ＰＣ（パーソナルコンピュータ）
１４１ …（ＰＣの）ＣＰＵ
１４２ …（ＰＣの）ＲＯＭ
１４３ …（ＰＣの）ＲＡＭ
１４４ …（ＰＣの）記録部
１４５ …（ＰＣの）入出力Ｉ／Ｆ
１４６ …（ＰＣの）通信用Ｉ／Ｆ
１５０ …取付金具
２００ …セルフレジ
２１０ …（セルフレジの）本体部
２１２ …（本体部の）上段面
２１４ …（本体部の）中段面
２１５ …（本体部の）起立面
２１５ａ …（本体部の）バーコード読取部
２１６ …（本体部の）投入口
２１８ …（本体部の）返却口
２２０ …レジ用ディスプレイ
２３０ …第１設置台部
２３２ …第２設置台部
３００ …入力手段
３３０ …ネットワーク
３５０ …映像記録装置
４００ …出力映像
４１０ …カメラ映像表示部分
４２０ …キャプチャ画像表示部分

【要約】

【課題】レジにおける不正なレジ操作を抑制すること。
【解決手段】画像表示装置１００の制御手段は、レジ２００のバーコード読取部２１５ａ周辺の様子を撮影したカメラ１２６のカメラ映像を取得し、取得したカメラ映像に対して画像解析処理を行い、解析結果に基づいてバーコード読取部２１５ａ周辺で商品が移動したことを検出した場合に、商品がバーコード読取部２１５ａ周辺を移動する様子を示したキャプチャ画像を、カメラ映像に基づいて作成し、作成したキャプチャ画像を表示手段１１０に出力して表示させる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】