特開 2024-114964 不正行為認識装置及びその制御プログラム、不正行為認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114964

(43)【公開日】2024-08-23

(54)【発明の名称】不正行為認識装置及びその制御プログラム、不正行為認識方法

(51)【国際特許分類】

   G07G 1/00 20060101AFI20240816BHJP

   G07G 1/01 20060101ALI20240816BHJP

【ＦＩ】

G07G1/00 301B

G07G1/01 301D

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024106179

(22)【出願日】2024-07-01

(62)【分割の表示】P 2021004304の分割

【原出願日】2021-01-14

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】宮城 大輔

(57)【要約】

【課題】登録した商品を別の商品にすり替える不正行為を抑止できる不正行為認識装置及びその制御プログラム、不正行為認識方法を提供する。
【解決手段】不正行為認識装置は、操作認識手段と、行動認識手段と、不正検出手段と、報知手段とを備える。操作認識手段は、購買者による決済端末への商品登録操作を認識する。行動認識手段は、商品登録操作を行う購買者の行動を認識する。不正検出手段は、商品登録操作が認識された商品に対する購買者の行動から購買者の不正行為を検出する。報知手段は、購買者の不正行為を報知する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

購買者による決済端末への商品登録操作を認識する操作認識手段と、
前記商品登録操作を行う前記購買者の行動を認識する行動認識手段と、
前記商品登録操作が認識された商品に対する前記購買者の行動から前記購買者の不正行為を検出する不正検出手段と、
前記購買者の不正行為を報知する報知手段と、
を具備する不正行為認識装置。

【請求項2】

前記行動認識手段は、前記決済端末の部品の位置と、前記決済端末に対峙した前記購買者の手の位置とに基づき、前記購買者の行動を認識する請求項１記載の不正行為認識装置。

【請求項3】

前記不正検出手段は、前記商品登録操作が認識された商品を持つ前記購買者の手の動きから前記購買者の不正行為を検出する、請求項２記載の不正行為認識装置。

【請求項4】

前記不正検出手段は、前記購買者の手の動きが商品をすり替えると推定される動きであるとき前記購買者の不正行為を検出する、請求項３記載の不正行為認識装置。

【請求項5】

不正行為認識装置のコンピュータに、
購買者による決済端末への商品登録操作を認識する機能、
前記商品登録操作を行う前記購買者の行動を認識する機能、
前記商品登録操作が認識された商品に対する前記購買者の行動から前記購買者の不正行為を検出する機能、及び
前記購買者の不正行為を報知する機能、
を実現させるための制御プログラム。

【請求項6】

不正行為認識装置が、
購買者による決済端末への商品登録操作を認識し、
前記商品登録操作を行う前記購買者の行動を認識し、
前記商品登録操作が認識された商品に対する前記購買者の行動から前記購買者の不正行為を検出する、不正行為認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、不正行為認識装置及びその制御プログラム、不正行為認識方法に関する。

【背景技術】

【0002】

近年、スーパーマーケット等の小売店では、人件費の削減、感染症の感染予防対策等の観点から、セルフＰＯＳ（Point Of Sales）端末が注目されている。セルフＰＯＳ端末は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。このため、客の不正行為を防ぐために、多くのセルフＰＯＳ端末には重量計が使用されている。

【0003】

重量計は、例えば登録を終えた商品を袋詰めするための台に設けられている。客は、セルフＰＯＳ端末に登録した商品を袋詰めする。そのときの重量変化により、セルフＰＯＳ端末は、袋詰めされた商品の正味重量を求める。この正味重量が、登録された商品の設定重量と一致しない場合、セルフＰＯＳ端末は警告を発する。したがって、例えば客が商品をセルフＰＯＳ端末に登録した振りをして袋詰めするような不正行為を働くと、警告が発せられるので、この種の不正行為に対して抑止効果がある。

【0004】

しかし、重量計が設けられていたとしても、登録した商品を同じ重量の別の商品にすり替えるような不正行為を発見することはできない。したがって、このような客の不正行為を抑止できる技術の開発が求められている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－０１６２２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施形態が解決しようとする課題は、登録した商品を別の商品にすり替える不正行為を抑止できる不正行為認識装置及びその制御プログラム、不正行為認識方法を提供しようとするものである。

【課題を解決するための手段】

【0007】

一実施形態において、不正行為認識装置は、操作認識手段と、行動認識手段と、不正検出手段と、報知手段とを備える。操作認識手段は、購買者による決済端末への商品登録操作を認識する。行動認識手段は、商品登録操作を行う購買者の行動を認識する。不正検出手段は、商品登録操作が認識された商品に対する購買者の行動から購買者の不正行為を検出する。報知手段は、購買者の不正行為を報知する。

【図面の簡単な説明】

【0008】

【図1】セルフＰＯＳ端末が導入された店舗のシステム構成図。

【図2】セルフＰＯＳ端末とカメラとの位置関係を説明するための図。

【図3】アテンダント端末のディスプレイに表示される監視画像の一例を示す模式図。

【図4】不正行為認識装置の要部回路構成を示すブロック図。

【図5】メッセージテーブルの一例を示す模式図。

【図6】時系列バッファの一例を示す模式図。

【図7】行動認識部としての機能を説明するための流れ図。

【図8】操作認識部としての機能を説明するための流れ図。

【図9】不正検出部としての機能を説明するための流れ図。

【図10】不正検出部としての機能を説明するための流れ図。

【図11】不正検出部としての機能を説明するための流れ図。

【図12】報知部としての機能を説明するための流れ図。

【発明を実施するための形態】

【0009】

以下、一実施形態について、図面を用いて説明する。
図１は、セルフＰＯＳ端末１１が導入された店舗のシステム構成図である。本システムは、セルフＰＯＳシステム１００と、不正行為認識システム２００を含む。セルフＰＯＳシステム１００は、複数台のセルフＰＯＳ端末１１と、ＰＯＳサーバ１２と、表示制御装置１３と、アテンダント端末１４と、通信ネットワーク１５と、を備える。複数台のセルフＰＯＳ端末１１と、ＰＯＳサーバ１２と、表示制御装置１３とは、通信ネットワーク１５に接続する。アテンダント端末１４は、表示制御装置１３に接続する。通信ネットワーク１５は、典型的にはＬＡＮ（Local Area Network）である。ＬＡＮは、有線ＬＡＮであってもよいし、無線ＬＡＮであってもよい。

【0010】

セルフＰＯＳ端末１１は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。客は、購買者、消費者、顧客等と称される場合もある。ＰＯＳサーバ１２は、各セルフＰＯＳ端末１１の動作を一元的に制御するためのサーバ用コンピュータである。表示制御装置１３は、各セルフＰＯＳ端末１１から出力されるデータ信号を基に、セルフＰＯＳ端末１１毎に監視画像ＳＣ（図３を参照）を生成して、アテンダント端末１４の表示デバイスに表示させるコントローラである。アテンダント端末１４は、アテンダントと称される店員が、各セルフＰＯＳ端末１１の状態を監視するための端末である。アテンダント端末１４は、液晶ディスプレイ、有機ＥＬディスプレイ等のディスプレイを備える。アテンダント端末１４は、ディスプレイの画面を複数に区分し、区分毎に異なるアテンダント端末１４の監視画像ＳＣを表示する。このようなセルフＰＯＳシステム１００は、従来周知のものをそのまま適用することができる。

【0011】

不正行為認識システム２００は、複数のカメラ２１と、不正行為認識装置２２とを含む。複数のカメラ２１は、それぞれ複数のセルフＰＯＳ端末１１と１対１で対応している。カメラ２１は、対応するセルフＰＯＳ端末１１を操作する客を撮影するためのものである。

【0012】

不正行為認識装置２２は、行動認識部２２１、操作認識部２２２、不正検出部２２３及び報知部２２４としての機能を有する。行動認識部２２１は、各カメラ２１から出力される撮像データを基に、セルフＰＯＳ端末１１への商品登録操作を行う客の行動を認識する機能である。商品登録操作は、後述の説明の中で明らかにする。行動認識部２２１は、行動認識手段と称することもできる。操作認識部２２２は、表示制御装置１３からアテンダント端末１４へと出力される監視画像ＳＣのデータを基に、客によるセルフＰＯＳ端末１１への商品登録操作を認識する機能である。操作認識部２２２は、操作認識手段と称することもできる。不正検出部２２３は、行動認識部２２１による認識結果と操作認識部２２２による認識結果とを基に、商品登録操作が認識された商品に対する客の行動から客の不正行為を検出する機能である。不正検出部２２３は、不正検出手段と称することもできる。報知部２２４は、不正検出部２２３により不正行為が検出された場合に客の不正行為を報知する機能である。報知は、例えばアテンダント端末１４からアテンダントに対して行われる。報知部２２４は、報知手段と称することもできる。

【0013】

図２は、セルフＰＯＳ端末１１とカメラ２１との位置関係を説明するための図である。始めに、セルフＰＯＳ端末１１の外観構成について説明する。

【0014】

セルフＰＯＳ端末１１は、床面に設置された本体４０と、この本体４０の脇に設置された袋詰め台５０とを備える。本体４０は、その上部にタッチパネル４１を取り付けている。タッチパネル４１は、ディスプレイとタッチセンサとで構成される。ディスプレイは、セルフＰＯＳ端末１１を操作するオペレータに対して種々の画面を表示するためのデバイスである。タッチセンサは、オペレータによる画面へのタッチ入力を検知するためのデバイスである。セルフＰＯＳ端末１１においてオペレータは、通常は客である。

【0015】

本体４０は、袋詰め台５０が設置された側とは反対側の側面中央部に籠台６０を設けている。籠台６０は、売場から来た客が買上商品を入れた籠等を置くためのものである。客は、タッチパネル４１の画面が見えるように、図２において本体４０の手前側に立って作業を行う。このため客から見ると、本体４０を挟んで右側に籠台６０があり、左側に袋詰め台５０がある。以下の説明では、客が立つ側を本体４０の正面とし、袋詰め台５０が設置されている側を本体４０の左側とし、籠台６０が設けられている側を本体４０の右側とする。

【0016】

本体４０は、その正面に、スキャナの読取窓４２、カード挿入口４３、レシート発行口４４、硬貨投入口４５、硬貨払出口４６、紙幣投入口４７及び紙幣払出口４８を形成する。また、本体４０の右側面から外部へと通信ケーブル６１が延びており、この通信ケーブル６１の先端に電子マネー媒体用のリーダ・ライタ６２が接続されている。リーダ・ライタ６２は、本体４０の右側面上部に設けられた置台６３に置かれている。

【0017】

本体４０は、その上面に表示ポール６４を取り付けている。表示ポール６４は、その先端部に例えば青色と赤色とを選択的に発光させる発光部６５を備える。表示ポール６４は、発光部６５の発光色によってセルフＰＯＳ端末１１の状態、例えば待機中、動作中、呼出中、エラー中等を表示する。

【0018】

袋詰め台５０は、ハウジング５１の上部に袋保持具５２を取り付けた構造となっている。袋保持具５２は、一対の保持アーム５３を備えており、この保持アーム５３で店舗備え付けのレジ袋又は客が持参した買物袋いわゆるマイバッグ等を保持する。

【0019】

次に、セルフＰＯＳ端末１１とカメラ２１との位置関係を説明する。
図２に示すように、カメラ２１は、セルフＰＯＳ端末１１の正面に立って、本体４０、袋詰め台５０及び籠台６０等の部品と対峙する客を上方から撮影可能な位置に設置されている。

【0020】

セルフＰＯＳ端末１１の正面に立った客は、先ず、向かって右側の籠台６０に買上商品を入れた籠等を書き、左側の保持アーム５３にレジ袋又はマイバッグ等を保持させる。次いで、客は、タッチパネル４１に表示されるガイダンスに従い、タッチパネル４１を操作して、セルフＰＯＳ端末１１の利用開始を宣言する。

【0021】

その後、客は、籠台６０に置かれた籠から買上商品を１点ずつ手に取る。そして、その買上商品にバーコードが付されている場合には、客は、そのバーコードを読取窓４２に翳してスキャナで読み取らせることで、商品登録を行う。買上商品にバーコートが付されていない場合には、客は、タッチパネル４１を操作してバーコード無し商品のリストから買上商品を選択することで、商品登録を行う。客は、登録を終えた買上商品をレジ袋又はマイバッグ等に入れる。

【0022】

全ての買上商品を登録し終えた客は、タッチパネル４１を操作して決済方法を選択する。例えば現金決済を選択した場合には、客は、紙幣投入口４７又は硬貨投入口４５に紙幣又は硬貨を投入し、紙幣払出口４８又は硬貨払出口４６から払い出された釣銭を取り出す。例えば電子マネー決済を選択したならば、客は、リーダ・ライタ６２に電子マネー媒体を翳す。例えばクレジットカード決済を選択したならば、客は、カード挿入口４３にクレジットカードを挿入する。こうして、決済を終えたならば、客は、レシート発行口４４から発行されるレシートを受け取り、保持アーム５３から外したレジ袋又はマイバックを持って退店する。

【0023】

すなわちカメラ２１は、セルフＰＯＳ端末１１の正面で上記の如く行動する客の手の動きを撮影可能な位置に設置されている。

【0024】

図３は、アテンダント端末１４のディスプレイに表示される監視画像ＳＣの一例を示す模式図である。前述したように、アテンダント端末１４のディスプレイには、複数のセルフＰＯＳ端末１１のそれぞれに対する監視画像ＳＣが区分されて表示される。図３は、そのうちの１つのセルフＰＯＳ端末１１に対する監視画像ＳＣの一例である。他のセルフＰＯＳ端末１１に対する監視画像ＳＣの構成もこれと同様なので、ここでの説明は省略する。

【0025】

図３に示すように、監視画像ＳＣは、レジ番号欄７１、端末状態欄７２、エラー情報欄７３、宣言情報欄７４、明細欄７５及び合計欄７６を含む。

【0026】

レジ番号欄７１は、レジ番号を表示するための欄である。レジ番号は、各セルフＰＯＳ端末１１を個々に識別するために、各セルフＰＯＳ端末１１に対して重複しないように割り当てられた一連の番号である。レジ番号は、各セルフＰＯＳ端末１１を識別するための識別情報である。

【0027】

端末状態欄７２は、セルフＰＯＳ端末１１の動作状態を表示するための欄である。本実施形態では、動作状態として「待機中」、「利用開始」、「登録中」、「決済開始」及び「決済中」のいずれかを端末状態欄７２に表示する。

【0028】

「待機中」は、前の客が決済を終えてから、次の客の利用開始が宣言されるまでの状態である。「待機中」の状態にあるセルフＰＯＳ端末１１のタッチパネルには、初期画像が表示される。初期画像は、例えば店舗備え付けのレジ袋を使用するか、マイバックを使用するかを客に選択させるためのタッチボタンを含む画像である。

【0029】

「利用開始」は、セルフＰＯＳ端末１１の正面に立った客が、決済のための利用開始を宣言した状態である。客は、レジ袋を使用するかマイバックを使用するかの選択操作を初期画像に対して行う。この選択操作が利用開始を宣言となる。この選択操作を受けて、セルフＰＯＳ端末１１の動作状態は「利用開始」となる。

【0030】

「登録中」は、客自身による買上商品の登録操作を受け付けている状態である。１点目の買上商品が登録されると、セルフＰＯＳ端末１１の動作状態は「登録中」となる。以後、決済への移行が宣言されるまで、セルフＰＯＳ端末１１の動作状態は「登録中」を維持する。

【0031】

「決済開始」は、買上商品の登録を終えた客が決済への移行を宣言した状態である。「登録中」の状態にあるセルフＰＯＳ端末１１のタッチパネル４１には、［会計］のソフトキーが表示されている。買上商品の登録を終えた客は、［会計］のソフトキーにタッチする。この操作が決済への移行宣言となる。この操作を受けて、セルフＰＯＳ端末１１の動作状態は「決済開始」となる。

【0032】

「決済中」は、現金決済、電子マネー決済、クレジットカード決済等の決済処理を実行している状態である。例えば紙幣投入口４７又は硬貨投入口４５に紙幣又は硬貨が投入されると、セルフＰＯＳ端末１１の動作状態は「決済中」となる。そして、決済処理を終えると、セルフＰＯＳ端末１１の動作状態は「待機中」に戻る。

【0033】

エラー情報欄７３は、セルフＰＯＳ端末１１で発生したエラー情報を表示するための欄である。エラー情報は、通信エラー、レシート切れエラー等である。宣言情報欄７４は、客の宣言操作内容を表示するための欄である。例えば客がマイバックを選択した場合、レジ袋が不要であることを示す「袋不要」が表示される。

【0034】

明細欄７５は、セルフＰＯＳ端末１１で登録された買上商品の明細情報を表示するための欄である。明細情報は、例えば買上商品の商品名、点数、金額等である。合計欄７６は、セルフＰＯＳ端末１１で登録された買上商品の合計情報を表示するための欄である。合計情報は、合計点数、合計金額、投入金額、お釣り等である。

【0035】

なお、監視画像ＳＣの構成は、これに限定されるものではない。その他の項目が表示される欄が配置されていてもよい。また、図３に表示されているテキストデータの項目もこれに限定されるものではない。その他の項目のテキストデータが表示されていてもよい。

【0036】

図４は、不正行為認識装置２２の要部回路構成を示すブロック図である。不正行為認識装置２２は、プロセッサ８１、メインメモリ８２、補助記憶デバイス８３、時計８４、カメラインターフェース８５、通信インターフェース８６及びシステムバス８７を備える。システムバス８７は、アドレスバス、データバス等を含む。不正行為認識装置２２は、プロセッサ８１と、メインメモリ８２、補助記憶デバイス８３、時計８４、カメラインターフェース８５及び通信インターフェース８６とを、システムバス８７で接続することにより、コンピュータを構成する。

【0037】

プロセッサ８１は、上記コンピュータの中枢部分に相当する。プロセッサ８１は、オペレーティングシステム又はアプリケーションプログラムに従って、不正行為認識装置２２としての各種の機能を実現するべく各部を制御する。プロセッサ８１は、例えばＣＰＵ（Central Processing Unit）である。

【0038】

メインメモリ８２は、上記コンピュータの主記憶部分に相当する。メインメモリ８２は、不揮発性のメモリ領域及び揮発性のメモリ領域を含む。メインメモリ８２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ８２は、揮発性のメモリ領域では、プロセッサ８１が各部を制御するための処理を実行する上で必要なデータを記憶する。この種のデータは、不揮発性のメモリ領域で記憶される場合もある。メインメモリ８２は、揮発性のメモリ領域を、プロセッサ８１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

【0039】

補助記憶デバイス８３は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス８３としては、例えばＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disc Drive）又はＥＥＰＲＯＭ（登録商標）（Electric Erasable Programmable Read-Only Memory）等の周知の記憶デバイスを単独で、あるいは複数組み合わせて用いられる。補助記憶デバイス８３は、プロセッサ８１が各種の処理を行う上で使用するデータ、プロセッサ８１での処理によって生成されたデータ等を保存する。補助記憶デバイス８３は、アプリケーションプログラムを記憶する場合もある。

【0040】

メインメモリ８２又は補助記憶デバイス８３が記憶するアプリケーションプログラムは後述する制御プログラムを含む。制御プログラムをメインメモリ８２又は補助記憶デバイス８３にインストールする方法は特に限定されない。リムーバブルな記録媒体に制御プログラムを記録して、あるいはネットワークを介した通信により制御プログラムを配信して、メインメモリ８２又は補助記憶デバイス８３にインストールすることができる。記録媒体は、ＣＤ－ＲＯＭ、メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

【0041】

時計８４は、不正行為認識装置２２の時刻情報源として機能する。プロセッサ８１は、時計８４によって計時される時刻情報を基に、現在の日付及び時刻を取得する。

【0042】

カメラインターフェース８５は、各カメラ２１と通信するためのインターフェースである。各カメラ２１から出力される撮像データは、カメラインターフェース８５を介して不正行為認識装置２２へと取り込まれる。撮像データは、カメラ２１に対応したセルフＰＯＳ端末１１を操作する客を撮影したデータである。

【0043】

通信インターフェース８６は、表示制御装置１３と通信するためのインターフェースである。表示制御装置１３から出力される画像データは、通信インターフェース８６を介して不正行為認識装置２２へと取り込まれる。画像データは、セルフＰＯＳ端末１１毎に生成される監視画像ＳＣのデータである。

【0044】

かかる構成の不正行為認識装置２２は、メインメモリ８２における揮発性メモリ領域の一部をメッセージテーブル８２１の領域とする。そして不正行為認識装置２２は、この領域に、図５に示すデータ構造のメッセージテーブル８２１を形成する。

【0045】

図５は、メッセージテーブル８２１の一例を示す模式図である。図示するように、メッセージテーブル８２１は、エラーコードＥＣと関連付けてメッセージのテキストデータを記述したデータテーブルである。エラーコードＥＣと、それに関連付けられたメッセージのテキストデータとについては、後述の説明の中で明らかにする。

【0046】

また、不正行為認識装置２２は、メインメモリ８２における揮発性メモリ領域の一部を時系列バッファ８２２の領域とする。そして不正行為認識装置２２は、この領域に、図６に示すデータ構造の時系列バッファ８２２を、セルフＰＯＳ端末１１の数だけ形成する。

【0047】

図６は、時系列バッファ８２２の一例を示す模式図である。図示するように、時系列バッファ８２２は、セルフＰＯＳ端末１１を識別するレジ番号別に、ステータスＳＴ又はエラーコードＥＣを時刻ＴＭの早い順に記述するための領域を有したものである。ステータスＳＴについても、後述の説明の中で明らかにする。

【0048】

しかして不正行為認識装置２２は、セルフＰＯＳ端末１１に対する客の不正行為を抑止するために、前述した行動認識部２２１、操作認識部２２２、不正検出部２２３及び報知部２２４としての機能を、プロセッサ８１と、該プロセッサ８１を制御する制御プログラムとによって実現する。

【0049】

行動認識部２２１、操作認識部２２２、不正検出部２２３及び報知部２２４としての機能は、セルフＰＯＳ端末１１毎に備えられる機能である。そこで以下では、１台のセルフＰＯＳ端末１１に対する行動認識部２２１、操作認識部２２２、不正検出部２２３及び報知部２２４としての機能を詳細に説明する。他のセルフＰＯＳ端末１１に対する行動認識部２２１、操作認識部２２２、不正検出部２２３及び報知部２２４としての機能も同様なので、ここでの説明は省略する。

【0050】

図７は、行動認識部２２１としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ１として客を認識するのを待ち受けている。カメラ２１は、セルフＰＯＳ端末１１の正面に立つ客を上方から撮影可能な位置に設置されている。そこでプロセッサ８１は、カメラ２１の映像データから、セルフＰＯＳ端末１１の正面に人物が立ったことを検出すると、客を認識したと判断する。

【0051】

客を認識すると、プロセッサ８１は、ＡＣＴ１においてＹＥＳと判定し、ＡＣＴ２へと進む。プロセッサ８１は、ＡＣＴ２としてセルフＰＯＳ端末１１のレジ番号を取得する。各カメラ２１は、各セルフＰＯＳ端末１１と１対１で対応している。そこでプロセッサ８１は、セルフＰＯＳ端末１１の正面に立つ客を撮影しているカメラ２１の識別情報からセルフＰＯＳ端末１１を特定し、そのセルフＰＯＳ端末１１のレジ番号を取得する。

【0052】

プロセッサ８１は、ＡＣＴ３として客の行動認識を開始する。具体的にはプロセッサ８１は、カメラ２１で撮影されている画像から人物、つまりは客の骨格を推定する。骨格推定は、ディープラーニング等のＡＩ技術を使うことによって、安価なカメラ２１でも実現できる。プロセッサ８１は、骨格推定によって得られた手の動きから、客の取出し行動、登録行動、すり替え行動、袋詰め行動又は退店行動を認識する。

【0053】

取出し行動は、籠台６０に置かれた籠から買上商品を取り出す行動である。例えば、片手又は両手の骨格が本体４０の右側に移動し、買上商品を持ち上げるような動きを検出した場合、プロセッサ８１は、取出し行動があったと認識する。

【0054】

登録行動は、籠から取り出した買上商品のデータをセルフＰＯＳ端末１１に登録する行動である。例えば、取出し行動を行った手の骨格が、本体４０の中央で買上商品を読取窓４２に翳すような動きを検出した場合、プロセッサ８１は、登録行動があったと認識する。あるいは、片手の骨格が、本体４０のタッチパネル４１を操作するような動きを検出した場合、プロセッサ８１は、登録行動があったと認識する。

【0055】

すり替え行動は、登録を終えた買上商品を持つ手を床方向又は客の背面方向に動かす行動である。買上商品を持つ手を床方向又は客の背面方向に動かすことによって、客は、登録した商品を同じ重量の別の商品にすり替えることができる。例えば、すり替え行動を行った手の骨格が、客が足元又は背後に置いた鞄等から別の商品を取り出して、登録を終えた買上商品をその別の商品にすり替えてそのままレジ袋又はマイバッグに入れるような動きを検出した場合、プロセッサ８１は、すり替え行動があったと認識する。

【0056】

袋詰め行動は、登録を終えた買上商品を袋詰め台５０のレジ袋又はマイバッグ等に入れる行動である。例えば、登録行動を行った手の骨格が本体の左側に移動し、買上商品をレジ袋又はマイバッグ等に入れるような動きを検出した場合、プロセッサ８１は、袋詰め行動があったと認識する。

【0057】

退店行動は、決済を終えた客がセルフＰＯＳ端末１１から離れる行動である。例えば、決済を終えた客の手の骨格がレジ袋又はマイバッグ等を保持アーム５３から外すような動きをしたのち、カメラ２１の映像データから客を検知できなくなると、プロセッサ８１は、退店行動があったと認識する。

【0058】

プロセッサ８１は、ＡＣＴ４乃至ＡＣＴ８として、取出し行動、登録行動、すり替え行動、袋詰め行動又は退店行動を認識するのを待ち受ける。この待ち受け状態において、取出し行動を認識すると、プロセッサ８１は、ＡＣＴ４においてＹＥＳと判定し、ＡＣＴ９へと進む。プロセッサ８１は、ＡＣＴ９としてステータスＳＴを“１１”とする。登録行動を認識すると、プロセッサ８１は、ＡＣＴ５においてＹＥＳと判定し、ＡＣＴ１０へと進む。プロセッサ８１は、ＡＣＴ１０としてステータスＳＴを“１２”とする。すり替え行動を認識すると、プロセッサ８１は、ＡＣＴ６においてＹＥＳと判定し、ＡＣＴ１１へと進む。プロセッサ８１は、ＡＣＴ１１としてステータスＳＴを“１３”とする。袋詰め行動を認識すると、プロセッサ８１は、ＡＣＴ７においてＹＥＳと判定し、ＡＣＴ１２へと進む。プロセッサ８１は、ＡＣＴ１２としてステータスＳＴを“１４”とする。

【0059】

プロセッサ８１は、ＡＣＴ９、ＡＣＴ１０、ＡＣＴ１１又はＡＣＴ１２の処理を終えると、ＡＣＴ１３へと進む。プロセッサ８１は、ＡＣＴ１３として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ１４として、ＡＣＴ２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ４乃至ＡＣＴ８の待ち受け状態に戻る。

【0060】

このように、行動認識部２２１の機能により、セルフＰＯＳ端末１１に対する取出し行動が認識された場合には、当該セルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２に、ステータスＳＴとして“１１”がその時刻ＴＭとともに記述される。同様に、登録行動が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“１２”がその時刻ＴＭとともに記述される。すり替え行動が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“１３”がその時刻ＴＭとともに時系列バッファ８２２に記述される。袋詰め行動が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“１４”がその時刻ＴＭとともに時系列バッファ８２２に記述される。

【0061】

通常、客は、セルフＰＯＳ端末１１に対して取出し行動、登録行動、袋詰め行動を順番に繰り返すことで、買上商品のデータをセルフＰＯＳ端末１１に登録する。したがって、時系列バッファ８２２には、ステータスＳＴが“１１”、“１２”、“１４”の順番で時系列に記憶されることとなる。すり替え行動があった場合には、セルフＰＯＳ端末１１に対して取出し行動、登録行動、すり替え行動、袋詰め行動の順番となる。したがって、時系列バッファ８２２には、ステータスＳＴが“１１”、“１２”、“１３”、“１４”の順番で時系列に記憶されることとなる。

【0062】

ＡＣＴ４乃至ＡＣＴ８の待ち受け状態において、退店行動を認識した場合には、プロセッサ８１は、ＡＣＴ８においてＹＥＳと判定し、ＡＣＴ１５へと進む。プロセッサ８１は、ＡＣＴ１５として客の行動認識を終了する。

【0063】

行動認識を終了したプロセッサ８１は、ＡＣＴ１６としてステータスＳＴを“１５”とする。またプロセッサ８１は、ＡＣＴ１７として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ１８として、ＡＣＴ２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。したがって、客が退店したセルフＰＯＳ端末１１に対応する時系列バッファ８２２には、ステータスＳＴとして“１５”が時刻ＴＭとともに記憶される。

【0064】

以上で、プロセッサ８１は、行動認識部２２１としての機能を終了する。その後、再び、カメラ２１の映像データから、セルフＰＯＳ端末１１の正面に人物が立ったことを検出すると、プロセッサ８１はＡＣＴ２乃至ＡＣＴ１８の処理を前述したのと同様に実行する。

【0065】

図８は、操作認識部２２２としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ２１としてセルフＰＯＳ端末１１に対して利用開始が宣言されるのを待ち受けている。利用開始が宣言されると、当該セルフＰＯＳ端末１１に対応した監視画像ＳＣの端末状態欄７２には「利用開始」が表示される。プロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣの端末状態欄７２から「利用開始」の文字を認識できるか確認する。「利用開始」の文字を認識できた場合、プロセッサ８１は、利用開始が宣言されたと認識する。

【0066】

利用開始が宣言されたことを認識すると、プロセッサ８１は、ＡＣＴ２１においてＹＥＳと判定し、ＡＣＴ２２へと進む。プロセッサ８１は、ＡＣＴ２２としてセルフＰＯＳ端末１１のレジ番号を取得する。監視画像ＳＣのレジ番号欄７１には、レジ番号が表示されている。プロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣのレジ番号欄７１からレジ番号の文字を認識し、その文字をレジ番号として取得する。

【0067】

プロセッサ８１は、ＡＣＴ２３としてステータスＳＴを“２１”とする。またプロセッサ８１は、ＡＣＴ２４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ２５として、ＡＣＴ２２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。

【0068】

したがって、セルフＰＯＳ端末１１の正面に立った客が利用開始のための宣言操作を行うと、当該セルフＰＯＳ端末１１に対応する時系列バッファ８２２に、先ずステータスＳＴとして“２１”がその時刻ＴＭとともに記憶される。

【0069】

プロセッサ８１は、ＡＣＴ２６としてセルフＰＯＳ端末１１に対する操作認識を開始する。具体的にはプロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣの文字認識により得られる情報の遷移から、商品登録操作、決済開始操作又は決済終了操作を認識する。

【0070】

例えばプロセッサ８１は、明細欄７５に買上商品の商品名、点数、金額等の明細情報が追加されると、商品登録操作があったと認識する。例えばプロセッサ８１は、端末状態欄７２の表示が「決済開始」に切り替わった場合、決済開始操作があったと認識する。例えばプロセッサ８１は、端末状態欄７２の表示が「待機中」に切り替わった場合、決済終了操作があったと認識する。

【0071】

プロセッサ８１は、ＡＣＴ２７乃至ＡＣＴ２９として、商品登録操作、決済開始操作又は決済終了操作を認識するのを待ち受ける。商品登録操作を認識すると、プロセッサ８１は、ＡＣＴ２７においてＹＥＳと判定し、ＡＣＴ３０へと進む。プロセッサ８１は、ＡＣＴ３０としてステータスＳＴを“２２”とする。決済開始操作を認識すると、プロセッサ８１は、ＡＣＴ２８においてＹＥＳと判定し、ＡＣＴ３１へと進む。プロセッサ８１は、ＡＣＴ３１としてステータスＳＴを“２３”とする。

【0072】

プロセッサ８１は、ＡＣＴ３０又はＡＣＴ３１の処理を終えると、ＡＣＴ３２へと進む。プロセッサ８１は、ＡＣＴ３２として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ３３として、ＡＣＴ２２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ２７乃至ＡＣＴ２９の待ち受け状態に戻る。

【0073】

このように、操作認識部２２２の機能により、セルフＰＯＳ端末１１に対する商品登録操作が認識された場合には、当該セルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２に、ステータスＳＴとして“２２”がその時刻ＴＭとともに記述される。同様に、決済開始操作が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“２３”がその時刻ＴＭとともに時系列バッファ８２２に記述される。

【0074】

通常、客の登録行動により、セルフＰＯＳ端末１１に対して商品登録操作が行われる。したがって、時系列バッファ８２２には、登録行動を示すステータスＳＴ、すなわち“１２”の後に、商品登録操作を示すステータス、すなわち“２２”が記憶される。

【0075】

また、全買上商品の袋詰め行動を終えた客は、決済開始を宣言する。したがって、時系列バッファ８２２には、袋詰め行動を示すステータスＳＴ、すなわち“１４”の後に、決済開始操作を示すステータス、すなわち“２３”が記憶される。

【0076】

ＡＣＴ２７乃至ＡＣＴ２９の待ち受け状態において、決済終了操作を認識した場合には、プロセッサ８１は、ＡＣＴ２９においてＹＥＳと判定し、ＡＣＴ３４へと進む。プロセッサ８１は、ＡＣＴ３４としてセルフＰＯＳ端末１１に対する操作認識を終了する。

【0077】

操作認識を終了したプロセッサ８１は、ＡＣＴ３５としてステータスＳＴを“２４”とする。またプロセッサ８１は、ＡＣＴ３６として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ３７として、ＡＣＴ２２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭと“ステータスＳＴ＝２４”とを関連付けて記述する。したがって、決済が終了したセルフＰＯＳ端末１１に対応する時系列バッファ８２２には、ステータスＳＴとして“２４”が時刻ＴＭとともに記憶される。

【0078】

以上で、プロセッサ８１は、操作認識部２２２としての機能を終了する。その後、再び、監視画像ＳＣのデータから、セルフＰＯＳ端末１１の利用開始操作を検出すると、プロセッサ８１はＡＣＴ２２乃至ＡＣＴ３７の処理を前述したのと同様に実行する。

【0079】

図９乃至図１１は、不正検出部２２３としての機能を説明するための流れ図である。 プロセッサ８１は、ＡＣＴ４１として行動認識部２２１により取出し行動が認識されるのを待ち受ける。前述したように、取出し行動が認識されたセルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２には、ステータスＳＴとして“１１”が記述される。プロセッサ８１は、時系列バッファ８２２にステータスＳＴとして“１１”が記述されたことを検出すると、ＡＣＴ４１においてＹＥＳと判定し、ＡＣＴ４２へと進む。

【0080】

プロセッサ８１は、ＡＣＴ４２として利用開始操作後であるか否かを確認する。セルフＰＯＳ端末１１に対して利用開始操作が行われると、時系列バッファ８２２には、ステータスＳＴとして“２１”が記述される。そこでプロセッサ８１は、ステータスＳＴとして“１１”が記述された時刻ＴＭからその時刻を遡る方向に時系列バッファ８２２を検索する。そして、ステータスとして“２１”が記述されていることを検出すると、プロセッサ８１は、利用開始操作後であると判定する。これに対し、ステータスとして“１５”又は“２４”を検出するか、時系列バッファ８２２の検索を終えた場合、プロセッサ８１は、利用開始操作後でないと判定する。

【0081】

利用開始後でない場合、プロセッサ８１は、ＡＣＴ４２においてＮＯと判定し、ＡＣＴ４３へと進む。プロセッサ８１は、ＡＣＴ４３としてエラーコードＥＣを“９１”とする。またプロセッサ８１は、ＡＣＴ４４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ４５として、時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ４６へと進む。

【0082】

一方、利用開始後である場合には、プロセッサ８１は、ＡＣＴ４２においてＹＥＳと判定する。プロセッサ８１は、ＡＣＴ４３乃至ＡＣＴ４５の処理をスキップして、ＡＣＴ４６へと進む。

【0083】

したがって、利用開始の宣言操作が行われていないセルフＰＯＳ端末１１において、商品の取出し行動が認識された場合には、そのセルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２に、エラーコードＥＣとして“９１”が記憶される。

【0084】

このように、利用開始操作を認識していないにも拘わらず、取出し行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９１”が記憶される。すなわち、エラーコードＥＣの“９１”は、利用開始の宣言操作を行わずに取出し行動を行った客の行為を不正行為「不正取出し」として識別するコードである。

【0085】

プロセッサ８１は、ＡＣＴ４６として行動認識部２２１により袋詰め行動が認識されたか否かを確認する。前述したように、袋詰め行動が認識されると、時系列バッファ８２２にステータスＳＴとして“１４”が記述される。時系列バッファ８２２にステータスＳＴとして“１４”が記述されていない場合、プロセッサ８１は、ＡＣＴ４６においてＮＯと判定し、ＡＣＴ４７へと進む。

【0086】

プロセッサ８１は、ＡＣＴ４７として行動認識部２２１により取出し行動が認識されたか否かを確認する。前述したように、取出し行動が認識されると、時系列バッファ８２２にステータスＳＴとして“１１”が記述される。時系列バッファ８２２にステータスＳＴとして“１１”が記述されていない場合、プロセッサ８１は、ＡＣＴ４７においてＮＯと判定し、ＡＣＴ４８へと進む。

【0087】

プロセッサ８１は、ＡＣＴ４８として行動認識部２２１により退店行動が認識されたか否かを確認する。前述したように、退店行動が認識されると、時系列バッファ８２２にステータスＳＴとして“１５”が記述される。時系列バッファ８２２にステータスＳＴとして“１５”が記述されていない場合、プロセッサ８１は、ＡＣＴ４８においてＮＯと判定し、ＡＣＴ４６へと戻る。

【0088】

ここにプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８において、１点目の商品の取出し行動を行った客が、その後、袋詰め行動を行うか、別の商品の取出し行動を行うか、退店行動を行うのを待ち受ける。

【0089】

この待ち受け状態において、時系列バッファ８２２にステータスＳＴとして“１４”が記述されると、プロセッサ８１は、ＡＣＴ４６においてＹＥＳと判定し、図１０のＡＣＴ６１へと進む。

【0090】

プロセッサ８１は、ＡＣＴ６１として商品登録操作後であるか否かを確認する。前述したように、操作認識部２２２において商品登録操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２２”が記述される。したがって、ステータスＳＴとして“１４”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２２”が記述されている場合には、プロセッサ８１は、商品登録操作後であると認識する。プロセッサ８１は、ＡＣＴ６１においてＹＥＳと判定し、ＡＣＴ６２へと進む。

【0091】

プロセッサ８１は、ＡＣＴ６２として行動認識部２２１によりすり替え行動が認識されたか否かを確認する。前述したように、すり替え行動が認識されると、時系列バッファ８２２にステータスＳＴとして“１３”が記述される。時系列バッファ８２２にステータスＳＴとして“１３”が記述されていない場合、プロセッサ８１は、ＡＣＴ４８においてＮＯと判定し、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

【0092】

時系列バッファ８２２にステータスＳＴとして“１３”が記述されている場合、プロセッサ８１は、ＡＣＴ６２においてＹＥＳと判定し、ＡＣＴ６３へと進む。プロセッサ８１は、ＡＣＴ６３としてエラーコードＥＣを“９３”とする。またプロセッサ８１は、ＡＣＴ６４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ６５として、ステータスＳＴとして“１３”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

【0093】

このように、商品登録操作を認識した後にすり替え行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９３”が記憶される。すなわち、エラーコードＥＣの“９３”は、商品登録操作をした商品のすり替え行動を行った客の行為を不正行為「すり替え」として識別するコードである。

【0094】

これに対し、ステータスＳＴとして“１５”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２２”が記述されていない場合には、プロセッサ８１は商品登録操作後でないと認識する。プロセッサ８１は、ＡＣＴ６１においてＮＯと判定し、ＡＣＴ６６へと進む。

【0095】

プロセッサ８１は、ＡＣＴ６６としてエラーコードＥＣを“９２”とする。またプロセッサ８１は、ＡＣＴ６７として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ６８として、ステータスＳＴとして“１４”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

【0096】

このように、商品登録操作を認識していないにも拘わらず、袋詰め行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９２”が記憶される。すなわち、エラーコードＥＣの“９２”は、商品登録操作をしていない商品の袋詰め行動を行った客の行為を不正行為「偽登録」として識別するコードである。

【0097】

図９の説明に戻る。
ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態において、時系列バッファ８２２にステータスＳＴとして“１１”が記述されて取出し行動が認識された場合には、プロセッサ８１は、図１１のＡＣＴ７１へと進む。プロセッサ８１は、ＡＣＴ７１として決済開始操作後であるか否かを確認する。前述したように、操作認識部２２２において決済開始操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２３”が記述される。したがって、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２３”が記述されている場合には、プロセッサ８１は、決済開始操作後であると認識する。換言すれば、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２３”が記述されていない場合には、プロセッサ８１は、決済開始操作後でないと認識する。

【0098】

決済開始操作後でない場合、プロセッサ８１は、ＡＣＴ７１においてＮＯと判定し、ＡＣＴ７２へと進む。プロセッサ８１は、ＡＣＴ７２として決済終了操作後であるか否かを確認する。前述したように、操作認識部２２２において決済終了操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２４”が記述される。したがって、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２４”が記述されている場合には、プロセッサ８１は、決済終了操作後であると認識する。換言すれば、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２４”が記述されていない場合には、プロセッサ８１は、決済終了操作後でないと認識する。

【0099】

決済終了操作後でない場合、プロセッサ８１は、ＡＣＴ７２においてＮＯと判定し、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

【0100】

一方、決済開始後若しくは決済終了後の場合には、プロセッサ８１は、ＡＣＴ７１又はＡＣＴ７２においてＹＥＳと判定し、ＡＣＴ７３へと進む。プロセッサ８１は、ＡＣＴ７３としてエラーコードＥＣを“９４”とする。またプロセッサ８１は、ＡＣＴ７４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ７５として、ステータスＳＴとして“１１”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

【0101】

このように、決済開始操作又は決済終了操作を認識した後であるにも拘わらず、商品取出し行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９４”が記憶される。すなわち、エラーコードＥＣの“９４”は、決済開始操作又は決済終了操作の後に未登録の商品を籠から取り出す客の行為を不正行為「登録漏れ」として識別するコードである。

【0102】

図９の説明に戻る。
ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態において、時系列バッファ８２２にステータスＳＴとして“１５”が記述されて退店行動が認識された場合には、プロセッサ８１は、ＡＣＴ４８においてＹＥＳと判定し、ＡＣＴ４９へと進む。プロセッサ８１は、ＡＣＴ４９として決済終了操作後であるか否かを確認する。前述したように、操作認識部２２２において決済終了操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２５”が記述される。したがって、ステータスＳＴとして“１５”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２４”が記述されている場合には、プロセッサ８１は、決済終了操作後であると認識する。換言すれば、ステータスＳＴとして“１５”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２４”が記述されていない場合には、プロセッサ８１は、決済終了操作後でないと認識する。

【0103】

決済終了操作後である場合、プロセッサ８１は、ＡＣＴ４９においてＹＥＳと判定する。プロセッサ８１は、不正検出部２２３としての機能を終了する。

【0104】

これに対し、決済終了操作後でない場合には、プロセッサ８１は、ＡＣＴ４９においてＮＯと判定し、ＡＣＴ５０へと進む。プロセッサ８１は、ＡＣＴ５０としてエラーコードＥＣを“９５”とする。またプロセッサ８１は、ＡＣＴ５１として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ５２として、ステータスＳＴとして“１５”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。

【0105】

このように、決済終了操作を認識していないにも拘わらず、退店行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９５”が記憶される。すなわち、エラーコードＥＣの“９５”は、決済終了操作の前に退店行動を行った客の行為を不正行為「未決済」として識別するコードである。

【0106】

以上で、プロセッサ８１は、不正検出部２２３としての機能を終了する。その後、再び、取出し行動が認識されると、プロセッサ８１は、ＡＣＴ４２乃至ＡＣＴ５２、ＡＣＴ６１乃至ＡＣＴ６８及びＡＣＴ７１乃至ＡＣＴ７５の処理を前述したのと同様に実行する。

【0107】

図１２は、報知部２２４としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ８１として時系列バッファ８２２にエラーコードＥＣが記述されるのを待ち受ける。時系列バッファ８２２にエラーコードＥＣが記述されると、プロセッサ８１は、ＡＣＴ８１においてＮＯと判定し、ＡＣＴ８２へと進む。プロセッサ８１は、ＡＣＴ８２としてそのエラーコードＥＣが“９１”であるか否かを確認する。

【0108】

エラーコードＥＣが“９１”である場合、プロセッサ８１は、ＡＣＴ８２においてＹＥＳと判定し、ＡＣＴ８３へと進む。プロセッサ８１は、ＡＣＴ８３として不正行為「不正取出し」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９１”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９１”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

【0109】

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別されるアテンダント端末１４の監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジで不正取出しが行われました」という不正行為を報知するテキストが表示される。したがってアテンダントは、レジＮｏ．Ｘが設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「不正取出し」があったことを注意喚起できる。

【0110】

エラーコードＥＣが“９１”でない場合、プロセッサ８１は、ＡＣＴ８２においてＮＯと判定し、ＡＣＴ８４へと進む。プロセッサ８１は、ＡＣＴ８４としてそのエラーコードＥＣが“９２”であるか否かを確認する。

【0111】

エラーコードＥＣが“９２”である場合、プロセッサ８１は、ＡＣＴ８４においてＹＥＳと判定し、ＡＣＴ８５へと進む。プロセッサ８１は、ＡＣＴ８５として不正行為「偽登録」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９２”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９２”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

【0112】

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別されるアテンダント端末１４の監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジで偽登録が行われました」という不正行為を報知するテキストが表示される。したがってアテンダントは、レジＮｏ．Ｘが設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「偽登録」があったことを注意喚起できる。

【0113】

エラーコードＥＣが“９２”でない場合、プロセッサ８１は、ＡＣＴ８４においてＮＯと判定し、ＡＣＴ８６へと進む。プロセッサ８１は、ＡＣＴ８６としてそのエラーコードＥＣが“９３”であるか否かを確認する。

【0114】

エラーコードＥＣが“９３”である場合、プロセッサ８１は、ＡＣＴ８６においてＹＥＳと判定し、ＡＣＴ８７へと進む。プロセッサ８１は、ＡＣＴ８７として不正行為「すり替え」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９３”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９３”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

【0115】

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別されるアテンダント端末１４の監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジですり替えが行われました」という不正行為を報知するテキストが表示される。したがってアテンダントは、レジＮｏ．Ｘが設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「すり替え」があったことを注意喚起できる。

【0116】

エラーコードＥＣが“９３”でない場合、プロセッサ８１は、ＡＣＴ８６においてＮＯと判定し、ＡＣＴ８８へと進む。プロセッサ８１は、ＡＣＴ８８としてそのエラーコードＥＣが“９４”であるか否かを確認する。

【0117】

エラーコードＥＣが“９４”である場合、プロセッサ８１は、ＡＣＴ８８においてＹＥＳと判定し、ＡＣＴ８９へと進む。プロセッサ８１は、ＡＣＴ８９として不正行為「登録漏れ」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９４”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９４”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

【0118】

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別されるアテンダント端末１４の監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジで登録漏れがありました」という不正行為を報知するテキストが表示される。したがってアテンダントは、レジＮｏ．Ｘが設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「登録漏れ」があったことを注意喚起できる。

【0119】

エラーコードＥＣが“９４”でない場合、プロセッサ８１は、ＡＣＴ８８においてＮＯと判定し、ＡＣＴ９０へと進む。プロセッサ８１は、ＡＣＴ９０としてそのエラーコードＥＣが“９５”であるか否かを確認する。

【0120】

エラーコードＥＣが“９５”である場合、プロセッサ８１は、ＡＣＴ９０においてＹＥＳと判定し、ＡＣＴ９１へと進む。プロセッサ８１は、ＡＣＴ９１として不正行為「未決済」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９５”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９５”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

【0121】

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別されるアテンダント端末１４の監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジは未決済です」という不正行為を報知するテキストが表示される。したがってアテンダントは、レジＮｏ．Ｘが設定されたセルフＰＯＳ端末１１を利用していた客が不正行為「未決済」であることを注意喚起できる。

【0122】

以上詳述したように、不正行為認識装置２２は、行動認識部２２１として、カメラ２１の撮像データを基に、セルフＰＯＳ端末１１への商品登録操作を行う客の行動を認識する。この客の行動の認識は、セルフＰＯＳ端末１１の部品の位置と、セルフＰＯＳ端末１１に対峙した客の手の位置とに基づくものである。また不正行為認識装置２２は、操作認識部２２２として、表示制御装置１３からアテンダント端末１４へと出力される監視画像ＳＣのデータを基に、客によるセルフＰＯＳ端末１１への商品登録操作を認識する。不正行為認識装置２２は、不正検出部２２３として、行動認識部２２１による認識結果と操作認識部２２２による認識結果とを基に、商品登録操作が認識された商品に対する客の行動から客の不正行為を検出する。すなわち不正行為認識装置２２は、行動認識部２２１により認識された商品を持つ客の手の動きから客の不正行為を検出する。

【0123】

例えば、利用開始の宣言操作なしに取出し行動が認識された場合には、不正行為「不正取出し」を検出する。商品登録操作なしに商品の袋詰め行動が認識された場合には、不正行為「偽登録」を検出する。商品登録操作の後にすり替え行動が認識された場合には、不正行為「すり替え」を検出する。決済開始操作又は決済終了操作の後に取出し行動が認識された場合には、不正行為「登録漏れ」を検出する。決済終了操作なしに退店行動が認識された場合には、不正行為「未決済」を検出する。

【0124】

不正行為認識装置２２は、報知部２２４として、客の不正行為を、アテンダント端末１４を利用してアテンダントに対して報知する機能を有している。したがって、客の不正行為を確認したアテンダントは、速やかに該当する客に注意喚起することができる。その結果、セルフＰＯＳ端末１１に対する客の不正行為が抑止される。

【0125】

このように、本実施形態によれば、登録した商品を別の商品にすり替える不正行為を抑止できる効果を奏する。したがって、重量計の有無にかかわらず、登録した商品を同じ重量の別の商品にすり替えるような不正行為を抑止できる。

【0126】

以上、セルフＰＯＳ端末１１に対する客の不正行為を抑止する技術の一実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

【0127】

前記実施形態では、１台のセルフＰＯＳ端末１１に対して１台のカメラ２１を配置する場合を例示した。カメラ２１は、必ずしもセルフＰＯＳ端末１１毎に配置しなくてもよい。例えば隣接する２台のセルフＰＯＳ端末１１を操作する客を１台のカメラ２１で撮影できるのであれば、カメラ２１の台数を減らしてもよい。ただしその場合には、図７のＡＣＴ２において、映像に写し出されている人物の位置に最も近いセルフＰＯＳ端末１１のレジ番号を取得することになる。また、例えば１台のセルフＰＯＳ端末１１に対して複数台のカメラ２１を配置してもよい。そうすることにより、セルフＰＯＳ端末１１の死角を減らし、精度よく客の不正行為を検出することができる。

【0128】

前記実施形態では、プロセッサ８１は、骨格推定によって得られた手の動きから、客のすり替え行動を認識する場合を例示した。例えば客の姿勢からすり替え行動を認識してもよい。この場合、すり替え行動は、登録を終えた買上商品を持つ客の姿勢が低くなる等である。

【0129】

前記実施形態では、報知部２２４はアテンダント端末１４を介してアテンダントに放置する場合を例示した。報知先はアテンダント端末１４に限定されるものではない。例えば不正行為のあったセルフＰＯＳ端末１１を報知先としてもよい。その場合、例えば発光部６５が所定の色で発光することで、店員に不正行為が行われていることを知らしめる。あるいは、タッチパネル４１に警告メッセージを表示させて、客に不正行為を検知したことを知らしめる。また、店員が携帯する通信端末との無線通信により、表示または音声で不正行為の警告を発するようにしてもよい。

【0130】

前記実施形態において、アテンダント端末１４が表示制御装置１３としての機能を内包していてもよい。この場合、操作認識部２２２は、アテンダント端末１４から監視画像ＳＣのデータを取得し、セルフＰＯＳ端末１１に対する客の操作を認識する。あるいは、操作認識部２２２は、各セルフＰＯＳ端末１１から出力されるデータ信号を、例えばルータを介して通信ネットワーク１５から取り込み、そのデータ信号を基にセルフＰＯＳ端末１１に対する客の操作を認識してもよい。

【0131】

前記実施形態において、不正行為認識装置２２は、各カメラ２１から取り込んだ撮像データを記録する記録部を備えてもよい。そうすることにより、客の不正行為が検出された場合に、記録部に取り込んだ撮像データを再生して、不正行為を検証することができる。

【0132】

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0133】

１１…セルフＰＯＳ端末、１２…ＰＯＳサーバ、１３…表示制御装置、１４…アテンダント端末、１５…通信ネットワーク、２１…カメラ、２２…不正行為認識装置、４０…本体、４１…タッチパネル、４２…読取窓、５０…袋詰め台、８１…プロセッサ、８２…メインメモリ、８３…補助記憶デバイス、８４…時計、８５…カメラインターフェース、８６…通信インターフェース、８７…システムバス、１００…セルフＰＯＳシステム、２００…不正行為認識システム、２２１…行動認識部、２２２…操作認識部、２２３…不正検出部、２２４…報知部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-07-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

決済端末に対峙した購買者の手の動きに基づき、前記決済端末に対する前記購買者の行動を認識する行動認識手段と、
商品を前記決済端末に登録する登録行動が認識され、前記商品を持つ前記購買者の手の動きから商品をすり替えると推定されるすり替え行動が認識されたとき前記購買者の不正行為を検出する不正検出手段と、
前記購買者の不正行為を報知する報知手段と、
を具備する不正行為認識装置。

【請求項2】

前記行動認識手段は、前記商品を持つ前記購買者の手が、前記購買者の足元方向又は背面方向に動いた場合に、前記すり替え行動を認識する、請求項１記載の不正行為認識装置。

【請求項3】

前記行動認識手段は、カメラで撮影された画像から、前記購買者の骨格を推定し、得られた手の動きから前記購買者の行動を認識する、請求項１記載の不正行為認識装置。

【請求項4】

前記不正検出手段は、前記登録行動が認識されてから、前記商品を袋に入れる袋詰め行動が認識されるまでの間に、前記すり替え行動を認識する、請求項１記載の不正行為認識装置。

【請求項5】

不正行為認識装置のコンピュータに、
決済端末に対峙した購買者の手の動きに基づき、前記決済端末に対する前記購買者の行動を認識する機能、
商品を前記決済端末に登録する登録行動が認識され、前記商品を持つ前記購買者の手の動きから商品をすり替えると推定されるすり替え行動が認識されたとき前記購買者の不正行為を検出する機能、及び
前記購買者の不正行為を報知する機能、
を実現させるための制御プログラム。

【請求項6】

不正行為認識装置が、
決済端末に対峙した購買者の手の動きに基づき、前記決済端末に対する前記購買者の行動を認識し、
商品を前記決済端末に登録する登録行動が認識され、前記商品を持つ前記購買者の手の動きから商品をすり替えると推定されるすり替え行動が認識されたとき前記購買者の不正行為を検出する、不正行為認識方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

一実施形態において、不正行為認識装置は、行動認識手段と、不正検出手段と、報知手段とを備える。行動認識手段は、決済端末に対峙した購買者の手の動きに基づき、決済端末に対する購買者の行動を認識する。不正検出手段は、商品を決済端末に登録する登録行動が認識され、商品を持つ購買者の手の動きから商品をすり替えると推定されるすり替え行動が認識されたとき購買者の不正行為を検出する。報知手段は、購買者の不正行為を報知する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０１３２

【補正方法】変更

【補正の内容】

【0132】

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記１］
購買者による決済端末への商品登録操作を認識する操作認識手段と、
前記商品登録操作を行う前記購買者の行動を認識する行動認識手段と、
前記商品登録操作が認識された商品に対する前記購買者の行動から前記購買者の不正行為を検出する不正検出手段と、
前記購買者の不正行為を報知する報知手段と、
を具備する不正行為認識装置。
［付記２］
前記行動認識手段は、前記決済端末の部品の位置と、前記決済端末に対峙した前記購買者の手の位置とに基づき、前記購買者の行動を認識する付記１記載の不正行為認識装置。
［付記３］
前記不正検出手段は、前記商品登録操作が認識された商品を持つ前記購買者の手の動きから前記購買者の不正行為を検出する、付記２記載の不正行為認識装置。
［付記４］
前記不正検出手段は、前記購買者の手の動きが商品をすり替えると推定される動きであるとき前記購買者の不正行為を検出する、付記３記載の不正行為認識装置。
［付記５］
不正行為認識装置のコンピュータに、
購買者による決済端末への商品登録操作を認識する機能、
前記商品登録操作を行う前記購買者の行動を認識する機能、
前記商品登録操作が認識された商品に対する前記購買者の行動から前記購買者の不正行為を検出する機能、及び
前記購買者の不正行為を報知する機能、
を実現させるための制御プログラム。
［付記６］
不正行為認識装置が、
購買者による決済端末への商品登録操作を認識し、
前記商品登録操作を行う前記購買者の行動を認識し、
前記商品登録操作が認識された商品に対する前記購買者の行動から前記購買者の不正行為を検出する、不正行為認識方法。